Лекція 14. Перевірка статистичних гіпотез
Гіпотези про розподіл випадкової величини X називаються – статистичними.
Нехай є вибірка х1,х2,…хn випадкової величини X. Стосовно розподілу Х відомо, що він належить до деякого класу розподілів G. З цього класу вибирають з тих чи інших міркувань 1 конкретний розподіл F. Потрібно за вибіркою зробити висновок: чи може F бути розподілом випадкової величини X чи не може.
Вибір розподілу F із сукупності G називають – вибором основної (нульової) гіпотези H0.
Після вибору Н0 решта гіпотез, називаються – альтернативними (конкуруючими відносно основної). Альтернативна гіпотеза може бути одна Н1 , а може бути їх кілька Н? ,???
Якщо Н1 полягає в запереченні Н0, то вона називається загальною альтернативою.
Гіпотези про розподіл, що однозначно його визначає, називаються простими, в іншому разі – складними.
Приклад. Проста Н: вип. величина X має розподіл Бернуллі параметрами n=4 і p=½(позначають Х~P4(k;½)). Складна Н p: випадкова величина X має розподіл Бернуллі P4(k;p), де p є (¼ ;½).
Методика перевірки статистичних гіпотез
Ми поділимо множину всіх результатів вибірки на 2 частини: S – множина таких результатів, при яких Н0 відхиляється; - множина таких результатів, при яких Н0 не відхиляється.
Ця множина S називається – критичною множиною(областю), або критерієм для перевірки гіпотезиН0.
Розглянемо можливі помилки:
Помилка I роду – полягає в тому, що Н0 відхиляється коли вона є істинною.
Помилка II роду - полягає в тому, що Н0 не відхиляється хоча є хибною.
Вибір основної гіпотези: За основну гіпотезу Н0 вибирають ту, для якої помилка І роду має більшу ціну, тобто для якої важливіше уникнути помилки І роду.
Н0 – основна гіпотеза; Н1 – загальна альтернатива (заперечення Н0).
Нехай Н0 і Н1 – прості гіпотези, S – критична множина.
Якщо х є S, то Н0 відхиляється.
, то Н0 не відхиляється.
Ймовірність помилки І роду можна позначити так Pн 0 (х є S), ймовірність помилки ІІ роду
Pн1().
Число ?, що обмежує зверху ймовірність помилки І роду називається рівнем значущості критерію: Pн0 (х є S) ? ? . Кажуть що критерій відповідає рівню значущості ? . ? вибирається мале число 0,1; 0,05; 0,001. Чим серйозніші наслідки помилки І роду тим меншим беруть ?.
Якщо є різні критерії з однаковим рівнем значущості ?, то вибирають такий критерій, тобто множину S, щоб ймовірність помилки ІІ роду була мінімальною, тобто ймовірність протилежної події максимальною Pн1(х є S)-mах, а це означає, що S треба вибирати якнайширшу з можливих.
Ймовірність Pн1(х є S) – відхилити основну гіпотезу Н0 при умові, що істинна альтернативна Н1 називають потужністю критерію і позначають ?. Якщо альтернативна гіпотеза складна, тоді при кожній гіпотезі Н? рахуємо потужність ?( ?), – функція потужності.
Висновки, які можна зробити про істинність основної гіпотези
Нехай згідно критерію основна гіпотеза Н0 відхиляється. Тоді ймовірність того, що Н0 істинна не перевищує рівня значущості ?, тобто досить мала. Один суперечливий факт і гіпотезу відкидають.
Якщо ж за критерієм гіпотеза Н0 не відхиляється, а альтернативна не є простою і потужність критерію не можна визначити, то не можна вказати ймовірність того, що Н0 є істинною. Тоді роблять висновок, що вибірка не суперечить гіпотезі Н0 . Один підтверджуючий факт ще не означає істинності гіпотези.
Зв’язок перевірки гіпотез з надійними інтервалами
Нехай потрібно перевірити гіпотезу про параметр ? розподілу, а саме Н0:?=?0, при загальній альтернативі Н1:??0 . Нехай ми можемо побудувати надійний інтервал () для ? з надійністю ?. Тоді, якщо Н0 істинна, то Pн0 =? . Звідси отримуємо критерій рівня значущості ?=1-?, бо ймовірність відкидання істинної гіпотези Н0 дорівнює .
Отже, гіпотезу Н0 відкидають, якщо і не відкидають , якщо . Множина S має вигляд і буде ширшою (критерій матиме більшу потужність), при точнішому (коротшому) надійному інтервалі () .
Довільний надійний інтервал можна використати для перевірки гіпотези про значення відповідного параметра.
Якщо потрібно при рівні значущості ? перевірити гіпотезу Н0 : ?=?0, при альтернативній Н1 : ?>?0 (або ?<?0), то використовують правобічний (лівобічний) надійний інтервал для параметра ?. Оцінимо функцію потужності при кожній гіпотезі Н? : ?>?0 . ?( ?)=. Ми можемо стверджувати, що ?( ?)=, і цей інтервал має найбільший лівий кінецьпорівняно з усіма інтервалами з такою надійністю. Тоді, оскільки ?0<?, то для даного інтервалу найімовірніше, що ?0 не попаде до нього, тобто ?( ?) є максимальною для всіх ?>?0 (кажуть ще рівномірно найпотужніший критерій).
Приклад. Потрібно перевірити при рівні значущості ? наявність ефекту від використання спеці-альної машини, якщо відома різниця їх продуктивностей у n аналогічних парах робіт.
Вважаємо, що продуктивність роботи машини – це нормально розподілена випадкова величина із невідомою дисперсією. Нам потрібно перевірити гіпотезу Н0: МХ=0 при альтернативі Н1: МХ>0.
Використаємо однобічний надійний інтервал надійності =1-? для математичного сподівання нормально розподіленої випадкової величини з невідомою дисперсією , де= t ? – квантиль t-розподілу Стьюдента із n-1 ступенями вільності. Якщо число 0 не належить цьому інтервалу, то відкидаємо гіпотезу– вважаємо, що є ефект від спеціальної машини. Ймовірність помилитися в цьому – ймовірність помилки першого роду: .
Критерій згоди ?2 (Пірсона)
1. Для перевірки простої гіпотези при загальній альтернативі
Нехай Н0 : F(t) є функцією розподілу випадкової величини X і загальна альтернатива H1 : F(t) не є функцією розподілу випадкової величини.
Розіб’ємо числову пряму на m проміжків.
(-?;a1)
[a1; a2)
[a2; a3)
…
[am-1; +?)

n1
n2
n3
…
nm

Це емпіричний інтервальний ряд, а частоти nі – емпіричні (вибіркові).
Якщо Х має функцію розподілу F(t), то можна обчислити ймовірності (теоретичні) попадання до кожного з цих проміжків за формулами: , ().
Обчислимо ці теоретичні ймовірності для всіх проміжків. Згідно закону великих чисел ймовірності повинні при великих обсягах вибірки приблизно дорівнювати відносним частотам , звідки – так звані теоретичні частоти проміжків.
Зауваження. Якщо деякі з емпіричних частот ni або теоретичних частот ni' менші від 5 (краще 10), то сусідні проміжки треба об’єднати.
Розбіжність між теоретичними та емпіричними частотами обчислюють за формулою: . Якщо велике (), то гіпотезу Н0 відкидають.
Теорема Пірсона. При великих обсягах вибірки має розподіл близький до розподілу ?2 із (m-1) ступенями вільності (без доведення).
Побудуємо на основі теореми критичну множину S=(T,) при рівні значущості . Ймовірність відкидання істинної гіпотези Н0 :, тобто Т – квантиль розподілу ?2 рівня ? з (m-1) ступенями вільності (табличний). Т=k?(m-1), S=(k?(m-1);+?) – критична множина.
Отже, якщо < k?(m-1) , то гіпотеза Н0 не відхиляється, інакше відхиляється.
2. Застосування критерію ?2 для перевірки складної гіпотези при загальній альтернативі
Н0 : F(t,) – функція розподілу випадкової величини Х, де – невідомі параметри. Спочатку треба оцінити на основі вибірки, обов’язково методом найбільшої правдоподібності. Позначають отриманні оцінки , тоді F(t,). Далі перевіряють просту гіпотезу, для цієї функції розподілу, враховуючи таку особливість.
Теорема Фішера. Кількість ступенів вільності розподілу зменшується на кількість оцінених за вибіркою параметрів, тобто кількість ступенів вільності m-1-r.
Застосування критерію Пірсона для перевірки гіпотези про незалежність розподілів
Нехай задана вибірка двовимірної випадкової величини (Х,Y): . Потрібно перевірити гіпотезу: Н0 : X і Y незалежні, при загальній альтернативі: H1 : X і Y залежні.
Розіб’ємо множину можливих значень Х на проміжки [), i=1,2,...k,
(), a множину можливих значень Y на проміжки [), j=1,2,...l ,
() і порахуємо відповідні вибіркові частоти .
X\Y
(-?;b1)
[b1;b2)
…
[bl--1;+?)
?

(-?;a1)
n11
n12
…
n1l
s1

[a1;a2)
n21



s2

…






[ak--1;+?)
nk1


n k l
sk

?


…

n

Якщо X та Y незалежні, то pij=P(Xє[ai-1;ai)* Yє[bj-1;bj])= P(Xє[ai-1;ai))*P(Yє[bj-1;bj]). Замінимо ймовір-ності на відповідні відносні частоти (теоретичні частоти):?. Позначимо статистику .
Теорема. Статистика при великих обсягах вибірки має розподіл близький до ?2 розподілу із (k-1)(l-1) ступенями вільності (без доведення).
Зауваження. Якщо <5 або nij<5, то також об’єднуємо проміжки.
Основні поняття про статистичну залежність і дисперсійний аналіз
(X,Y) – двовимірна випадкова величина. MxY – найкраще наближення розподілу Y через X. З теорії ймовірності відомо, що Y= MxY+Z, де Z– кореляційно незалежний від X розподіл.
DY=D(MxY)+DZ, DZ=Dс – залишкова дисперсія, МZ =0.– кореляційне відношення.
В статистиці якщо треба визначити залежність Y від X, то X називають фактором; Y –результа-тивною ознакою.
Зауваження. Нехай потрібно розглянути залежність Y не від одного, а від декількох факторів. Якщо X1,X2,…,Xk – незалежні фактори, то Y=Mx1Y+Mx2Y+…+MxkY+Z – (k-1)MY, де Z – кореля-ційно незалежний розподіл від X1,X2,…,Xk . Останній числовий доданок підібрано так, щоб
MZ =0. Тоді DY=D(Mх1Y)+...+D( MхkY)+DZ. Ці формули дуже зручні, тому фактори потрібно підбирати так щоб вони були незалежні між собою, але щоб усі вони помітно впливали на Y.
Вернемось до одного фактора Х.
Теорема. Якщо Y має нормальний розподіл N(а;2) і Y та Х незалежні, тоді статистика- має F-розподіл Фішера-Снєдокора із (k-1;n-k) ступенями вільності, де k- кількість значень Х, а n – кількість значеньY(без доведення).
При кожному значенні фактора Х= отримують вибірку значень результативної ознаки . Усі ці вибірки повинні бути достатньо великі за обсягом. Для цього можна брати проміжки для Y рівні не за довжиною, а за частотами фактора Х.
,,,, , .
Отже, ми можемо перевірити гіпотезу про незалежність випадкових величин при рівні значущості . Якщо менша від квантиля рівня F-розподілу Фішера–Снєдокора із (k-1;n-k) ступенями вільності, то випадкові величини X і Y можна вважати незалежними.
Якщо більша від квантиля, то гіпотеза про незалежність випадкових величин відхиляється і тоді можна оцінити тісноту залежності: 1)=1 – залежність функціональна,
0,9<<1 – залежність дуже сильна, 3) 0,7?<0,9 – залежність сильна,
4) 0,4?<0,7 – залежність середня, 5) <0,4 – залежність слабка.
Метод найменших квадратів
Можна шукати функцію заданого типу залежності Y від Х методом найменших квадратів.
Вибірка (Х;Y) : (x1;y1)…(xn;yn). Шукаємо наближення Y через Х у вигляді Y=?(Х). Функцію ?(Х) найчастіше вибирають серед таких типів: 1)Y=а0+а1Х – лінійна, 2) Y=а0+а1Х+а2Х2+...+а mХm – многочлен, 3)– дробово- раціональна і т. п.
За методом найменших квадратів ми підбираємо невідомі коефіцієнти a0,a1,…,am так, щоб мінімізувати похибку наближення:. Це функція m змінних a0,a1,…,am . Шукаємо її мінімум:


...
. Координати точки мінімуму М(a0,a1,…,am) і будуть шуканими коефіцієнтами найкращого наближення.
Приклад. Нехай задана вибірка двовимірної випадкової величини (Х,Y).
Методом найменших квадратів знайти коефіцієнти лінійного наближення Y через Х.
Y=aX+b. Коефіцієнти a, b знайдемо методом найменших квадратів.
– функція двох змінних a, b. Знайдемо її мінімум.


Поділимо обидва рівняння на 2 і погрупуємо доданки з a і b:
-- система лінійних алгебраїчних рівнянь з невідомими a,b. Її коефіцієнти потрібно обрахувати за вибіркою. Розв'яжемо систему методом Крамера: , ,

, . Підставимо знайдені коефіцієнти в рівняння Y=aX+b.
Y=aX+b=.
Отже, отримане методом найменших квадратів рівняння лінійної залежності співпало з вибірковим рівнянням лінійної регресії. Цього слід було очікувати, бо вибіркове рівняння лінійної регресії є лінійним рівнянням з мінімальною похибкою наближення для вибіркових розподілів Y', X': – min. Вона співпадає з похибкою методу найм. квадратів, поділеною на n.
Зауваження. Якщо треба знайти регресію собівартості Y відносно обсягу випуску продукції Х, то природно обрати формулу:Y=a0+a1/X . Але краще зробити заміну U=1/X , Y=a0+a1U , тоді методом найменших квадратів отримаємо рівняння вибіркової лінійної регресії і вернувшись до старих змінних матимемо .