Лекція 12
Метод моментів побудови оцінок
Метод моментів застосовується коли відомий тип розподілу, але невідомі його параметри . Наприклад, відомо, що Х – нормальний розподіл , але невідомі числа і їх треба оцінити.
Використовують уже розглянуті нами оцінки початкових моментів – вибіркові початкові моменти , які є незміщеними і сильно конзистентними.
Кілька вибіркових початкових моментів прирівнюють до відповідних теоретичних початкових моментів, обчислених для даного типу розподілу, позначивши невідомі параметри . (Теоретичні початкові моменти будуть залежати від невідомих параметрів.)

(неперервний розп.) (дискр. розп.)


...
.
Отримаємо систему k рівнянь , з яких знаходимо невідомі через .
Можна деякі початкові моменти () заміняти на відповідні центральні моменти (), бо вони виражаються через початкові: , і для багатьох типів розподілів дисперсія вже виражена через параметри: для нормального , для рівномірного і т.д.
Приклад. Оцінити методом моментів параметри рівномірного розподілу.
Рівномірний розподіл має два параметри a,b. Тому потрібно скласти два рівняння.
Використаємо i, бо вони вже виражені нами через параметри a,b.
,

Розв'яжемо систему відносно . Помножимо друге рівняння на 3 і добудемо корінь квадратний з обох його частин, а потім додамо та віднімемо його від першого рівняння:


Отже, оцінки методом моментів параметрів рівномірного розподілу:, .
Теорема. Якщо розв'язки системи є неперервними функціями від , то оцінки отримані методом моментів є сильно конзистентними.
Доведення.

...

Припустимо, що система р-нь має єдиний розв'язок, неперервний відносно вибіркових моментів:


...

При великих обсягах вибірок вибіркові моменти . Друга система при точних значеннях моментів дає точні значення параметрів. При неперервних функціях :

(всі границі з імовірністю 1).
Отже, отримані в прикладі оцінки для параметрів рівномірного розподілу є сильно конзистентними.
Метод Гауса (найбільшої правдоподібності)
Знову ж відомий тип розподілу, але невідомі параметри і їх треба оцінити за вибіркою, тобто виразити їх через .
Знаходимо ймовірність реалізації вибірки ( ), використовуючи відомий тип розподілу Х. Ця ймовірність буде залежати від параметрів =() і називається функцією правдоподібності: =
=L( ,) =L(,).
Врахуємо, що експерименти незалежні, тоді– незалежні в.в. з однаковим розподілом Х. L(,)=, де формули для ймовірностей беруть з даного типу розподілу, тут дискретного.
Для неперервного розподілу функція правдоподібності має вигляд: L(,)=
=, тобто використовують щільність даного типу.
Метод найбільшої правдоподібності полягає у підборі таких значень параметрів , при яких функція правдоподібності досягає максимуму. Отже, треба знайти точку максимуму функції L від k змінних і координати цієї точки М() і будуть шуканими оцінками. Вони будуть залежати від елементів вибірки .
Для знаходження критичної точки складаємо систему рівнянь:

...

Але, оскільки функція правдоподібності є добутком, то зручніше шукати максимум ln L(x,). Точки максимуму L і ln L співпадають, бо ln x зростаюча функція.:

...

Метод Гауса можна застосовувати лише тоді, коли функція правдоподібності має один максимум.
Теорема. Оцінки отримані цим методом є ефективними (якщо взагалі існують ефективні оцінки) і сильно конзистентними (без доведення).
Приклад. Щоб зателефонувати до деякої установи необхідно було набрати номер разів відповідно протягом n днів. Оцінити ймовірність додзвонювання з першого разу.
Кількість промахів до першого успіху – X – геометричний розподіл. Цей розподіл має 1 параметр – ймовірність успіху в одному випробуванні: p. В нашому випадку кількість набирань номеру до першого додзвонювання – K =X+1. Потрібно оцінити параметр p.
Функція правдоподібності: L(, p)==
=.
Прологарифмуємо: ln L(, p)=.
Шукаємо точку max. Тут одна змінна p. , .
Це буде точка максимуму, бо при меншому p похідна додатна, а при більшому – від'ємна .
Отже, . Для порівняння, методом моментів отримаємо:
, тобто оцінки параметра геометричного розподілу p, отримані методом максимальної правдоподібності та методом моментів, співпали.