Оцінка параметрів лінійної регресії методом найменших квадратів.
Для знаходження оцінок параметрів методом найменших квадратів у=?0+?1+Е на випадкову складову Е накладають наст. умови:
-математичне сподівання=0
-вона має сталу дисперсію
-закон розподілу є нормальним
Ідея методу найм.квадр.
Суть методу:
Регресивна пряма вибирається таким чином, щоб сума квадратів відхилень квадратів між фактичними значеннями і розрахунковими, згідно р-ня регресії була найменшою.
Коефіцієнти кореляції та детермінації.
Оцінкою щільності зв’язку між незалежною змінною Х і залежною змінною У є коефіцієнт кореляції між ними:
Cov(x,y) – коваріація із змінними х,у.
-відповідно дисперсії змінних х,у.
Значення коефіцієнта кореляції знаходиться в проміжку від (-1;1). Якщо значення коефіцієнта кореляції додатнє, то це означає що між змінними х,у існує прямий зв'язок, якщо відємне, тоді існує обернений зв'язок. Якщо |ryx|=1 то це означає що між змінними х,у існує сильний зв'язок, тобто ці змінні щільно пов’язані між собою. Якщо значення ryx близьке до нуля,то це означає що змінна х не впливає істотно на змінну у. В цьому випадку в моделі потрібно змінну х замінити на іншу пояснюючу змінну.
Коефіцієнт кореляції також можна знаходити за ф-лою:
Коефіцієнт детермінації встановлює адекватність (відповідність) побудованої регресійної моделі дійсній моделі. Визначається за ф-лою:
Якщо значення коефіцієнта детермінації близьке до 1, то це означає що побудована регресійна модель адекватна (відповідна) дійсній моделі, при значенні коефіцієнта детермінації близькому до нуля побудована регресійна модель невідпов.(неадекватна) дійсній моделі, в цьому випадку для дослідження процесу потрібно вибрати іншу модель.
Властивості оцінок параметрів лінійної регресії .
При побудові регресійної моделі у=в0+в1х+е, яка є наближенням реальної моделі у=?0+?1х+Е ми отримали оцінки параметрів в0,в1. При кожній вибірці ми будемо отримувати різні значення оцінок параметрів в0,в1, тобто змінні в0,в1 є випадковими величинами.
Метод найменших квадратів дає змогу стверджувати, що оцінки параметрів є BLUE-оцінка, тобто найкращими, незміщеними, лінійними оцінками. Незміщеність оцінок означає що їх математичне сподівання співпадає із параметрами моделі, тобто М(в0)=?0, М(в1)=?1 (при великій кількості спроб аналізу вибірок середнє значення оцінок параметру в0, в1 майже співпадають в середньому з невідомими пар. моделі ?0,?1).
Оцінки параметрів є ефективними, тобто вони мають найменшу дисперсію (середньоквадратичне відхилення від решти оцінок отриманих іншими методами). Оцінки параметрів є також обґрунтованими – означає, що при вибраному значенні ? завжди має місце рівності.
Перевірка парної регресійної моделі на адекватність за допомогою F-критерію Фішера.
F- розподіл Фішера – це відношення випадкових величин, кожна з яких має розподіл ? 2.
Якщо значення коефіцієнта детермінації менше суттєво за 1 (0,5;0,6) тоді виникає питання про адекватність побудованої моделі. Адекватність моделі встановлюється за допомогою F- критерію Фішера.
Алгоритм перевірки адекватності моделі:
1)Вибирається статистика R2 яка має розподіл Фішера згідно ф-ли:
Де R2- знайдене вибіркове значення дисперсії
n-к-сть елементів вибірки, при цьому вважається що ця статистика має 1, n-2 ступенів вільності.
2)задається рівень значимості
3)формулюється нульова гіпотеза Н0:в1=0 та альтернативна гіпотеза Н1:в1=0
4)за таблицями розподілу Фішера знаходять критичне значення Fкр.
Якщо F>Fкр., тоді нульова гіпотеза відхиляється (неприймається), а приймається альтернативна гіпотеза, тобто Н1:в1?0. В цьому випадку вважається що побудована регресійна модель адекватна дійсній моделі.
Якщо F<Fкр. тоді приймається нульова гіпотеза, побудована модель вважається неадекватною в реальній моделі, тоді потрібно врахувати теоретичні відомості, встановити (знайти) інший вигляд моделі яка описує процес.