Тема 6. Оцінка прогнозів 1. МЕТОДИЧНІ ПОРАДИ ДО ВИВЧЕННЯ ТЕМИ З даної теми передбачається вивчення таких питань: - поняття оптимального прогнозу; - оцінка адекватності прогнозної моделі; - оцінка точності прогнозної моделі та прогнозів; - побудова узагальненого прогнозу. Для самостійного вивчення цієї теми рекомендується література: [2,4,6,7,9]. Вивчення теми надаст студентам можливість знати оцінки адекватності і точності прогнозної моделі, зрозуміти поняття оптимального прогнозу, вміти будувати узагальнений прогноз. Оптимальним прогнозом вважається найкращий прогноз, який можна одержати за наявних обставин. Часто його називають прогнозом раціональних сподівань. Важливо усвідомити, що раціональні сподівання можуть відрізнятись від фактичних значень, але будь-яка різниця має бути випадковою та непередбачуваною. Оскільки раціональні сподівання грунтуються на коректній економічній теорії, вони мають властивості незміщеності (за умови квадратичної функції витрат) та ефективності. Вимога незміщеності означає, що помилка прогнозу має нульове математичне сподівання. Ефективність передбачає, використання всієї доступної інформації, отже помилка прогнозу некорельована з цією інформацією. Існують численні критерії перевірки того, чи є послідовність прогнозів раціональною. Стандартний критерій незміщеності потребує оцінки моделі , (6.1) де yt - ряд фактичних значень або спостережень; Ft - ряд значень прогнозу; ut - залишки. Потім перевіряється гіпотеза, чи ? = 0 та ( = 1 водночас. Перевірка ефективності є більш складною, оскільки неможливо коректно визначити відповідний масив інформації, стосовно якого помилки прогнозу мають бути некорельованими. На сьогоднішній день не знайдено ефективного методу оцінювання якості прогнозу до його реалізації, тому традиційно аналізують якість моделі прогнозування, за якою був одержаний результат, а не якість самого результату. Розглянемо оцінювання якості прогнозу за стандартними критеріями адекватності і точності прогнозованої моделі. Оцінювання адекватності прогнозованої моделі. Незалежно від виду і способу побудови економіко-математичної моделі питання про можливість її застосування з метою аналізу і прогнозу економічного явища може бути вирішено тільки після встановлення адекватності моделі. Оскільки повної відповідності моделі реальному процесу або об’єкту бути не може, адекватність - певноюй мірою умовне поняття. При моделюванні мається на увазі адекватність не взагалі, а тим властивостям моделі, які вважаються суттєвими для дослідження. Модель згладжування певного часового ряду вважається адекватною, якщо правильно відображає систематичні компоненти часового ряду. Ця вимога еквівалентна вимозі, щоб залишкова компонента (t=1,2,...,n) задовольняла таким властивостям випадкової компоненти часового ряду як: випадковість коливань рівнів залишкової послідовності, відповідність розподілу випадкової компоненти нормальному закону, рівність математичного сподівання випадкової компоненти нулю, незалежність значень рівнів випадкової компоненти. Розглянемо, яким чином здійснюється перевірка цих властивостей залишкової послідовності. Перевірка випадковості коливань рівнів залишкової послідовності означає перевірку гіпотези про правильність вибору виду тренду. Для дослідження випадковості відхилень від тренду розраховують набір різниць (t=1,2,...,п). Характер цих відхилень вивчається за допомогою ряду непараметричних критеріїв. Одним з таких критеріїв є «критерій серій», який використовує медіану вибірки. Перевірка відповідності розподілу випадкової компоненти нормальному закону розподілу може бути зроблена лише наближено за допомогою дослідження показників асиметрії (А) і ексцесу (Е), оскільки часові ряди, як правило, не дуже довгі. При нормальному розподілі показники асиметрії і ексцесу певної генеральної сукупності дорівнюють нулю. Допустимо, що відхилення від тренду являють собою вибірку з генеральної сукупності, тому можна визначити тільки вибіркові характеристики асиметрії й ексцесу та їхні помилки: ; ; (6.3) ; , (6.4) де - вибіркова характеристика асиметрії; - вибіркова характеристика ексцесу; і - відповідні середньоквадратичні помилки. Якщо одночасно виконуються такі нерівності: ; , то гіпотеза про нормальний характер розподілу випадкової компоненти приймається. Якщо виконується хоча б одна з цих нерівностей ; , то гіпотеза про нормальний характер розподілу відхиляється, трендова модель признається неадекватною. Інші випадки потребують додаткової перевірки за допомогою більш складних критеріїв. Перевірка рівності математичного сподівання випадкової компоненти нулю, якщо вона розподілена за нормальним законом, виконується на основі t-критерію Стьюдента. Розрахункове значення цього критерію задається формулою , (6.5) де - середнє арифметичне значення рівнів залишкової послідовності ; - стандартне (середньоквадратичне) відхилення для цієї послідовності; n - Якщо розрахункове значення t менше табличного значення t? статистики Стьюдента із заданим рівнем значущості ? і числом ступенів свободи п-1, то гіпотеза про рівність нулю математичного сподівання випадкової послідовності приймається, в протилежному випадку ця гіпотеза відхиляється і модель вважається неадекватною. Перевірка незалежності значень рівнів випадкової компоненти, тобто перевірка відсутності суттєвої автокореляції в залишковій послідовності може здійснюватися за рядом критеріїв, найбільш поширеним з яких є DW-критерій Дарбіна-Уотсона ( ). Зазначимо, що розрахункове значення критерія Дарбіна-Уотсона в інтервалі від 2 до 4 свідчать про від’ємний зв’язок. У цьому випадку його треба перетворити за формулою DW' = 4 - DW і далі використовувати значення DW' . Висновок про адекватність трендової моделі робиться, якщо усі розглянуті вище чотири перевірки властивостей залишкової послідовності дають позитивний результат. Оцінка точності прогнозованої моделі та прогнозів. Точність моделі характеризується близькістю розрахункових значень до фактичних спостережень на періоді апроксимації. Вважається, що моделі з меншим розходженням між фактичними і розрахунковими значеннями краще відображають досліджуваний процес. Для характеристики ступеня близькості використовуються такі описові статистики: середнє квадратичне відхилення (або дисперсія), коефіцієнт детермінації (чим ближче до 1, тим точніша модель), середня відносна помилка апроксимації (чим ближче до 0, тим точніша модель), максимальне відхилення тощо. Розглянуті показники точності моделей розраховуються на основі усіх рівнів часового ряду і тому відображають лише точність апроксимації. На їх основі можна зробити вибір з декількох адекватних трендових моделей економічної динаміки найбільш точної, хоча можливо, коли за одним показником більш точна одна модель, а за іншим - інша. Параметричні характеристики точності прогнозів. Статистично точність прогнозів можна оцінити, використовуючи тільки так званий ретроспективний прогноз. Для його здійснення інформація ділиться на дві частини. Частина, що охоплює більш давнішні спостереження, використовується для оцінювання параметрів побудованої моделі, друга, пізніша, розглядається як реалізація прогнозу. Одержані таким чином помилки прогнозу характеризують точність застосованої методики прогнозування. Якщо позначити прогнозовані значення Ft, а фактичні дані yt, найбільш популярні описові статистики точності ретроспективного прогнозу мають такі формули розрахунку: середньоквадратична помилка MSE: , (6.6) корінь квадратний з середньоквадратичної помилки , (6.7) середня абсолютна помилка , (6.8) корінь з середньоквадратичної помилки у відсотках , (6.9) середня абсолютна помилка у відсотках . (6.10) Поряд з МАРЕ можна розглядати медіану абсолютних помилок у відсотках (MdAPE), яка має перевагу у випадку асиметричного розподілу помилок, коли середнє може бути зміщеним внаслідок небагатьох екстремальних значень. Недоліком обговорених вище характеристик точності прогнозів є їх залежність від обраних одиниць виміру. Безрозмірним показником, аналогічним до коефіцієнта кореляції, є коефіцієнт нерівності Тейла: U = . (6.11) У чисельнику стоїть RMSE, а знаменник складається з суми коренів середніх значень квадратів фактичних та прогнозованих величин. Перевага коефіцієнта Тейла полягає в тому, що його значення завжди знаходяться у межах від нуля до одиниці. Якщо всі прогнози абсолютно точні, то U=0. Якщо всі прогнози дорівнюють нулю, а жодне з фактичних значень не дорівнює нулю або навпаки, U дорівнюватиме одиниці. Таким чином, малі значення U вказують на те, що прогноз є точним. MSE використовують також для порівняння точності різних прогнозів[ ]. Обговорені характеристики точності прогнозів є параметричними в тому сенсі, що вони потребують виконання заданих припущень стосовно властивостей математичного сподівання та дисперсії випадкових змінних, які чинні за умов нормальності відповідних розподілів. Наприклад, використовуючи MSE, ми неявно припускаємо, що всі помилки прогнозу мають однакові і постійні математичні сподівання та дисперсії Непараметричні характеристики аналізу точності прогнозів не залежать від вигляду розподілу, а отже не потребують припущення про нормальність розподілів. Це особливо корисно, коли йдеться про дані, які не дозволяють використовувати числові шкали. До непараметричних критеріїв відносяться: критерій знаків та рангові критерії. Інтегровані критерії точності й адекватності. Схема формування інтегрованих критеріїв точності й адекватності, а також загального критерію якості прогнозів полягає в тому, що формується склад окремих критеріїв, на основі яких розраховується інтегрований показник. Попередньо для кожного окремого критерію розробляється процедура його нормування. Нормований критерій одержується з вихідної статистики критерію таким чином, щоб виконувалися умови: нормований критерій дорівнює 100, якщо модель абсолютно точна (адекватна), нормований критерій дорівнює 0, якщо модель абсолютно неточна (неадекватна). Узагальнений критерій якості моделі розраховується як зважена сума узагальненого критерію точності (його значення 0,75) і узагальненого критерію адекватності (його значення 0,25), тобто точності приділяється більше значення. Для характеристики точності використовується нормоване значення середньої відносної помилки апроксимації, а критерії адекватності визначають через нормоване значення критерію Дарбіна-Уотсона і характеристики нормального закону розподілу залишкової компоненти. Побудова узагальненого прогнозу. На практиці часто зустрічаєтья ситуація, коли кілька прогнозованих моделей можуть бути адекватними, з невеликою різницею між їх характеристиками. У цьому випадку доцільно будувати узагальнений прогноз, який являє собою лінійну комбінацію окремих прогнозів [29]: F = , (6.14) де М - кількість об’єднаних прогнозів; pj - вагові коефіцієнти окремих прогнозів; Fj - окремі прогнози. Вагові коефіцієнти визначаються з умови мінімуму дисперсії помилок узагальненого прогнозу (максимуму його точності), яка знаходиться як сума всіх елементів коваріаційної матриці помилок окремих прогнозів із відповідними вагами. Алгоритм об’єднання окремих прогнозів має наступні кроки: 1. Обчислюються дисперсії помилок окремих прогнозів і будується коваріаційна матриця: , j=1,…M, де ej - помилки окремих прогнозів; t - порядковий номер спостереження, t = 1,.. ,п; . 2. Будуються матриця В і вектор С за формулами: ; . 3. Через розв’язання системи лінійних рівнянь одержують (М-1) значення рj, при цьому значеневий коефіцієнт рМ визначається як:
4. Перевіряється умова: pj>0, j=1,..., М, при цьому а) якщо умова не виконується, прогнози виключаються і перераховується вагові коефіцієнти (із поверненням до п. 2); б) якщо усі вагові коефіцієнти додатні, то розраховується значення узагальнюючого прогнозу F і коефіцієнт умовної ефективності ; =, де - дисперсія помилок комплексного прогнозу; - дисперсія помилок найкращого окремого прогнозу. 5. Оскільки в більшості випадків точність прогнозів змінюється в часі, формули оцінки вагових коефіцієнтів модифікуються так, щоб пізнішим помилкам надати більшого значення. Отже, шляхом змінення вагових коефіцієнтів у бік найкращого окремого прогнозу Fjt, коригується узагальнений прогноз: , де pjt - вагові коефіцієнти окремих прогнозів в момент часу t; Fjt - окремий прогноз в момент часу t; Ft - узагальнений прогноз в момент часу t. Для підвищення стабільності динаміки змінення вагм в алгоритмі її коригування можна використовувати схему експоненційного згладжування. В цілому для проведення узагальнення необхідно мати не менш двох адекватних моделей, а для підвищення стійкості результатів кількість узагальнюваних окремих прогнозів не повинна перевищувати п’яти. 2.ТЕМІНОЛОГІЧНИЙ СЛОВНИК Оптимальний прогноз - це передбачення, зроблене на основі економічної теорії, яке використовує всю доступну на момент побудови прогнозу інформацію. Адекватность прогнозної моделі - це відповідность моделі процесу або об’єкту дослідження. Апроксимація – це наближене зображення одних математичних об’єктів іншими. Верифікація моделі – це перевірка моделі на достовірність. Точність прогнозної моделі – це є близькість розрахункових значень до фактичних спостережень за період апроксимації. Ретроспективний прогноз – це прогноз, якій використовується для верифікації моделі коли усі значення змінних відомі. Точковий прогноз – це конкретне значення прогнозованого показника у певний момент часу. Інтервальний прогноз – це певний простір точкового прогнозу, його розмір задається нижньою та верхньою межею. Узагальнений прогноз – це прогноз, який являє собою лінійну комбінацію окремих де кількох адекватних прогнозів. 3. ПИТАННЯ ДЛЯ САМОПЕРЕВІРКИ Теоретичні питання Що мається на увазі оптимальний прогноз? Які існують оцінки адекватності прогнозної моделі? Які існують оцінки тоністі прогнозної моделі? Які існують характеристики тоністі прогнозу? У чому полягає сутність інтегрованого критерія точності й адеквантисті прогнозу? Як здійснується побудова узагальненого прогнозу? 4. ПРАКТИЧНІ ЗАВДАННЯ Завдання 1. Задані рівні ВВП за 17 років (табл.6.1). На основі статистичних даних за перші 12 років побудована трендова модель динаміки валового внутрішнього продукту країни: та зроблений прогноз ВВП на 13-17 роки. Таблиця 6.1. t Yt (Рівень ВВП) (Розрахунковий ВВП) еt= Yt-
1 705,1 620,9307692 84.169
2 772 715,5251748 56.475
3 816,4 810,1195804 6.280
4 892,7 904,713986 -12.014
5 963,9 999,3083916 -35.408
6 1015,5 1093,902797 -78.403
7 1102,7 1188,497203 -85.797
8 1212,8 1283,091608 -70.292
9 1359,3 1377,686014 -18.386
10 1472,8 1472,28042 0.520
11 1598,4 1566,874825 31.525
12 1782,8 1661,469231 121,331
13 1990,5 1756,063636 234,436
14 2249,7 1850,658042 399,042
15 2508,2 1945,252448 562,948
16 2732,0 2039,846853 692,153
17 3052,6 2134,441259 918,159
Визначити: адекватность і точность прогнозної моделі; точность прогнозу. Завдання 2. За даними табл.2.3. та результатами розрахунків завдання 3 теми 2, потрібно: 1) Побудуйте для кожного ряду тренди й виберіть кращий з них. Побудуйте рівняння регресії й оцініть тісноту й силу двох рядів (за відхиленнями від тренду та за моделлю множинної регресії із додатковим фактором часу). Зробіть прогноз рівня одного ряду виходячи із його зв’язку з рівнями другого ряду. Оцінити адекватность і точность моделей прогнозу; 5) Прогнозні значення рівнів ряду й довірчий інтервал прогнозу нанесіть на графік. Завдання 3. Оцінити адекватность і точность прогнозної моделі та прогнозу отримуватими у завданні 2 теми 4.
