Розділ 3. ІНФОРМАЦІЙНА ХАРАКТЕРИСТИКА ТА ПАРАМЕТРИ ДЖЕРЕЛ ДИСКРЕТНИХ ПОВІДОМЛЕНЬ Мета вивчення 3-го розділу дисципліни: це «тонкий» аналіз особливостей джерел інформації: який вказує на невизначеність появи повідомлень; виявляє наявність інформаційної надлишковості у джерела; фіксує той факт, що видача інформації здійснюється з певною швидкістю; враховує, що повідомлення джерела можуть бути як залежними, так і незалежними. Питання, на які студент повинен знати відповідь, приступаючи до вивчення цього розділу: Яка різниця між характеристикою і параметром? Яка різниця між умовними і безумовними ймовірностями? Що таке семантика? Поняття, які необхідно знати для сприйняття матеріалу розділу 3: Інформація – це відомості про предмети, події, явища об’єктивної дійсності. Інформаційні повідомлення або просто повідомлення – це символи, знаки, процеси, що відображають в тій чи іншій формі інформацію, яка не є відомою одержувачу. Джерела повідомлень – людина, тварина, птах, різні предмети і явища об’єктивної дійсності.
3.1. Кількісна міра інформації для дискретних повідомлень Щоб порівнювати між собою різні джерела повідомлень і різні канали зв’язку необхідно ввести кількісну міру, яка дозволить оцінювати інформацію, що міститься в повідомленні і переноситься сигналом. Отже постає питання про те, яку кількість інформації можна передати ? Дві форми представлення інформації, яку несе повідомлення: семантичне представлення; cтатистичне представлення. Проілюструємо кількісну міру інформації на прикладі семантичного представлення повідомлень. Приклад: Маємо три повідомлення, які передаються вдень 10 жовтня: зараз у Львові осінь ; сьогодні ввечері у водопроводі Львова не буде води; сьогодні, через 15 хв. у Львові буде землетрус. В якому повідомленні більша кількість інформації ? Напевно Ви відповісте: В третьому. Але виникає наступне питання: з яким параметром цих повідомлень можна пов’язати кількісну міру інформації в цих повідомленнях? Цим параметром є ймовірність появи події про яку йдеться в повідомленні. Тепер необхідно встановити зв’язок між кількістю інформації в повідомленні і ймовірністю появи цього повідомлення. Аналіз представлених вище повідомлень показує, що для події ймовірність появи якої дуже мала – кількість інформації дуже велика. Починаємо конструювати формулу для визначення кількості інформації в повідомленні. Зроблений вище висновок дозволяє встановити формалізоване представлення залежності між кількістю інформації в повідомленні і ймовірністю появи цього повідомлення, яке має вигляд такого виразу:
де кількість інформації в повідомленні ; ймовірність появи повідомлення . Перевіримо, чи можна вираз (3.1) вважати формулою для визначення кількості інформації в повідомленні. Якщо ймовірність появи повідомлення прямує до нуля, то згідно виразу кількість інформації в цьому повідомленні прямує до безмежності. Такий результат відповідає нашим представленням. Але якщо ймовірність появи повідомлення прямує до одиниці, то кількість інформації за нашими представленнями повинна прямувати до нуля. А вираз (3.1) такого результату не дає. Продовжимо вдосконалення цього виразу: можна вважати як аргумент якоїсь функції, яка буде правильно виражати кількісну міру інформації. Шеннон провів дослідження і виявив, що
Яку слід вибрати основу для логарифма? Це питання є важливим тому, що основа логарифма буде визначати одиницю вимірювання кількості інформації. Щоб знайти відповідь на поставлене питання розглянемо наступну послідовність міркувань, що починається з питання: Яку мінімальну кількість повідомлень необхідно дати в розпорядження джерела для передачі інформації? Спробуємо знайти відповідь на поставлене запитання за допомогою такого експерименту. Припустимо, що “джерело” може використовувати для передачі інформації тільки одне повідомлення “так”. Чи зможемо ми отримати інформацію від такого джерела задаючи йому запитання? Очевидно, що на довільне поставлене запитання ми отримаємо очікувану відповідь “так”. А інформацію від джерела ми отримуємо тоді, коли відповідь є неочікуваною. Тепер надамо можливість “джерелу” використовувати для передачі інформації два повідомлення “так” і “ні”. В цьому випадку ефект очікуваного повідомлення зникає і стає можливим отримання інформації від джерела. Як приклад можна згадати ситуацію представлену в детективах, коли слідчий намагається отримати інформацію від потерпілого, який не може говорити. Але сприймає питання слідчого і може відповідати знаками у формі повідомлень “так” або “ні”. В цьому випадку отримання інформації від джерела стає можливим. Отже два повідомлення - це мінімальна кількість повідомлень, яка повинна бути в розпорядженні джерела для забезпечення можливості передачі інформації. Можливо і Шеннон керуючись подібними міркуваннями, запропонував основу логарифма 2 у формулі визначення кількості інформації в повідомленні. Формула запропонована Шенноном:
Оскільки повідомлень є два, то розмірність кількості інформації в повідомленні було представлено “двійковою одиницею”. Технічний еквівалент цієї одиниці – двійковий імпульс або біт (англ. bit – binary digit – двійковий знак). В теорії інформації використовуються і інші основи логарифма, а відповідно інші одиниці кількості інформації - якщо “lg” “десяткова одиниця”[діт] і якщо “ln” “натуральна одиниця” [нат] . Вертаємося на початок узагальненої структурної схеми СПІ (див. розділ 1, рис. 1.1): як бачимо СПІ починається з джерела інформації (ДІ), яке оперує ансамблем повідомлень А. Такий ансамбль повідомлень прийнято називати алфавітом джерела. Отже можна сказати, що джерело інформації видає повідомлення з ансамблю А. З технічної точки зору в СПІ повідомленнями можуть бути: букви, цифри або відліки неперервного сигналу. Ці повідомлення є дискретними. На основі формули для визначення кількості інформації в повідомленні можна сформувати інформаційну характеристику джерела дискретних повідомлень (див. рис. 3.2). На рисунку кожна вертикальна лінія відповідає окремому повідомленню і її висота представляє кількість інформації, яку несе це повідомлення в процесі видачі інформації від джерела. 3.2. Інформаційні параметри джерел дискретних повідомлень Що ми розуміємо під поняттям”дискретне повідомлення” ? Дискретне повідомлення це буква, цифра або відлік, який з’являється після дискретизації і квантування неперервного сигналу. Що таке “ Інформаційна характеристика джерела” ? Інформаційна характеристика джерела – це розподіл кількості інформації, яка припадає на кожне повідомлення алфавіту джерела. Вихідними даними для розрахунку цієї характеристики є ймовірності появи повідомлень алфавіту джерела. Для порівняння джерел, алфавіт яких має різну кількість повідомлень, інформаційна характеристика не є зручною. Отже інформаційна характеристика виконує ілюстративну функцію. Але як і всяка інша характеристика інформаційна характеристика дає можливість визначити параметри джерела. Які інформаційні параметри джерела можна отримати з його інформаційної характеристики? Перше, що може прийти надумку, це «середнє значення кількості інформації, яка припадає на одне повідомлення джерела». 3.2.1. Середнє значення кількості інформації, яка припадає на одне повідомлення джерела Розглянемо методику виначення цього параметра на прикладі джерела інформації, алфавіт якого складає 2 повідомлення «0» і «1». Нехай P(1) і P(0) ймовірності появи повідомлень “1” і “0” відповідно. Тоді згідно з формулою (3.2) кількість інформації в кожній появі повідомлення «1» (або «0») І(1) (або І(0)) визначається так:
Розглянемо послідовність повідомлень, наприклад, 1101111000 і позначимо кількість «1» в цій послідовності - n(1) і кількість «0» - n(0). Тепер середню кількість інформації, яка припадає на одне повідомлення цієї послідовності повідомлень можна порахувати за формулою:
На основі формули (3.3) сформуємо формулу для визначення середнього значення кількості інформації, яка припадає на одне повідомлення джерела при довільній кількості повідомлень джерела m:
Для практичного використання параметр середнє значення кількості інформації, яка припадає на одне повідомлення джерела має коротшу назву – ентропія джерела. Надалі для цього параметра будемо використовувати таке позначення H(A), де A – довільне повідомлення з алфавіту джерела. Щоб зрозуміти чому для параметра середнє значення кількості інформації, яка припадає на одне повідомлення джерела використано термін ентропія джерела (а він використовується в фізиці в розділі термодинаміка), треба знайти відповідь на запитання: Яку властивість джерела характеризує цей параметр? Хід міркувань: Щоб знайти відповідь на це запитання побудуємо графік для залежності H(A) від P(0). Для цього формулу 3.4 представимо в такому вигляді:
