Розділ 7. Інформаційні параметри дискретного каналу зв’язку
Мета вивчення 7-го розділу дисципліни:
Вияснити, від чого залежить „швидкість передачі інформації” через дискретний канал зв’язку без завад і як впливає на неї наявність завад.
Підійти до розуміння задачі створення „інформаційної моделі” системи передачі інформації.
Дізнатись ще про один фундаментальний результат теорії зв’язку представлений в „теоремі Шеннона”.
Вийти на поняття „інформаційна ефективність” системи передачі інформації.
Питання, на які студент повинен знати відповідь, приступаючи до вивчення цього розділу:
Яку інформацію про сигнал дає параметр „ефективна ширина спектру сигналу”?
Яка характеристика каналу зв’язку дозволяє визначити параметр „смуга пропусканна каналу зв’язку”?
В якому вигляді можуть існувати дискретні повідомлення, в цифровій системі передачі інформації?
Якими ефектами характеризується процес передачі цифрових сигналів через дискретний канал зв’язку?
Який сенс має поняття „канал без пам’яті”?
В яких одиницях вимірюється кількість інформації?
Поняття, які необхідно знати для сприйняття матеріалу розділу 7:
дискретний канал зв’язку, симетричний канал без пам’яті, симетричний канал без пам’яті із стиранням, кількість інформації в повідомленні, ентропія джерела інформації, надлишковість джерела інформації, продуктивність джерела інформації, кодер, умовна ймовірність, сумісні і несумісні події. Нагадаємо тут деякі поняття з цього переліку:
Ентропія джерела інформації – середнє значення кількості інформації, яка припадає на одне повідомлення джерела. Ентропія характеризує ступінь невизначеності в появі повідомлень на виході джерела інформації.
Надлишковість джерела інформації – різниця між максимальним і реальним значеннями ентропії джерела. Надлишковість характеризує питому вагу зайвих повідомлень, які видає джерело при передачі певної кількості інформації.
Продуктивність джерела інформації – максимальна швидкість появи повідомлень на виході джерела. Продуктивність залежить від кількості повідомлень, які використовуються в джерелі інформації, тобто від алфавіту джерела.
7.1. Передача повідомлень по каналу зв’язку без завад
7.1.1. Пропускна здатність каналу зв’язку без завад
Постановку задачі представимо за допомогою структурно-функціональної схеми, зображеної на рис. 7.1:
А – алфавіт повідомлень, якими оперує джерело (тут повідомленнями можуть бути букви, цифри, відліки неперервного сигналу);
m – кількість повідомлень в алфавіті джерела;
B1 – алфавіт повідомлень на виході кодера (тут повідомленнями є цифри, наприклад, 0 і 1);
q – кількість повідомлень в алфавіті кодера;
B2 – алфавіт повідомлень на виході каналу зв’язку.
Зауважимо, що для дискретного каналу зв’язку без завад B1 = B2.
Пропускна здатність каналу зв’язку – це кількість інформації, яка може бути передана через канал зв’язку за одиницю часу.
Як ми будемо визначати пропускну здатність каналу зв’язку ?
Для визначення пропускної здатності каналу зв’язку скористаємося таким підходом:
сформуємо формулу для визначення швидкості передачі інформації по каналу зв’язку;
пропускну здатність каналу визначимо як максимальне значення швидкості передачі по цьому каналу.
Представимо швидкість передачі інформації R, як відношення кількості інформації, яка передається послідовністю h повідомлень, сформованих за час спостереження T, до тривалості спостереження T при умові, що величина T є досить великою. Математичне представлення цього виразу матиме вигляд:

Дамо технічне представлення величин, використаних при формуванні формули (7.1):
- кількість інформації, передана послідовністю з h повідомлень;
- час спостереження;
h – кількість повідомлень у послідовності за час спостереження;
- ентропія на вході та виході каналу зв’язку без завад;
- тривалість одного повідомлення.
Підставимо ці величини у формулу (7.1):

Згідно сформованого вище підходу, пропускну здатність каналу зв’язку знайдемо як максимально можливу швидкість передачі інформації по цьому ж каналу:

Визначимо пропускну здатність каналу зв’язку, для якого визначені такі умови:
кількість повідомлень, які використовуються кодером рівна q;
смуга пропускання каналу зв’язку дорівнює ?FКЗ;
величини і незалежні.
Згідно виразу (7.3) для визначення С слід визначити максимум для і мінімум для .
Оскільки повідомлення джерела інформації кодуються кодером, в якому використовується q повідомлень (цифр), то:
Для визначення мінімальної тривалості повідомлення на виході кодера згадаємо, що коли в процедурі кодування використовуються два повідомлення 0 і 1, то при формуванні цифрового сигналу використовуються двійкові імпульси. Тому розглянемо спектральну характеристику S(f) для прямокутного відеоімпульса, який фізично представляє одне повідомлення. В канал зв’язку подають лише частину спектральної характеристики сигналу, оскільки вся спектральна характеристика сигналу займає частотний діапазон від нуля до безмежності. Для передачі цього сигналу через канал зв’язку необхідно забезпечити виконання умови: ефективна ширину спектру сигналу ?fеф не повинна перевищувати ширину смуги пропускання каналу зв’язку ?FКЗ. Будемо вважати, що для прямокутного відеоімпульса ефективна ширина спектру становить:
.
Тоді мінімальне значення тривалості повідомлення (в даному розгляді тривалості імпульса) визначається за формулою:
Отже, мінімальне значення тривалості повідомлення (в даному розгляді тривалості двійкового імпульсу) залежить від ширини смуги пропускання каналу зв’язку ?FКЗ, яка в свою чергу визначає максимальне значення ефективної ширини спектру сигналу
Після підстановки виразів (7.4) і (7.5) в (7.3) отримаємо вираз для визначення пропускної здатності дискретного каналу без завад:

Для двійкових імпульсів q = 2 і відповідно

В теорії зв’язку існує поняття „границя Найквіста”, яка представляє максимальну швидкість передачі двійкових імпульсів:

де Fм – частота маніпуляції, ; ця частота дорівнює частоті першої гармоніки спектру сигналу, який представляє собою періодичну послідовність імпульсів прямокутної форми, які відображають символи „0” і „1”.
7.1.2. Теорема Шеннона для дискретного каналу зв’язку без завад
Однією із задач, яка вирішується при проектуванні цифрової системи передачі інформації є вибір (або розробка) коду для кодування повідомлень і відповідно синтез структурно-функціональних схем кодера і декодера. Ця задача розглядалась в розділі 4. Приступаючи до рішення цієї задачі проектантові було би добре знати: чи існує рішення цієї задачі для конкретних умов функціонування системи передачі інформації? Ці умови можна представити параметрами „продуктивність джерела інформації” і „пропускна здатність каналу зв’язку”. Спосіб знаходження відповіді на поставлене запитання був знайдений К.Шенноном і ввійшов в теорію зв’язку під назвою теорема Шеннона.
Отже, теорема Шеннона дає відповідь на питання: чи існує спосіб кодування повідомлень для подальшої передачі їх через конкретний канал зв’язку? Рекомендація теореми звучить наступним чином:
Якщо продуктивність джерела інформації Rд є меншою або рівною від різниці між пропускною здатністю каналу зв’язку С і деякою малою величиною ?, то завжди існує спосіб кодування, який дозволяє передавати всі повідомлення джерела по каналу зв’язку в реальному масштабі часу. Ця умова має такий вигляд:

7.2. Передача повідомлень через дискретний канал зв’язку при наявності завад
7.2.1. Пропускна здатність дискретного каналу зв’язку при наявності завад
Постановка задачі аналогічна до попередньої, а різниця лише полягає в тому, що на сигнал у каналі зв’язку тепер діють завади.
Чи однакова ентропія на вході та на виході каналу зв’язку?
Якщо ми маємо справу з каналом зв’язку без завад, то ентропії на вході та на виході каналу зв’язку будуть однаковими. В таких випадках кажуть, що вихід однозначно представляє вхід.
Якщо ми маємо справу з каналом зв’язку із завадами (наприклад, симетричний канал без пам’яті із стиранням), то ентропія на вході буде меншою, ніж на виході каналу зв’язку. Тому, що при дії завади, яка супроводжується ефектом стирання, кількість повідомлень на виході каналу є більшою ніж на його вході. Тому степінь невизначеності в появі повідомлень на виході каналу зв’язку є більшою ніж на вході, тобто:
Можемо говорити, що за рахунок дії завади частина інформації втрачається. Цей висновок може бути покладеним в основу конструювання формули для знаходження кількості інформації, переданої одержувачу. Тоді середнє значення кількості інформації переданої через канал зв’язку одним повідомленням можна представити такою словесною формулою:
Для того щоб представити цю словесну фо