КАЗАНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
им. А.Н. ТУПОЛЕВА

УТВЕРЖДАЮ:
Проректор по учебной и методической работе
_________________ И.К. Насыров
«_____» _______________ 200__ г.

ПРОГРАММА ДИСЦИПЛИНЫ
СД.03. Теория информации и кодирования

Рекомендуется УМЦ КГТУ им. А.Н. Туполева для направления

Направление: 230100 «Информатика и вычислительная техника»

Формы обучения: очная




Цели и задачи дисциплины
Целью дисциплины является изучение основных понятий и методов теории информации и кодирования, используемых при описании, проектировании и эксплуатации информационных систем.
Задачи дисциплины:
изучение информационных характеристик;
изучение информационных характеристик каналов связи;
изучение основных принципов кодирования информации;
изучение современных методов сжатия информации;
изучение методов помехоустойчивого кодирования информации.
Требования к уровню освоения содержания дисциплины
В результате изучения дисциплины студенты должны:
знать
информационные характеристики источников сообщений и способы их оценки,
информационные характеристики каналов связи и способы их оценки,
основные понятия и теоремы кодирования,
основные методы сжатия информации и показатели их эффективности,
основные методы помехоустойчивого кодирования информации;
уметь
рассчитывать информационные характеристики источников информации и каналов связи,
выполнять кодирование информации по методам Хаффмана и Шеннона-Фано,
применять алгоритмы сжатия текстовой, графической, аудио-, видео- и измерительной информации,
применять алгоритмы помехоустойчивого кодирования информации;
иметь навыки
программирования на языках C/C++ задач расчета информационных характеристик источников сообщений и каналов связи,
программирования на языках C/C++ задач оптимального кодирования информации,
программирования на языках C/C++ задач архивации информации,
программирования на языках C/C++ задач помехоустойчивого кодирования информации.


Объем дисциплины и виды учебной работы
Содержание дисциплины
Тематический план
Содержание тем
Введение (2/1)
Цели, задачи и структура курса. Краткие сведения по истории развития теории информации и кодирования. Связь курса с другими дисциплинами. Список литературы.
Информационные характеристики источников сообщений (4/4)
Энтропия как мера неопределенности физической системы. Энтропия сложной системы. Количественные аспекты информации. Количество информации как мера снятой неопределенности. Объем информации. Взаимная информация.
Неопределенность непрерывных случайных величин (4/4)
Энтропия непрерывной случайной величины. Количество информации для непрерывных систем. Принцип экстремума энтропии и экстремальные распределения. Эпсилон-энтропия.
Передача информации по каналам связи (4/4)
Источники сообщений. Избыточность информации. Передача информации по каналам связи. Пропускная способность канала. Пропускная способность непрерывных каналов связи. Согласование скорости выдачи информации с пропускной способностью канала связи. Согласование оконечных устройств с каналами связи.
Кодирование информации (4/4)
Префиксные коды. Основные теоремы кодирования. Оптимальное кодирование. Код Шеннона-Фано. Блочное кодирование. Код Хаффмана. Совмещенный способ построения кода Хаффмана.
Сжатие информации (10/9)
Основные понятия. Методы сжатия без потерь: словарные методы, статистические методы, методы с сортировкой блоков. Методы сжатия с потерями: сжатие измерительной информации, сжатие графики, аудио и видео. Архиваторы.
Помехоустойчивое кодирование (6/6)
Коды с обнаружением ошибок. Корректирующие коды. Код Хэмминга. Техническая реализация кода Хэмминга. Циклические коды.
. Лабораторный практикум

Курсовой проект
Содержанием курсового проекта является выполнение основных этапов проектирования подсистемы архивации данных, являющейся одной из составляющих информационной системы. Его результатом является программа на языке высокого уровня. Отчет по выполнению курсового проекта оформляется в виде пояснительной записки со следующим перечнем обязательных разделов:
Задание на курсовой проект;
Описание целей и задач проектируемого программного обеспечения;
исследование статистических характеристик исходных данных;
Алгоритмы решения задач;
Описание контрольного примера выполнения алгоритмов;
Описание модулей программного обеспечения;
Руководство по применению программного обеспечения;
Характеристики сжатия исходных данных;
Выводы;
Список литературы;
Приложения.
Учебно – методическое обеспечение дисциплины
Рекомендуемая литература
а) Основная литература:
Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. – М.: ДИАЛОГ–МИФИ, 2002;
Вернер М. Основы кодирования. Учебник для ВУЗов. – М.: Техносфера, 2004;
Лидовский В. В. Теория информации: Учебное пособие. — М.: Компания Спутник+, 2004;
Набережнов Г. М., Пьянов И. П., Чугунов Е. Н., Шлеймович М. П. Компьютерная графика: Учебное пособие для студентов специальности «Автоматизированные системы обработки информации и управления» /Под общ. ред. к. т. н., доцента Набережнова Г. М. – 2 – е изд., доп. – Казань: ИСПО РАО, 2002;
Сэломон Д. Сжатие данных, изображений и звука. – М.: Техносфера, 2004;
Теория информации и кодирование/ Самсонов Б.Б., Плохов Е.М., Филоненков А.И., Кречет Т.В. – Ростов н/Д, 2002;
Шень А. Программирование: теоремы и задачи. – 2 – е изд., испр. и доп. – М.: МЦНМО, 2004.
б) Дополнительная литература:
Арапов Д. Пишем упаковщик //Монитор, 1993 – № 1 – С. 16 – 20;
Балашов К. Ю. Сжатие информации: анализ методов и подходов. – Минск, 2000;
Дискретная математика и математические вопросы кибернетики. Т.1. /Ю.Л. Васильев, Ф. Я. Ветухновский, В. В. Глаголев, Ю. И. Журавлев, В. И. Левенштейн, С. В. Яблонский. Под общей редакцией С. В. Яблонского и О. Б. Лупанова. – М.: Главная редакция физико – математической литературы изд–ва «Наука», 1974;
Дмитриев В.И. Прикладная теория информации: Учеб. для студ. вузов по спец. «Автоматизированные системы обработки информации и управления». ? М.: Высш.шк., 1989;
Игнатов В.А. Теория информации и передачи сигналов: Учебник для вузов. – 2-е изд., перераб. и доп. – М.: Радио и связь, 1991;
Кричевский Р. Е. Сжатие и поиск информации. – М.: Радио и связь, 1989;
Куликовский Л.Ф. и др. Теоретические основы информационных процессов. ? М.: Высш.шк., 1987;
Мастрюков Д. Алгоритмы сжатия информации. Ч. 1. Сжатие по Хаффмену //Монитор, 1993. – № 7 – 8 – С. 14 – 20;
Мастрюков Д. Алгоритмы сжатия информации. Ч. 2. Арифметическое кодирование //Монитор, 1994 – № 1 – С. 20 – 23;
Мастрюков Д. Алгоритмы сжатия информации. Ч. 3. Алгоритмы группы LZ //Монитор, 1994 – № 2 – С. 10 – 13;
Мастрюков Д. Алгоритмы сжатия информации. Ч. 3. Алгоритмы группы LZ //Монитор, 1994 – № 3 – С. 8 – 11;
Питерсон У., Уэлдон Э. Коды, исправляющие ошибки. ?М.: Мир, 1976;
Ризаев И.С. Сборник задач по курсу “Теория информации и кодирование”, Казань, КАИ, 1976;
Семенюк В. В. Экономное кодирование дискретной информации. – СПб.: СПб ГИТМО (ТУ), 2001;
Смирнов М. А. Использование методов сжатия данных без потерь информации в условиях жестких ограничений на ресурсы устройства – декодера. //www.compression.ru
Смирнов М. А. Обзор применения методов безущербного сжатия данных в СУБД //www.compression.ru;
Темников Ф.Е. и др. Теоретические основы информационной техники. ?М.: Энергия, 1979;
Фомин А. А. Основы сжатия информации. – СПб.: СПГТУ, 1998.
Хаффман Д.А. Метод построения кодов с минимальной избыточностью: Пер. с англ. //Кибернетический сборник. – М.: ИЛ, 1961. – Вып. 3. – С. 79–87;
Цымбал В.П. Теория информации и кодирование. ?Киев: Вища школа, 1977;
Экономичное кодирование/ Логинов В.М., Цепков Г.В., Чинаев П.И. – Киев: Издательство «Технiка», 1976.
Средства обеспечения освоения дисциплины
Для обеспечения освоения дисциплины требуется система программирования MS Visual Studio 6.0 или MS Visual Studio.Net.
Материально – техническое обеспечение дисциплины
Класс, оснащенный современными персональными компьютерами под управлением операционной системы MS Windows XP (2000, Vista).










Программу составили Ризаев И.С., Ляшева С.А., Шлеймович М.П., КГТУ им. А. Н. Туполева
Программа обсуждена и одобрена на заседании кафедры АСОИУ
«____» ______________200__г., протокол №_____.
Зав. кафедрой АСОИУ ____________________________________Шарнин Л.М.
д.т.н., профессор
Председатель Учебно-методической _______________________Суздальцев В.А.
комиссии факультета
доцент
Декан факультета ТК и И _____________________________Емалетдинова Л.Ю.
д.т.н., профессор