Взаимная информация источников

ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ

Государственное образовательное учреждение

Высшего профессионального образования

Московский технический университет связи и информатики

Кафедра общей теории связи

Методические указания и задание

на курсовую работу

по дисциплине

ТЕОРИЯ ИНФОРМАЦИИ

для студентов-заочников 3 курса

направления 230400

Информационные системы и технологии

Москва 2013

План УМД на 2012/2013 учебный год

Методические указания и задание

на курсовую работу

по курсу ТЕОРИЯ ИНФОРМАЦИИ

Составитель Павлюк В.В. канд. техн. наук, доцент

Работа содержит рабочую программы, методические указания и контрольные вопросы по курсу «Теория информации», задание на курсовую работу и методические рекомендации по ее выполнению. Предназначено для студентов 3 курса заочной формы обучения по направлению 230400 Информационные системы и технологии.

Издание новое.

Утверждено на заседании кафедры ОТС 6 февраля 2013 г. протокол № 5

Рецензент Алексеева Т.Л. канд. техн. наук, доцент

РАБОЧАЯ ПРОГРАММА КУРСА ТЕОРИЯ ИНФОРМАЦИИ

Введение

Основные задачи теории информации. Краткая справка по истории возникновения и развития, и современному состоянию теории информации. Понятия информации, источника информации. Дискретные и непрерывные источники информации. Проблемы количественного измерения информации и подходы к введению количественной меры информации.

Основные понятия теории информации

Понятие количество информации и различные подходы к измерению количества информации. Вероятностная мера Шенона и смысл меры Шенона. Единицы измерения информации. Энтропия источника информации. Условия максимума энтропии источника информации.

Взаимная информация источников.

Свойства взаимной информации. Условная энтропия. Модель источника дискретных сообщений. Информационная, производительность источника.