Статистическая мера информации

В качестве основной характеристики сообщения теория связи принимает величину, называемую количеством информации. Это понятие не затрагивает смысла и важности передаваемого сообщения, а связано со степенью его неопределенности.

Пусть алфавит состоит из m букв, каждая из которых может служить элементом сообщения. Количество возможных сообщений длины п равно числу перестановок с неограниченными повторениями. Для получателя все N сообщений являются равновероятными, а получение конкретного сообщения равносильно для него случайному выбору одного из N объектов с некоторой вероятностью. Ясно, что чем больше N, тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать сообщение. Итак, число N могло бы служить мерой информации. Однако с позиций техники связи естественно наделить эту меру свойством аддитивности, т. е. определить ее так, чтобы она была пропорциональна длине п сообщения (ведь при передаче и оплате сообщения, например телеграммы, важно не его содержание, а общее число элементов). Этому требованию отвечает логарифмическая функция, которая и принимается в качестве количества информации

Количество информации, приходящееся на один элемент сообщения, называется энтропией. В принципе безразлично, какое основание логарифма используется для определения количества информации и энтропии, так как переход от одного основания другому сводится лишь к изменению единицы измерения. Чаще зсего используют двоичные логарифмы,

При этом единицу количества информации на рдин элемент сообщения называют двоичной единицей или битом. 1 бит — это количество информации, которым характеризуется один двоичный элемент при равновероятных состояниях 0 и 1. Двоичное сообщение длины п содержит п бит информации. Единица количества иформации, равная 8 битам, называется байтом. Если основание логарифма выбрать равным десяти, то энтропия выражается в десятичных единицах на элемент сообщения (дитах), причем 1 дит = Iog10, 1 бит = 3,32 бит.

Определим, например, количество информации, которое содержится в телевизионном сигнале, соответствующем одному кадру развертки. В кадре 625 строк, а сигнал, соответствующий одной строке, представляет собой последовательность из 600 случайных амплитуде импульсов, причем амплитуда каждого импульса ложет принять любое из 8 значений с шагом в I В. Искомое количество 'информации 625 • 600 Iog8 = 1125 106 бит.

Приведенная выше количественная оценка информации оснона на предположении о равновероятности всех букв алфавита. В общем случае каждая из букв появляется в сообщениях с различной вероятностью.

Если элементы сообщения могут принимать значения на непрерывном интервале, то вместо конечного алфавита необходимо рассматривать бесконечное множество возможных состояний элементов, определяемое непрерывным распределением плотности вероятностей w(x). Итак, энтропия и количество информации зависят от распределения w(x). В теории связи большое значение имеет решение вопроса о том, при каком распределении обеспечивается максимальная энтропия Н(х). Можно показать, что при заданной дисперсии наибольшей информативностью сообщение обладает тогда, когда состояния элементов распределены по нормальному закону:

Так как дисперсия определяет среднюю мощность сигнала, то отсюда следуют практически важные выводы. Передача наибольшего количества информации при заданной мощности сигнала (или наиболее экономичная передача данного количества информации) достигается при такой обработке сигнала, которая приближает распределение к нормальному. В то же время, приписывая нормальное распределение помехе, обеспечивают ее наибольшую «информативность», т. е. учитывают ее пагубное воздействие на прохождение сигналов в самом худшем случае. Если дисперсия не ограничена, то, как показывает анализ, энтропия максимальна при условии, что состояния элементов внутри интервала их существования а < х < Ъ распределены по равномерному закону, т. е.

Это значит, что при одинаковой информативности сообщений средняя мощность сигналов для равновероятного распределения их амплитуд должна быть на 42% больше, чем при нормальном распределении.