Виды сообщений в информационных системах

Дискретное сообщение является конечной последовательностью отдельных символов. Для преобразования дискретного сообщения в сигнал необходимо выполнить операцию кодирования сообщения, при котором повышается скорость и помехоустойчивость передачи информации.

Непрерывное сообщение определяется непрерывной функцией времени. Непрерывные сообщения можно передавать дискретными методами. Для этого непрерывный сигнал (сообщение) подвергают дискретизации во времени и квантованию по уровню. На приёмной стороне выполняется восстановление непрерывной функции по дискретным отсчётам.

При математическом описании сообщений формирование дискретных сообщений рассматривают как последовательный случайный выбор того или иного символа из алфавита источника сообщений, т.е. как формирование дискретной случайной последовательности.

Формирование непрерывных сообщений представляет собой выбор реализаций (случайных функций) непрерывного случайного процесса.

Основными информационными характеристиками являются количество информации в сообщениях, избыточность сообщений, энтропия, производительность источника сообщений, скорость передачи информации.

Указанные характеристики рассмотрим для случая дискретных сообщений.

Пусть объем алфавита A составляет m дискретных сообщений. Каждое сообщение включает n символов. В принятых обозначениях общее количество дискретных символов составляет . Покажем, как определяется количество информации в сообщениях такого источника.

При определении количества информации должны быть выполнены следующие условия:

• сообщения большей протяжённости содержат, как правило, большее количество информации;
• если алфавит имеет больший объём, то каждое отдельное сообщение содержит больше информации;
• информация, полученная в нескольких сообщениях, должна удовлетворять условию аддитивности.

Удобной характеристикой сообщений является логарифмическая мера количества информации I, удовлетворяющая перечисленным выше требованиям, а именно

.

Эта формула предложена Р.Хартли в 1928 г. как мера количества информации. Формула Хартли не отражает случайного характера формирования сообщений. Чтобы устранить этот недостаток, необходимо связать количество информации в сообщениях с вероятностью появления символов. Эта задача была решена К. Шенноном в 1948 г.

Следует упомянуть работы академика В. А. Котельникова о пропускной способности эфира и проволоки в электросвязи (1937 г.) и оптимальному приёму сигналов на фоне помех (1946 г.).

Тема 2: Среднее количество информации, переносимое одним символом по каналу и его свойства.