Избыточность сообщений

Под избыточностью мы будем понимать тот факт, что фактическая длина сообщения оказывается большей, чем минимально необходимая. Ис­точником избыточности D может являться, в частности, разная вероятность появления букв на выходе источника.

,

где - фактическая энтропия,

- максимально достижимая энтропия при которой слово будет иметь минимальную длину .

Если слово несет количество информация I, то

и , где , предельный коэффициент сжатия.

Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником:

,

где – коэффициент сжатия.

Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т.е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки.