Скорость передачи информации

Если источник выдает L элементарных сигналов в единицу времени, а средняя длина кода одного знака составляет K(A,a), то, очевидно, отношение L/K(A,a) будет выражать число знаков первичного алфавита, выдаваемых источником за единицу времени. Если с каждым из них связано среднее количество информации I(A), то можно найти общее количество информации, передаваемой источником за единицу времени – эта величина называется скоростью передачи или энтропие й источника (будем обозначать ее J):

(4)

Энтропия источника, в отличие от пропускной способности, является характеристикой источника, а не канала связи.

Размерностью J, как и C, является бит/с. Каково соотношение этих характеристик? Рассмотрим канал без помех. Тогда выразив L из (3) и подставив в (4), получим:

Согласно первой теореме Шеннона при любом способе кодирования

хотя может быть сколь угодно близкой к этому значению. Следовательно, всегда J C₀, т.е. скорость передачи информации по каналу связи не может превысить его пропускной способности.

Как показано в теории Шеннона, данное утверждение справедливо как при отсутствии в канале помех (шумов) (идеальный канал связи), так и при их наличии (реальный канал связи).[3]