Теорема Шеннона для канала без помех

Пусть источник сообщений имеет производительность H ¢(U) = u _C×H(U), а канал имеет пропускную способность C = u_K ×log M. Тогда можно закодировать сообщения на выходе источника таким образом, чтобы получить среднее число кодовых символов приходящихся на элемент сообщения h = u_K /u_C = (H(U)/ log M)+e (2.2), где e - сколь угодно мало (прямая теорема).

Получить меньшее значение h невозможно (обратная теорема). Обратная часть теоремы утверждающая, что невозможно получить значение h = u_K / u_C < H(U)/ log M (2.3), может быть доказана если учесть, что неравенство (2.3) эквивалентно неравенству u _C× H(U) > u _K× log M, H¢ (U) > C. Последнее неравенство не может быть выполнено т.к. рассматриваемое кодирование должно быть обратимым преобразованием (т.е. без потерь информации). Энтропия в секунду на входе канала или производительность кодера не может превышать пропускную способность канал.

В любом реальном канале всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными. В этом случае среднее количество информации, переносимое одним символом равно I(U,Z)=I(U,U)=H(U).

Реальные каналы характеризуются тем, что на каналы всегда воздействуют помехи. Пропускная способность дискретного канала с помехами вычисляется по формуле (*).

Где средняя, условная энтропия со стороны приемника сигналов

А энтропия принимаемых сигналов определяется из условия максимального значения H’(y)= log m.