Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х_Т – количество символов за время T, то скорость передачи информации для дискретного канала связи без помех равна

(6)

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

(7)

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

. (8) [4]

Первая теорема Шеннона для канала: Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

То всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.[7]