Статистическое (эффективное) кодирование

Для дискретных каналов без помех К.Шенноном была доказана следующая теорема: если производительность источника R_И<C_-e, где e - сколь угодно малая величина, то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника. Передачу всех сообщений при R_И>C осуществить невозможно.

Для рационального использования пропускной способности канала необходимо применять соответствующие способы кодирования сообщений. Статическим или оптимальным называется кодирование, при котором пропускная способность канала связи без помех используется наилучшим образом. При оптимальном кодировании фактическая скорость передачи сообщений по каналу R приближается к пропускной способности С, что достигается путем согласования источника с каналом. Сообщения источника кодируются таким образом, чтобы они в наибольшей степени соответствовали ограничениям, которые накладываются на сигналы, передаваемые по каналу связи. Поэтому структура оптимального кода зависит как от статистических характеристик источника, так и от особенностей канала.

Кодирование с исправлением ошибок (помехоустойчивое кодирование), по существу, представляет собой метод обработки сигналов, предназначенный для увеличения надежности передачи по цифровым каналам. хотя различные схемы кодирования очень непохожи друг на друга и основаны на различных математических теориях, всем им присущи два общих свойства. Одно из них – избыточность. Закодированные цифровые сообщения всегда содержат дополнительные, или избыточные символы. Эти символы используют для того, чтобы подчеркнуть индивидуальность каждого сообщения. Из приведенной выше информации можно сделать вывод, что помехоустойчивое кодирование, проигрывает по скорости передачи с оптимальным кодированием из-за избыточности кода, с другой стороны оптимальное кодирование применимо лишь в каналах, в которых влияние помех незначительно.