Производительность источника дискретных сообщений. Скорость передачи информации

Обычно источники передают сообщения, с некоторой скоростью, затрачивая в среднем время Т на передачу одного сообщения. Производительность источника назовем суммарную энтропию сообщений переданных за единицу времени

(1).

Производительность измеряется в битах на секунду. Если сообщение может быть представлено в виде последовательности элементарных дискретных сообщений источникас энтропией следующих со скоростью

элементов в секунду, то

(2).

Аналогичным образом, т.е. разделив формулы на Т и обозначая

,

получим соответственные равенства для условных энтропии и количества информации, рассчитанных на одно сообщение в единицу времени. Величина называется скоростью передачи информации от U к Z или наоборот. Если, например U ансамбль сигналов на входе дискретного канала, а Z ансамбль сигналов на его выходе то скорость передачи информации по каналу.

Это соотношение наглядно иллюстрируется на рисунке 1.1.
Здесь H'(U) производительность источника передаваемого сигнала U, а "производительность" канала, т.е. полная собственная информация в принятом сигнале за единицу времени. Величина представляет собой потерю информации или ненадежность канала в единицу времени, а скорость создания ложной, посторонней информации в канале не имеющей отношение к U и обусловленная присутствующими в канале помехами. По определению Шеннона ненадежность канала является энтропией входа, когда выход известен, т.е. ее можно считать мерой средней неопределенности принятого сигнала. Величина же есть энтропия выхода, когда вход известен и служит мерой средней неопределенности передаваемого сигнала.

Соотношение между и зависит от свойств канала. Так, например, при передаче звукового сигнала по каналу с узкой полосой пропускания недостаточный для качественного воспроизведения сигнала и с низким уровнем помех. Теряется часть полезной информации, но почти не получается бесполезной, в этом случае . Если же сигнал воспроизводится качественно, но при этом прослушиваются наводки от сосе5днего радиоканала, то это означает, что почти не теряя полезной информации мы получили много лишней мешающей информации и.

Тема 5: Закон аддитивности информации.

Аддитивность (лат. additivus — прибавляемый) — свойство величин, состоящее в том, что значение величины, соответствующее целому объекту, равно сумме значений величин, соответствующих его частям, в некотором классе возможных разбиений объекта на части.