Адекватная мера информации (мера Хартли)

Неоднозначность в оценке количества информации присущая выше рассмотренным мерам послужила основанием для разработки метода измерения количества информации, получившего название логарифмической или адетивной меры. Эту методику предложил в 1928 году американский инженер Хартли.

В основу этой методики были положены следующие допущения:

1. Сигналы, по средствам которых передаются сообщения, имеют дискретный характер.

2. Алфавит, используемый для передачи сообщений, состоит из конечного числа m-элементов.

3. Все символы (буквы алфавита) статистически не зависимы, т.е. могут занимать любую позицию в слове.

4. Все буквы алфавита равновероятностные.

5. Передача сообщений осуществляется в отсутствии помех.

Если при этом используется сообщение, каждый из которых содержит n-символов, то количество слов, которые могут получить, равно- число слов.

Хартли предложил оценивать количество информации: В общем случае выбор основания логарифма а– может быть произвольным и влияет только на величину единицы информации.

В соответствии с принятым представлением информации на основе бинарной системы, получаем, что количество информации в одну бинарную единицу соответствует сообщению, состоящему из одного символа двоичного алфавита.

Согласно принятым Хартли допущениям, все символы рассматриваемого алфавита равновероятны, поэтому равны и вероятности появления любого из N возможных слов.

Следовательно, количество информации в любом из N равновероятных сообщений, равно логарифму вероятности появления этого сообщения, взятому с обратным знаком.

Если равная вероятность событий или сообщений не выполняется, то формула Хартли к таким событиям не применимы.