Нечного заданного множества из N равновероятных сообщений, а

количество информации /, содержащееся в выбранном сообщении,

определял как двоичный логарифм N:

/=1о§2ЛГ.

Допустим, нужно угадать одно число из набора чисел от едини-

Цы до ста. По формуле Хартли можно вычислить, какое количество

информации для этого требуется:

/= Iog2100 = 6,644.

Таким образом, сообщение о верно угаданном числе содержит

Количество информации, приблизительно равное 6,644 единицы ин-

Формации.

Другие примеры равновероятных сообщений: при бросании мо-

неты: ≪выпала решка≫, ≪выпал орел≫; на странице книги: ≪количест-

во букв четное≫, ≪количество букв нечетное≫.

Определим теперь, являются ли равновероятными сообщения

≪первой выйдет из дверей здания женщина≫ и ≪первым выйдет из

дверей здания мужчина≫. Однозначно ответить на этот вопрос нель-

Зя. Все зависит от того, о каком именно здании идет речь. Если это,

Например, станция метро, то вероятность выйти из дверей первым

Одинакова для мужчины и женщины, а если это военная казарма, то

Для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский ученый К. Шеннон пред-

Ложил в 1948 г. другую формулу определения количества информа-

Ции, учитывающую возможную неодинаковую вероятность сообще-

Ний в наборе.

Формула Шеннона:

/=-(/7,log2/?i +Л1о§2 Рг + •.•+Р^°ё,2Рн) = ~Хд 1о§2 Р„ j=i

где р: —вероятность того, что именно /-е сообщение выделено в на-

Боре из N сообщений.

Информация, кодирование, обработка в ЭВМ 39

Очевидно, что если вероятности р\,..., pN равны, то каждая из

Них равна —, и формула Шеннона превращается в формулу Хартли

Помимо двух рассмотренных подходов к определению количе-

Ства информации, существуют и другие. Важно помнить, что любые

Теоретические результаты применимы лишь к определенному кругу

Случаев, очерченному первоначальными допущениями.

В качестве единицы информации Клод Шеннон предложил

Date: 2015-11-13; view: 400; Нарушение авторских прав