Формула Хартли (1928)

I – количество информации в битах

N – количество вариантов

Например, аддитивность объёма означает, что объём целого тела равен сумме объёмов составляющих его частей.

Задание 1: Используя закон аддитивности и формулу Хартли, подсчитать, какое количество информации несет достоверный прогноз погоды.

Решение: Предположим, что прогноз погоды на следующий день заключается в предсказании дневной температуры (обычно делается выбор из 16 возможных для данного сезона значений) и одного из 4-x значений облачности (солнечно, переменная облачность, пасмурно, дождь).

Тогда, H(x1, x2) = H(x1) + H(x2) = log2 16 + log2 4 = = 4 + 2 = 6 бит

Закон аддитивности информации справедлив и при алфавитном подходе к измерению информации. Для хранения двух произвольных символов одного и того же алфавита мощности N потребуется не менее

log 2 N + log 2 N = 2 log 2 N

То есть количество информации, содержащееся в сообщении, состоящем из m символов одного и того же алфавита, равно m log 2 N

Задание 2: Вычислить какой объем памяти компьютера потребуется для хранения одной страницы текста на английском языке, содержащей 2400 символов.

Решение: Мощность английского алфавита, включая разделительные знаки, N = 32. Тогда для хранения такой страницы текста в компьютере понадобится 2400 log2 32 бит = 2400 • 5 =12000 бит = 1500 байт

Задание 3: В течение 5 секунд было передано сообщение, объем которого составил 375 байт. Каков размер алфавита, с помощью которого записано сообщение, если скорость передачи составила 200 символов в секунду?

Решение: Скорость передачи равна 375 байт. 5 = 75 байт / с 75 байт / с соответствуют 200 символам / с. В одном символе содержится 75 байт? 200 = 0,375 байт = 3 бита, то есть log 2 N = 3 бита, тогда N = 23 = 8 символов

Тема 6: Применение формулы Шеннона. Требования к мере неопределенности.