Энтропия информации

Свойства количества информации

1. Количество информации в сообщении обратно – пропорционально вероятности появления данного сообщения.

2. Свойство аддитивности – суммарное количество информации двух источников равно сумме информации источников.

3. Для события с одним исходом количество информации равно нулю.

4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита – m.

Пример 1. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: p_i0 = p_i1 = 1/2.

Количество информации равно:

I = n log m = 8 log₂ 2 = 8 бит.

Пример 2. Определить количество информации в сообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны:

p_i0 = 3/4; p_i1 = 1/4.

Количество информации равно:

Энтропия информации

Э нтропия – содержательность, мера неопределенности информации.

Э нтропия – математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т.е. она характеризует среднее значение количества информации, приходящееся на один символ.

. (6)

Определим максимальное значение энтропии H_max(x). Воспользуемся методом неопределенного множителя Лагранжа -l для отыскания условного экстремума функции [6]. Находим вспомогательную функцию:

(7)

Представим вспомогательную функцию F в виде:

. (8)

Найдем максимум этой функции

т. к.

.

Как видно из выражения, величина вероятности p_i не зависит от i, а это может быть в случае, если все p_i равны, т.е. p₁ =p₂ =…=p_m =1/m.

При этом выражение для энтропии равновероятных, независимых элементов равно:

. (9)

Найдем энтропию системы двух альтернативных событий с вероятностями p₁ и p₂. Энтропия равна