Теоретическая часть. Рассмотрим основные свойства энтропии, обратив внимание на то, чтосформулированные условия для меры неопределенности выполняются

Рассмотрим основные свойства энтропии, обратив внимание на то, чтосформулированные условия для меры неопределенности выполняются.

1. Энтропия является вещественной и неотрицательной величиной, так как для любого i(1≤ i ≤ N)рi изменяется в интервале от 0 до 1, logpiотрицателен и, следовательно, — pilogpi положительна.

2. Энтропия — величина ограниченная.

Для слагаемых - pilogpi в диапазоне 0<рi ≤ 1 ограниченность очевидна. Остается определить предел, к которому стремится слагаемое — pilogpi, при рi—>0, поскольку — logpi при этом неограниченно возрастает.

3. Энтропия обращается в нуль лишь в том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно, равны нулю. Это положение соответствует случаю, когда состояние источника полностью определено.

4. Энтропия максимальна, когда все состояния источника равновероятны.

5. Энтропия источника и с двумя состояниями u1 и u2 изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей.

6. Энтропия объединения нескольких статистически независимых источников информации равна сумме энтропии исходных источников.

Не теряя общности, ограничимся рассмотрением объединения, включающего два источника информации u и υ. Под объединением двух источников u и υ понимают обобщенный источник информации (u,υ), характеризующийся вероятностями p(uiυi) всех возможных комбинаций состояний ui, источника u и υi, источника υ. Аналогично трактуется и объединение ансамблей.

7. Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля.

При ее определении используют только вероятности состояний, полностью игнорируя их содержательную сторону. Поэтому энтропия не может служить средством решения любых задач, связанных с неопределенностью.

8. Энтропия как мера неопределенности согласуется с экспериментальными данными, полученными при изучении психологических реакций человека, в частности реакции выбора.

Установлено, что время безошибочной реакции на последовательность беспорядочно чередующихся равновероятных раздражителей (например, загорающихся лампочек) растет с увеличением их числа так же, как энтропия. Это время характеризует неопределенность выбора одного раздражителя.Замена равновероятных раздражителей неравновероятными приводит к снижению среднего времени реакции ровно настолько, насколько уменьшается энтропия.