Количество информации

Количеством информации называется степень уменьшения неопределенности после выбора (получения) сообщения в виде некоторого сигнала.

Например, если студент, первый подошедший к столу экзаменатора, тянет билет из 25 билетов, лежащих на столе, то вероятность p (возможность) того, что он вытащит билет с заданным номером равна 1/25 (одна возможность из 25), т.е. р = 1/25. После выбора билета неопределенности уже нет. Таким образом, число 25 можно было бы считать количеством информации, заложенным в одном выборе из 25 возможностей. Однако такое представление не является достаточно удобным, поскольку число возможностей в различных физических процессах может отличаться на много порядков. Р.Хартли предложил в качестве меры неопределенности логарифм от числа возможностей

где k - коэффициент пропорциональности; m - число возможных выборов;

а - основание логарифма. При k = 1 и а = 2 стандартной единицей количества информации будет выбор их двух возможностей. Такая единица носит наименование бита и может быть представлена одним символом двоичного алфавита, обычно 0 или 1.

Количество информации определяется как разность неопределенности до получения сообщения и после. Если после получения сообщения неопределенность устраняется полностью, то формулы для определения количества информации и неопределенности совпадают.

Клод Шеннон обобщил формулу неопределенности на случай, когда Н зависит не только от m, но и от вероятностей выбора символов и вероятностей связи между ними.

Так, для количества сообщенной или индивидуальной информации он предложил соотношение

где Р_i - вероятность выбора i-го символа алфавита.

Удобнее в качестве количества информации пользоваться не значением h_i, а средним значением количества информации, приходящейся на один символ алфавита:

Для непрерывного сигнала эта формула приобретает вид:

где p(x) - плотность распределения вероятности.