Количество информации для неравновероятных сообщений

Количество информации, единица измерения количества информации

Из математики известно, что информация- есть функция отношения числа возможных ответов до получения сообщения и числа ответов после получения сообщения. Наиболее удобно для характеристики информации логарифмическая функция. При равновероятных ответах имеет место следующая функция: I=Log(n/ n_c), где n- первоначальное число равновесных ответов до получения сообщения, n_c- число ответов после получения сообщения.

Т.к. n> n_c – количество информации всегда положительное. Основание логарифма определяет единицу измерения количества информации. Наиболее удобное основание 2. При этом количество информации измеряют в двоичных единицах или битах. При n=2 и n_c=1 имеем: I=Log₂(2/1)=1(дв.един.бит) Т.О. информация в 1 бит-это информация о состоянии объекта имеющего 2 возможных состояния. Часто для уяснения состояния объекта необходимо получить 1 сообщение из n равномерных сообщений, тогда кол-во информации I=Log₂n. Поскольку событие равновероятное p=1/n, I=Log1/p=-Log(p)

Логарифмическая функция обладает св-вом аддитивности, а именно LogA+LogB=Log (A*B)

Количество информации для неравновероятных сообщений

При неравновероятных событиях выражения для определения кол-во информация усложняется, поскольку необх. учитывать вер-ть выбора того или иного сообщения.

Пусть для образования сообщения используются импульсы, имеющие признаки k1 и k2(например логический “0” и “1”). Вероятность появления импульса p1 с признаком k1, а вероятность появления импульса p2 с признаком k2. При числе импульсов N®¥, любая кодовая комбинация будет содержать имп-ов p1*N штук с признаком к1 и p2*N штук с признаком k2. Все возможные импульсные кодовые комб-ции, будут иметь одинаковый состав символов и будут отличаться порядком следования символов с различным признаком. Вероятность появления конкретных кодов комбинации определ-ся произв-ем вер-ти появления всех символов: 1 0 1 1 1 0 0 1 0…..

p1 p2 p1 p2 p1 p2 ……..

Вероятность того, что импульсы с признаком к1 займут конкретное положение=p1*p1*…*p1=p1^(p1*N)Вероятность того,что импульсы с признаком к2 займут конкретное положение будет= p2*p2*…*p2=p2^(p2*N) Вероятность появления любой кодовой комбинации р= p1^(p1*N) *p2^(p2*N)Поскольку данное выражение характерезует вероятность появления любой ¥-ой кодов. комбин-ции. то все эти комб-ции равновероятны. Отсюда можно определить число этих кодовых комбинаций 1/р=M. Получение одной такой кодов комбинации несет в себе следующее кол-во информации I=LogM. На практике предст-ет интерес кол-во информ-ции, приход-ся на 1 импульс: H=Log(M)/N= -Log(p1^(p1*N) *p2^(p2*N))/N= -(p1+p2)Log(p1*p2)= бит/имп.