Главная Случайная страница


Полезное:

Как сделать разговор полезным и приятным Как сделать объемную звезду своими руками Как сделать то, что делать не хочется? Как сделать погремушку Как сделать так чтобы женщины сами знакомились с вами Как сделать идею коммерческой Как сделать хорошую растяжку ног? Как сделать наш разум здоровым? Как сделать, чтобы люди обманывали меньше Вопрос 4. Как сделать так, чтобы вас уважали и ценили? Как сделать лучше себе и другим людям Как сделать свидание интересным?


Категории:

АрхитектураАстрономияБиологияГеографияГеологияИнформатикаИскусствоИсторияКулинарияКультураМаркетингМатематикаМедицинаМенеджментОхрана трудаПравоПроизводствоПсихологияРелигияСоциологияСпортТехникаФизикаФилософияХимияЭкологияЭкономикаЭлектроника






Количество информации для неравновероятных сообщений





Количество информации, единица измерения количества информации

Из математики известно, что информация- есть функция отношения числа возможных ответов до получения сообщения и числа ответов после получения сообщения. Наиболее удобно для характеристики информации логарифмическая функция. При равновероятных ответах имеет место следующая функция: I=Log(n/ nc), где n- первоначальное число равновесных ответов до получения сообщения, nc- число ответов после получения сообщения.

Т.к. n> nc – количество информации всегда положительное. Основание логарифма определяет единицу измерения количества информации. Наиболее удобное основание 2. При этом количество информации измеряют в двоичных единицах или битах. При n=2 и nc=1 имеем: I=Log2(2/1)=1(дв.един.бит) Т.О. информация в 1 бит-это информация о состоянии объекта имеющего 2 возможных состояния. Часто для уяснения состояния объекта необходимо получить 1 сообщение из n равномерных сообщений, тогда кол-во информации I=Log2n. Поскольку событие равновероятное p=1/n, I=Log1/p=-Log(p)

Логарифмическая функция обладает св-вом аддитивности, а именно LogA+LogB=Log (A*B)

Количество информации для неравновероятных сообщений

При неравновероятных событиях выражения для определения кол-во информация усложняется, поскольку необх. учитывать вер-ть выбора того или иного сообщения.

Пусть для образования сообщения используются импульсы, имеющие признаки k1 и k2(например логический “0” и “1”). Вероятность появления импульса p1 с признаком k1, а вероятность появления импульса p2 с признаком k2. При числе импульсов N®¥, любая кодовая комбинация будет содержать имп-ов p1*N штук с признаком к1 и p2*N штук с признаком k2. Все возможные импульсные кодовые комб-ции, будут иметь одинаковый состав символов и будут отличаться порядком следования символов с различным признаком. Вероятность появления конкретных кодов комбинации определ-ся произв-ем вер-ти появления всех символов: 1 0 1 1 1 0 0 1 0…..

p1 p2 p1 p2 p1 p2 ……..

Вероятность того, что импульсы с признаком к1 займут конкретное положение=p1*p1*…*p1=p1(p1*N)Вероятность того,что импульсы с признаком к2 займут конкретное положение будет= p2*p2*…*p2=p2(p2*N) Вероятность появления любой кодовой комбинации р= p1(p1*N) *p2(p2*N)Поскольку данное выражение характерезует вероятность появления любой ¥-ой кодов. комбин-ции. то все эти комб-ции равновероятны. Отсюда можно определить число этих кодовых комбинаций 1/р=M. Получение одной такой кодов комбинации несет в себе следующее кол-во информации I=LogM. На практике предст-ет интерес кол-во информ-ции, приход-ся на 1 импульс: H=Log(M)/N= -Log(p1(p1*N) *p2(p2*N))/N= -(p1+p2)Log(p1*p2)= бит/имп.







Date: 2015-10-18; view: 3485; Нарушение авторских прав



mydocx.ru - 2015-2024 year. (0.007 sec.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав - Пожаловаться на публикацию