Полезное:
Как сделать разговор полезным и приятным
Как сделать объемную звезду своими руками
Как сделать то, что делать не хочется?
Как сделать погремушку
Как сделать так чтобы женщины сами знакомились с вами
Как сделать идею коммерческой
Как сделать хорошую растяжку ног?
Как сделать наш разум здоровым?
Как сделать, чтобы люди обманывали меньше
Вопрос 4. Как сделать так, чтобы вас уважали и ценили?
Как сделать лучше себе и другим людям
Как сделать свидание интересным?
Категории:
АрхитектураАстрономияБиологияГеографияГеологияИнформатикаИскусствоИсторияКулинарияКультураМаркетингМатематикаМедицинаМенеджментОхрана трудаПравоПроизводствоПсихологияРелигияСоциологияСпортТехникаФизикаФилософияХимияЭкологияЭкономикаЭлектроника
|
Количество информации для неравновероятных сообщений
Количество информации, единица измерения количества информации Из математики известно, что информация- есть функция отношения числа возможных ответов до получения сообщения и числа ответов после получения сообщения. Наиболее удобно для характеристики информации логарифмическая функция. При равновероятных ответах имеет место следующая функция: I=Log(n/ nc), где n- первоначальное число равновесных ответов до получения сообщения, nc- число ответов после получения сообщения. Т.к. n> nc – количество информации всегда положительное. Основание логарифма определяет единицу измерения количества информации. Наиболее удобное основание 2. При этом количество информации измеряют в двоичных единицах или битах. При n=2 и nc=1 имеем: I=Log2(2/1)=1(дв.един.бит) Т.О. информация в 1 бит-это информация о состоянии объекта имеющего 2 возможных состояния. Часто для уяснения состояния объекта необходимо получить 1 сообщение из n равномерных сообщений, тогда кол-во информации I=Log2n. Поскольку событие равновероятное p=1/n, I=Log1/p=-Log(p) Логарифмическая функция обладает св-вом аддитивности, а именно LogA+LogB=Log (A*B) Количество информации для неравновероятных сообщений При неравновероятных событиях выражения для определения кол-во информация усложняется, поскольку необх. учитывать вер-ть выбора того или иного сообщения. Пусть для образования сообщения используются импульсы, имеющие признаки k1 и k2(например логический “0” и “1”). Вероятность появления импульса p1 с признаком k1, а вероятность появления импульса p2 с признаком k2. При числе импульсов N®¥, любая кодовая комбинация будет содержать имп-ов p1*N штук с признаком к1 и p2*N штук с признаком k2. Все возможные импульсные кодовые комб-ции, будут иметь одинаковый состав символов и будут отличаться порядком следования символов с различным признаком. Вероятность появления конкретных кодов комбинации определ-ся произв-ем вер-ти появления всех символов: 1 0 1 1 1 0 0 1 0….. p1 p2 p1 p2 p1 p2 …….. Вероятность того, что импульсы с признаком к1 займут конкретное положение=p1*p1*…*p1=p1(p1*N)Вероятность того,что импульсы с признаком к2 займут конкретное положение будет= p2*p2*…*p2=p2(p2*N) Вероятность появления любой кодовой комбинации р= p1(p1*N) *p2(p2*N)Поскольку данное выражение характерезует вероятность появления любой ¥-ой кодов. комбин-ции. то все эти комб-ции равновероятны. Отсюда можно определить число этих кодовых комбинаций 1/р=M. Получение одной такой кодов комбинации несет в себе следующее кол-во информации I=LogM. На практике предст-ет интерес кол-во информ-ции, приход-ся на 1 импульс: H=Log(M)/N= -Log(p1(p1*N) *p2(p2*N))/N= -(p1+p2)Log(p1*p2)= бит/имп. Date: 2015-10-18; view: 3485; Нарушение авторских прав |