Полезное:
Как сделать разговор полезным и приятным
Как сделать объемную звезду своими руками
Как сделать то, что делать не хочется?
Как сделать погремушку
Как сделать так чтобы женщины сами знакомились с вами
Как сделать идею коммерческой
Как сделать хорошую растяжку ног?
Как сделать наш разум здоровым?
Как сделать, чтобы люди обманывали меньше
Вопрос 4. Как сделать так, чтобы вас уважали и ценили?
Как сделать лучше себе и другим людям
Как сделать свидание интересным?
Категории:
АрхитектураАстрономияБиологияГеографияГеологияИнформатикаИскусствоИсторияКулинарияКультураМаркетингМатематикаМедицинаМенеджментОхрана трудаПравоПроизводствоПсихологияРелигияСоциологияСпортТехникаФизикаФилософияХимияЭкологияЭкономикаЭлектроника
|
Избыточность сообщений ⇐ ПредыдущаяСтр 2 из 2
Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником
, (10) где? – коэффициент сжатия. Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т.е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки. Пример 1. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить его избыточность. Решение: Энтропия для случая независимых, равновероятных элементов равна: H(x) = log2m = log22 = 1 [дв. ед/симв.] При этом H(x) = Hmax(x) и избыточность равна R = 0. Пример 2. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4. Решение: Энтропия для случая независимых, не равновероятных элементов равна:
При этом избыточность равна R = 1–0,815=0,18 Пример 3. Определить количество информации и энтропию сообщения из пяти букв, если число букв в алфавите равно 32 и все сообщения равновероятные. Решение: Общее число пятибуквенных сообщений равно: N = mn = 32 Энтропия для равновероятных сообщений равна: H = I = – log2 1/N = log2325 = 5 log232 = 25 бит./симв. Литература 1 Гринченко А.Г. Теория информации и кодирование: Учебн. пособие. – Харьков: ХПУ, 2000. 2 Цымбал В.П. Теория информации и кодирование. – М.: Высш. шк., 1986. 3 Кловский Д.Д. Теория передачи сигналов. – М.: Связь, 1984. 4 Кудряшов Б.Д. Теория информации. Учебник для вузов Изд-во ПИТЕР, 2008. – 320 с. 5 Цымбал В.П. Теория информации и кодирование. – М.: Высш. шк., 1986. 6 Асанов М.О., Баранский В.А., Расин В.В. Дискретная математика: графы матроиды, алгоритмы. – Ижевск: НИЦ «РХД», 2001, 288 стр.
|