Розв'язання. Побудуємо розподіл ймовірностей векторної д

Побудуємо розподіл ймовірностей векторної д. в. в. , що являє собою блок повідомлення довжиною в два символи (табл.1).

Виходячи з отриманого ряду ймовірностей, побудуємо кодове дерево за алгоритмом Хаффмена для значень д. в. в. (рис. 1) і відповідну таблицю кодів (табл. 1):

Таблиця 1

	BB	BA	AB	AA	BC	CB	AC	CA	CC
	49/225	7/45	7/45	1/9	7/75	7/75	1/15	1/15	1/25
Pi×Li	98/225	7/15	7/15	1/3	7/25	28/75	4/15	4/15	4/25

Рисунок 1

Середня довжина коду для блокового коду Хаффмена 2-го порядку (біт/сим).

Для порівняння: наведемокодове дерево (рис. 2) і відповіднутаблицю кодів (табл.2) для одновимірної д. в. в.:

Таблиця 2

Рисунок 2

Середня довжина коду (біт/сим).

Мінімальна середня довжина коду для кодування даної д. в. в. визначається її ентропією:

(біт/сим).

Отже, надлишковість блокового коду , а надлишковість неблокового коду .

Для рівномірного коду надлишковість істотно більше.

Приклад 2 Закодувати повідомлення ABAAABBA за алгоритмом Хаффмена і блоковим алгоритмом Хаффмена 2-го порядку, обчислити довжини отриманих кодів. Приблизний закон розподілу ймовірностей визначити з аналізу повідомлення.