Ход работы. В бинарном симметричном источнике т.е

Задание 1

В бинарном симметричном источнике т.е. при отсут­ствии корреляционных связей энтропия равнялась бы единице по формуле Шеннона.

Задание 2

Если задать корреляционными связями (цепь Маркова порядка еди­ницы ,а то энтропия будет равна:

По формуле

Задание 3

Общее число пятибуквенных сообщений равно: N = mⁿ = 32

Энтропия для равновероятных сообщений равна:

H = I = – log₂ 1/N = log₂32⁵ = 5 log₂32 = 25 бит./симв.

Вывод

1. Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0 £ p £ 1.

2. Энтропия максимальна для равновероятных событий.

3. Энтропия для детерминированных событий равна нулю.

4. Энтропия системы двух альтернативных событий изменяется от 0 до

Энтропия численно совпадает со средним количеством информации но принципиально различны, так как:

H(x) – выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т.е. до получения сообщения при наличии статистики сообщений.

I(x) – определяется апостериорно, т.е. после получения сообщения. С получением информации о состоянии системы энтропия снижается.

Министерство образования и науки, молодёжи и спорта Украины

Одесский национальный политехнический университет

Институт компьютерных систем

Кафедра компьютеризированных систем управления

Лабораторная работа №4

По дисциплине: «Теория информации»

На тему: «Определение избыточности»

Выполнила:

студентка группы АТ-092

Задыр И.Г.

Проверила:

доц. Трофименко Т.Г.

Одесса 2012г.

Date: 2015-07-02; view: 268; Нарушение авторских прав