Позиция 7 Подходы к измерению информации. Единицы измерения информации

Вопросы для самостоятельного изложения

В каких случаях для целей измерения информации используется синтаксическая мера?

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. Используется при представлении информации в компьютере.

В каких случаях для целей измерения информации используется семантическая мера?

Для измерения смыслового содержания информации, т.е. ее количества на семантическом уровне, наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользователя принимать поступившее сообщение. Эта мера имеет смысл при обучении.

В каких случаях для целей измерения информации используется прагматическая мера?

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели. Эта мера - величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция.

Например, в экономической системе прагматические свойства (ценность) информации можно определить приростом экономического эффекта функционирования, достигнутым благодаря использованию этой информации для управления системой.

Почему количество информации в сообщении удобнее оценивать не по степени увеличения знания об объекте, а по степени уменьшения неопределённости наших знаний о нём?

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности о системе является функция H(α), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения β получатель приобрел некоторую дополнительную информацию Ι_β(α), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения β) неопределенность состояния системы стала H_β(α).

Тогда количество информации Ι_β(α) о системе, полученной в сообщении β, определится как

Ι_β(α) = H(α) - H_β(α)

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H_β(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Ι_β(α) = H(α). Иными словами, энтропия системы H(α) может рассматриваться как мера недостающей информации.

Энтропия системы H(α), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где P_i — вероятность того, что система находится в i-м состоянии.

Почему в формуле Хартли за основание логарифма взято число 2?

Потому что в теории информации рассматривается количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).

При каком условии формула Шеннона переходит в формулу Хартли?

Если вероятности p₁,..., p_N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Приведите примеры сообщений, содержащих один (два, три) бит информации.

Один бит: При броске монеты выпала решка.

Два бита: При первом броске монеты выпала решка, при втором броске тоже решка.

Сколько бит необходимо, чтобы закодировать оценки: "неудовлетворительно", "удовлетворительно", "хорошо" и "отлично"?

Четыре бита. Для каждой оценки возможно 2 состояния – да или нет.