Алфавитный подход к измерению информации

Как можно измерить количество информации? Да также, как мы измеряем длину или массу чего-нибудь: сравнить с соответствующим эталоном. Сколько раз эталонная единица укладывается в измеряемой величине, таков и результат измерения. Надо только выбрать эталон. Например, в мультфильме «38 попугаев» эталоном длины служит длина шага попугая. Каков же эталон для измерения информации? Давайте в этом разберемся.

Существует несколько способов измерения количества информации. Один из них называется алфавитный.

Алфавитный подход позволяет измерять количество информации в тексте (символьном сообщении), составленном из символов некоторого алфавита.

К содержанию текста такая мера информации отношения не имеет. Поэтому такой подход можно назвать объективным, то есть не зависящим от воспринимающего его субъекта.

Алфавитный подход удобен при подсчете количества информации, хранимого, передаваемого и обрабатываемого техническими устройствами. Устройствам нет дела до содержательной стороны сообщений. Компьютеры, принтеры, модемы работают не с самой информацией а с ее представлением в виде сообщений. Оценить информационные результаты их работы как полезные или бесполезные может только человек.

Алфавит – это набор букв, знаков, цифр, скобок
Количество символов в алфавите называется его мощностью
.

Например, мощность алфавита из русских букв и дополнительных символов: 33 буквы + 10 цифр + 11 знаков препинания + скобки + пробел = 54

При алфавитном подходе считается, что каждый символ текста имеет определенный информационный вес. Информационный вес символа зависит от мощности алфавита.

Какова минимальная мощность алфавита, с помощью которого можно записывать (кодировать) информацию?

Односимвольный алфавит Сообщение любой длины, использующее односимвольный алфавит, содержит нулевую информацию. Доказательство: Предположим, что используемый алфавит состоит из одного символа, например, буквы «А». Интуитивно понятно, что сообщить что-либо с помощью единственного символа невозможно.

Двоичный алфавит Двоичный алфавит состоит из 2-х символов: 0 и 1. Информационный вес символа двоичного алфавита называется 1 бит. Следовательно, 1 бит – это 0 или 1.

Назовем комбинацию из 2-х, 3-х и т.д. бит двоичным кодом.

Сколько символов можно закодировать двумя битами?

Отсюда следует, что в алфавите мощностью 4 символа информационный вес каждого символа - 2 бита.

Сколько символов можно закодировать тремя битами?

Отсюда следует, что в алфавите мощностью 8 символов информационный вес каждого символа - 3 бита.

Можно сделать вывод, что в алфавите мощностью 16 символов информационный вес каждого символа будет 4 бита.

Обозначим мощность алфавита буквой N, а информационный вес символа буквой b.

Зависимость между мощностью алфавита N и информационным весом символа b.

Заметим, что 2 = 2¹, 4 = 2², 8 = 2³, 16 = 2⁴. Таким образом, можно сделать вывод: Информационный вес каждого символа, выраженный в битах (b), и мощность алфавита (N) связаны между собой формулой:

N = 2^B

(Материал с сайта http://school497.ru/download/u/02/les6/les.html)