Представление и кодирование информации с помощью знаковых систем. Алфавитный подход к определению количества информации

Представление информации может осуществляться с помощью знаковых систем. Каждая знаковая система строится на основе определенного^алфавита и правил выполнения операций над знаками. Знаковыми системами являются естественные языки (русский, английский и т. д.), формальные языки (языки программирования, системы счисления и т. д.), биологические алфавиты (состояния нейрона в нервной системе, нуклеотиды, хранящие генетическую информацию в молекуле ДНК) и др.

Знаки могут иметь различную физическую природу. Например, для письма используются знаки, представляющие собой изображения на бумаге или других носителях; в устной речи в качестве знаков выступают различные звуки (фонемы), а при обработке текста на компьютере знаки представляются в форме последовательностей электрических импульсов (компьютерных кодов).

Кодирование, т. е. перевод информации из одной знаковой системы в другую, производится с помощью таблиц соответствия знаковых систем, которые устанавливают взаимно однозначное соответствие между знаками или группами знаков двух различных знаковых систем. Пример такой таблицы — таблица кодов ASCII (американский стандартный код обмена информацией), устанавливающая соответствие между интернациональными знаками алфавита и их числовыми компьютерными кодами.

При хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цвета точек изображения и т. д.).

Исходя из вероятностного подхода к определению количества информации, набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события).

Тогда, если считать, что появление символов в сообщении равновероятно, по формуле можно рассчитать, какое количество информации несет каждый символ:

где N — количество знаков в алфавите, I — количество информации.

Информационная емкость знаков зависит от их числа в алфавите (мощности алфавита): чем больше их число, тем большее количество информации несет один знак.

Так, информационная емкость буквы в русском алфавите, если не использовать букву «ё», составляет:

.

Аналогично легко подсчитать, что каждый знак «алфавита» нервной системы (есть импульс, нет импульса) в соответствии с формулой несет информацию 1 бит, а каждый из четырех символов генетического алфавита — информацию 2 бит.

В соответствии с алфавитным подходом количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.