Меры и единицы количества и объема информации.

Существует несколько подходов к измерению информации. Наиболее популярными являются:

• объемный (синтаксический);
• вероятностный (энтропийный);
• алгоритмический;
• аксиологический;
• семантический.

Объемный подход является самым простым. В этом случае оперируют «обезличенной» информацией, т.е. без учета ее смыслового содержания. Количественную оценку информации при этом называют объемом информации. Объем информации − это количество символов в информационном сообщении.

Данный способ измерения чувствителен к форме представления сообщения.

Пример:

В вычислительной технике все обрабатываемые данные представлены в двоичном коде. Поэтому минимальной единицей объема информации является 1 бит (от англ. bit − binary digit, двоичная цифра). Более крупной единицей является 1 байт: 1 байт=8 бит. Для измерения больших объемов информации используют производные единицы, обозначаемые с помощью приставок:

• кило → К → 2¹⁰ = 1024
• мега → М → 2²⁰
• гига → Г → 2³⁰
• тера → Т → 2⁴⁰
• пета → П → 2⁵⁰
• экса → Э → 2⁶⁰
• зета → З → 2⁷⁰
• йота → Й → 2⁸⁰

Пример: 1 Кбайт = 2¹⁰ байт = 1024 байт

5 Кбит = 5*2¹⁰ бит = 5*1024 бит = 5120 бит

Производные единицы взаимосвязаны:

Пример: 1 Мбайт = 2¹⁰ Кбайт; 1 Гбайт = 2¹⁰ Мбайт; 1 Тбайт =2¹⁰ Гбайт

Вероятностный подход связывает количество информации с содержанием информации. Сообщение информативно, т.е. содержит ненулевую информацию, если оно пополняет знания человека. Информацию можно считать мерой уменьшения неопределенности о возможности наступления некоторых событий. Общая мера неопределенности (энтропия) характеризуется некоторой математической зависимостью от совокупности вероятностей этих событий. Т.о. количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения.

Рассмотрим в качестве примера опыт, связанный с бросанием правильной иг­ральной кости, имеющей N граней (наиболее распространенным является случай шестигранной кости: N = 6). Результатом данного опыта может быть выпадение грани с одним из следующих знаков: 1, 2,..., N.

Введем в рассмотрение численную величину, измеряющую неопределенность — энтропию (обозначим ее H). Величины N и H связаны между собой некоторой функциональной зависимостью: , а сама функция f является возрастающей, неотрицательной и определенной (в рас­сматриваемом нами примере) для N =1,2,..., 6.

Рассмотрим процедуру бросания кости более подробно:

1) готовимся бросить кость; исход опыта неизвестен, т.е. имеется некоторая неопределенность; обозначим ее H1;

2) кость брошена; информация об исходе данного опыта получена; обозначим количество этой информации через I;

3) обозначим неопределенность данного опыта после его осуществления че­рез H2.

За количество информации, которое получено в ходе осуществления опыта, примем разность неопределенностей «до» и «после» опыта:

Очевидно, что в случае, когда получен конкретный результат, имевшаяся неопределенность снята (Н2 = 0), и, таким образом, количество полученной информации совпадает с первоначальной энтропией. Иначе говоря, неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта.

Количество информации − это числовая характеристика информации, отражающая ту степень неопределенности, которая исчезает после получения информации.

Пусть потенциально может осуществиться некоторое множество событий − N, каждое из которых может произойти с вероятностью P_i. Тогда:

− формула Шеннона.

Если события равновероятны, то . Тогда − формула Хартли.

Важным при введении какой-либо величины является вопрос о том, что при­нимать за единицу ее измерения. Очевидно, Н будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связан­ное с проведением опыта, состоящего в получении одного из двух равновероят­ных исходов (примером такого опыта может служить бросание монеты, при кото­ром возможны два исхода: «орел» и «решка»). Такая единица количества информа­ции называется «бит».

Между вероятностным и объемным количеством информации соотношение не­однозначное. Далеко не всякое сообщение, записанное двоичными символами, допускает измерение количества информации в энтропийном смысле, но всегда допускает его измерение в объемном смысле. Далее, если некоторое сообщение допускает измеримость количества информации в обоих смыслах, то они не обяза­тельно совпадают, при этом энтропийное количество информации не может быть больше объемного.

В алгоритмической теории информации (раздел теории алгоритмов) используют алгоритмический метод оценки информации: любому сообщению приписывают количественную характеристику, отражающую сложность (размер) программы, которая позволяет его воспроизвести. Т.к. существует много разных вычислительных машин и разных языков программирования, то для определенности задаются некоторой конкретной машиной (например, машиной Тьюринга).

При анализе информации социального (в широком смысле) происхождения на первый план могут выступать такие ее свойства, как достоверность, актуальность, полнота и т.д. Их невозможно оценить н уменьшением неопределенности (вероятностный подход), ни числом символов (объемный подход). Обращение к качественной стороне информации породило новые подходы к ее оценке.

При аксиологическом подходе стремятся исходить их ценности, практической значимости информации, т.е. качественных характеристик, значимых в социальной системе.

При семантическом подходе информация рассматривается с точки зрения как формы, так и ее содержания. При этом информацию связывают с тезаурусом, т.е. полнотой систематизированного набора данных о предмете информации.

Указанные подходы не исключают количественного анализа, но он становится существенно сложнее и должен базироваться на современных методах математической статистики.