За единицу количества информации принимается такое кол-во информации, которое содержит сообщение, уменьшающее неопределенность в 2 раза. Такая единица называется бит

В вычислительной технике битом называют наименьшую порцию памяти, необходимую для хранения одного из двух знаков «0» и «1», используемых для внутримашинного представления данных и команд.

Количество возможных событий может быть больше, чем два.

Например, количество оценок, которые может получить студент на экзамене, равно четырем. Сколько информации содержится в сообщении о том, что он получил «4»?

Количество событий равно 4 (количество оценок: 2,3,4,5)Существует формула, которая связывает между собой кол-во возможных событий N и кол-во информации I.

N=2^I, где N - количество 4= 2^I I=2 бит

Или:

I = log₂N.

Б. Алфавитный подход к измерению информации

Подход основан на подсчете числа символов в сообщении. Этот подход не связывает количество информации с содержанием сообщения, позволяет реализовать передачу, хранение и обработку информации с помощью технических устройств, не теряя при этом содержания (смысла) сообщения.

Алфавит любого языка включает в себя конечный набор символов. Исходя из вероятностного подхода к определению количества информации, появление символов алфавита в тексте можно рассматривать как различные возможные события (например в 32-х буквенном алфавите при наборе 1 символа происходит одно из 32 возможных событий). Количество таких событий (символов) N называют мощностью алфавита. Тогда количество информации, которое несет каждый из N символов, согласно вероятностному подходу определяется из формулы:

2^I = N., где ^I - кол-во инф, необходимое для кодирования 1 символа, N - мощность алфавита.

Зная, количество символов в тексте, можно подсчитать инф объем текстового сообщения.

Алфавитный подход является объективным способом измерения информации и используется в технических устройствах.