Содержательный подход к измерению количества информации

Новые сведения о свойствах объектов окружающего нас мира содержат информацию для человека и, следовательно, пополняют его знания. При содержательном подходе возможна качественная оценка полученной информации, например, насколько она для нас полезна, важна или наоборот – вредна.

Неопределенность знания о некотором событии – это количество возможных результатов события (бросания монеты, кубика; вытаскивания жребия и пр.). Уменьшение неопределенности знания человека в 2 раза, несет для него 1 бит информации.

Количество информации (I) для событий с различными вероятностями определяется по формуле К.Шеннона:

где N – количество возможных событий; – вероятности отдельных событий.

Заметим, что сумма вероятностей равна 1.

Если события равновероятны, то количество информации (I) определяется по формуле Р.Хартли:

или

где N – количество равновероятных событий.