Вероятность символа и события в данном сообщении

Необходимо различать: а) вероятность сообщения или вероятность символа в данном сообщении; б) вероятность события, о котором сообщается. Гольдман[5] называет первое «языковой», второе – «семантической» информацией. Например, наиболее важные проблемы психологии мышления связаны с исследованием семантической информации.

В действительности как события, так и символы могут быть связаны. Например, в состав значащего слова данного языка нельзя включить никакие другие буквы, кроме некоторых определенных. Буквосочетание памя... можно дополнить буквами ть, ти, тью, но нельзя то, те, ты, тр и т.п. В буквосочетание понедель+ик нельзя вместо знака + вставить никакую другую букву, кроме н. Это значит, что появление буквы н предрешено всей последовательностью букв данного слова, входящего в систему русского языка. Таким образом, необходимо учесть вероятность повторения связанной пары элементов всоставе сообщения, повторения тройки элементов и т.д. Макмиллан произвел подобное вычисление для английского языка. Оказалось, что если бы буквы появлялись с одинаковой вероятностью и независимо друг от друга, то на каждую из них приходилось бы 4,7 двоичной единицы информации. С учетом разновероятности 26 букв английского языка на каждую из них приходится 4,15 двоичной единицы, а с учетом частоты повторения групп по 8 букв – 2,35 двоичной единицы. Таким образом, информация как элемент сообщения ограничивается по мере увеличения вероятности появления сочетаний с возрастающим числом повторяющихся в определенном порядке элементов,

Отношение реальной неопределенности в алфавите букв данного языка (в английском – 2,35 двоичной единицы) к минимальной неопределенности, которая могла бы быть при том же числе букв (для английского языка log₂26=4,7), т.е. 2,35/4,10 1/2, называется относительной неопределенностью. Вычитая из единицы относительную неопределенность, определяют избыточность информации.