Расширь свой кругозор

На памятнике немецкому ученому Л. Больцману высечена формула, выведенная в 1877 году и связывающая вероятность состояния физической системы и величину энтропии этой системы.

Энтропия (греч. en - в, внутрь + trope - превращение, буквально смысловой перевод: то, что внутри, неопределенно) - физическая величина, характеризующая тепловое состояние тела или системы, мера внутренней неупорядоченности системы.

Так вот, формула для энтропии Больцмана совпадает с формулой, предложенной Шенноном для среднего количества информации, приходящейся на один символ в сообщении. Совпадение это произвело столь сильное впечатление, что Шеннон назвал количество информации энтропией. С тех пор слово “энтропия” стало чуть ли не синонимом слова “информации”.

Чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность. Следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения.

Таким образом, за меру количества информации принимается та же энтропия, но с обратным знаком.

Уменьшая неопределенность, мы получаем информацию, в этом весь смысл научного познания.

ЗАМЕЧАНИЕ. Это утверждение верно, если система замкнута. Может показаться, что легко опровергнуть такое утверждение, но практически всегда такое опровержение будет связано с незамкнутостью, открытостью системы.

ПРИМЕР. Вы решаете математическую задачку и получаете ответ. Затем вам учитель говорит: “Усложним условия задачи”. С одной стороны, вы получили информацию, но эта информация увеличивает степень неопределенности. В чем же дело? Дело в том, что фраза учителя делает систему задачи открытой, что позволяет извне добавить в нее неопределенность, подобно тому, как мы извне нагреваем чайник, повышая энтропию содержащейся в нем воды.