Решение. Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях

(дв. ед.).

Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях.

Решение. Общее число возможных состояний системы равно . Максимально возможная энтропия системы равна (дв. ед.).

Пример 4. Определить максимально возможную энтропию сообщения, состоящего из пяти букв, причем общее число букв в алфавите равно 32.

Решение. Число возможных состояний системы . Максимально возможная энтропия равна (дв. ед).

Формула (2) (или равносильная ей (10)) служит для непосредственного вычисления энтропии. Однако при выполнении преобразований часто более удобной оказывается другая форма записи энтропии, а именно, представление ее в виде математического ожидания:

, (11)

где - логарифм вероятности любого (случайного) состояния системы, рассматриваемый как случайная величина.

Когда система принимает состояния , случайная величина принимает значения:

. (12)

Среднее значение (математическое ожидание) случайной величины - и есть, как нетрудно убедиться, энтропия системы . Для ее получения значения (12) осредняются с «весами», равными соответствующим вероятностям .

Формулы, подобные (11), где энтропия представляется в виде математического ожидания, позволяют упрощать преобразования, связанные с энтропией, сводя их к применению известных теорем о математических ожиданиях.