Информационная емкость

Пусть алфавит данного множества дискретных сообщений состоит из т символов, а разрядность сообщений – из n позиций. Будем рассуждать так. Если наше множество сообщений имеем алфавит m и разрядность n =1 (т.е. каждое сообщение этого множества состоит из одной позиции), то любое наугад выбранное из него сообщение будет состоять из одного из символов алфавита /н, занимающего и ли ни ионную позицию сообщения. Очевидно, всего будет т таких однопозиционных сообщений.

Если множество имеет алфавит т и разрядность n =2, то каждое сообщение этого множества будет иметь две позиции и, следовательно, число возможных сообщений в нем будет N = m × n = m².

В общем случае, когда сообщения множества имеют алфавит т, разрядность п и вероятность появления в любой позиции «каждого из символов т алфавита одинакова, будем иметь: N = mⁿ.

Это – число возможных сообщений в рассматриваемом множестве, определяющее информационную емкость или максимально возможное число сообщений, которые способна выдать, передать или хранить в себе система, оперирующая алфавитом из т символов и разрядностью из n позиций.

Такой системой может быть источник сообщений, канал связи или запоминающее устройство.

Пример 2.

Пусть m = 30 букв. Из них можно составить 30¹ = 30 однобуквенных слов (n = 1), 30² = 900 двухбуквенных (n = 2),30³ = 27000 трехбуквенных (n = 3), 30⁴ = 81000 четырехбуквенных (n = 4) и т.д. Между тем в действительности язык содержит примерно 50000 слов.

Информационную емкость принято, однако, оценивать логарифмом числа возможных сообщений: Q = log₂N log₂mⁿ = nlog₂m.

Применение логарифмической меры для измерения объемов информации и других измерений количеств информации оправдано тем, что она обладает рядом преимуществ, делающих удобными математические расчеты, в частности, математическим свойством аддитивности, благодаря которому, например, объемы информации различных источников сообщений могут суммироваться.

Так, если мы имеем два источника сообщений с емкостями Q₁ = n₁log₂m₁ и Q₂ = n₂log₂m₂, то при этом общий объем информации Q = Q₁ + Q₂ = n₁log₂m₁ + n₂log₂m₂