Величину ІY®X називають повною, або середньою, інформацією про систему Х, що міститься в системі Y

Можна довести, що ІY®X = ІX®Y. Позначимо через ІX«Y =
= ІX®Y = ІY®X. Інформацію ІX«Y називають повною взаємною інформацією, що міститься в системах Х та Y.

Якщо системи незалежні, то Н(Х / Y) = Н(Х) і ІX«Y = 0, тобто повна взаємна інформація, що міститься в незалежних системах, дорівнює нулю. Це природно, оскільки неможливо дістати відомості про систему, спостерігаючи замість неї іншу, з нею не пов’язану.

Розглянемо випадок, коли стан системи Х цілком визначає стан системи Y. Тоді Н(Х / Y) = 0 і, навпаки, Н(Y / Х) = 0, тобто системи еквіваленті:

. (4.11)

Якщо між системами Х та Y існує зв’язок, причому Х — більш різноманітна, ніж Y, причому Н(Х / Y) = 0, тоді

ІX«Y = Н(Y) – Н(Y / Х) = Н(Y),

Тобто повна взаємна інформація ІX«Y, що міститься в системах, одна з яких є підлеглою, дорівнює ентропії підлеглої системи.

Виведемо формулу для інформації. З огляду на те, що

Н(Y / Х) = Н(Х / Y) – Н(Y),

дістанемо:

ІX«Y = Н(Х) – Н(Х / Y) = Н(Х) + Н(Y) – Н(Х, Y). (4.12)

Отже, повна взаємна інформація, що міститься у двох системах, дорівнює сумі ентропії обох систем, що становлять систему, за винятком ентропії системи, утвореної перерізом даних систем.

Графічно це можна зобразити так, як показано на рис. 4.1.

Рис. 4.1. До визначення повної взаємної інформації

Звідси, можемо записати:

,

де Pij = P(X = xi; Y = yj), pi = P(X = xi) rj = P(Y = yj).

Ентропія (грец. en — в + trophē — поворот) — функція стану S термодинамічної системи, зміна якої dS для нескінченно малої зміни стану системи дорівнює (оборотні процеси) або більше (необоротні процеси) за наведену теплоту δQ/T: