Розв'язання. Побудуємо розподіл ймовірностей д

Побудуємо розподіл ймовірностей д. в. в. X ₁ (або X ₂) (табл. 1):

Таблиця 1

Звідси знаходимо ентропію д. в. в X ₁, що у даному випадку буде максимальною, оскільки значення рівноймовірні:

HX ₁= HX ₂ = log₂ 6=1+ log₂ 3»1+1,585»2,585 (біт / сим).

Оскільки X ₁ та X ₂ незалежні д. в. в., то їх сумісна ймовірність визначається так:

P (X ₁= i, X ₂= j)= P (X ₁= i)× P (X ₂= j)= 1/36; i = 1... 6, j = 1... 6.

Побудуємо допоміжною таблицю значень д. в. в. Y = X ₁ + X ₂ (табл.2):

Таблиця 2

Обчислимо ймовірності P (Y=j) (j =2, 3, …, 12):

P (Y= 2)= 1/36; P (Y= 3)= 2×1/36= 1/18; P (Y = 4)= 3×1/36= 1/12;

P (Y= 5)= 4×1/36= 1/9; P (Y= 6)= 5×1/36= 5/36; P (Y= 7)= 6×1/36= 1/6; P (Y= 8) =5×1/36= 5/36; P (Y= 9) =4×1/36= 1/9; P (Y= 10)= 3×1/36= 1/12; P (Y= 11)= 2×1/36= 1/18; P (Y= 12)= 1/36;

Скориставшись допоміжною таблицею (табл.2), запишемо безумовний закон розподілу д. в. в. Y (табл. 3):

Таблиця 3

Звідси знаходимо ентропію д. в. в. Y так:

(біт/сим)

Побудуємо таблицю розподілу ймовірностей системи д. в. в. (X ₁, Y) p_ij = P (X ₁= i, Y = j) (табл. 4).

Таблиця 4

Тоді взаємна ентропія д. в. в. X ₁, Y

Кількість інформації, що містить д. в. в. Y стосовно д. в. в. X ₁, обчислимо за формулою . Отже,

(біт/сим).

Кількість інформаціїI (Y, X₁) здебільшого зручніше знайти, скориставшись властивістю 4 кількості інформації і ентропії:

.

Оскільки Y = X ₁+ X ₂, де X ₁ та X ₂ – незалежні д. в. в., то

.

(біт/сим).

Відповідь: (біт/сим);

(біт/сим);

(біт/сим).

Приклад 2 Знайти ентропії дискретних випадкових величин (д. в. в.) X, Y, Z та кількість інформації, що містить д. в. в. стосовно X та Y. X, Y – незалежні д. в. в., які задаються такими розподілами (табл. 1, табл. 2):

Таблиця 1 Таблиця 2