Основні параметри, що характеризують кожен блок

Джерело повідомлень:

Ентропія джерела – мінімальна кількість інформації, що знаходиться в повідомленні (прийнятому) відносно B(t) (переданому), при якому вони ще еквівалентні. В теорії інформації, ентропія є мірою невизначеності випадкової величини. Зазвичай, в якості інформаційної ентропії використовують ентропію Шенона. Вона визначає абсолютну межу найкращого стиснення даних без втрат: розглядаючи повідомлення як послідовність незалежних та однаково розподілених випадкових величин, теорема Шенона про кодування доводить що, в границі, середня довжина найкоротшого можливого представлення закодованого повідомлення в заданому алфавіті дорівнює ентропії поділеній на логарифм кількості символів у вихідному алфавіті.

Коефіцієнт залишку джерела χ - це відношення, що визначає яка доля максимально можливої ентропії, при даному алфавіті, не використовується джерелом.

Продуктивність джерелаRg – це сумарна ентропія повідомлень, переданих джерелом за одиницю часу.