Вероятностный подход к определению количества информации

Количественный подход - наиболее разработанные области теории информации. Согласно этому определению совокупность 100 букв - фраза из 100 букв из газеты, пьесы Шекспира или теоремы Эйнштейна - имеет в точности одинаковое количество информации.

Такое определение количества информации является полезным и практичным. Оно соответствует задаче инженера связи, который должен передать всю информацию, содержащуюся в поданной телеграмме, вне зависимости от ценности этой информации для адресата. Передающей системе необходимо передать нужное количество информации за определенное время.

Оценка количества информации основывается на законах теории вероятностей, точнее, определяется через вероятности событий. Сообщение о происшествии, в которой только два одинаково возможных результатах, содержит одну единицу информации, называемую битом. Выбор единицы информации не случаен. Он связан с распространенным двоичным способом ее кодирования при передаче и обработке.Известно, что количество информации зависит от вероятностей тех или иных исхода событий. Если событие, как говорят ученые, имеет два «равновероятных» результаты, это означает, что вероятность каждого исхода равна 1/2. Такая вероятность выпадения «орла» или «решки» при бросании монеты. Если событие имеет три «равновероятных» результаты, то вероятность каждого равна 1/3. Следует отметить, что сумма вероятностей всех исхода всегда равна единице: ведь какой-нибудь из всех возможных исхода обязательно наступит.

Событие может иметь и «неравновероятные исходы». Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика - например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала. Количество информации - это мера уменьшения неопределенности некоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей информации не может быть больше его пропускной способности. Ее определяют по количеству информации в единицу времени.

Date: 2016-07-25; view: 641; Нарушение авторских прав