Оформление отчета. Тема 7:Открытие и развитие теоремы Котельникова

Тема 7: Открытие и развитие теоремы Котельникова.

Теорема Котельникова гласит, что, если аналоговый сигнал имеет финитный (ограниченный по ширине) спектр, то он может быть восстановлен однозначно и без потерь по своим дискретным отсчётам, взятым с частотой строго большей удвоенной верхней частоты :

Такая трактовка рассматривает идеальный случай, когда сигнал начался бесконечно давно и никогда не закончится, а также не имеет во временно́й характеристике точек разрыва. Именно это подразумевает понятие «спектр, ограниченный частотой ».

Разумеется, реальные сигналы (например, звук на цифровом носителе) не обладают такими свойствами, так как они конечны по времени и, обычно, имеют во временно́й характеристике разрывы. Соответственно, их спектр бесконечен. В таком случае полное восстановление сигнала невозможно и из теоремы Котельникова вытекают 2 следствия:

§ Любой аналоговый сигнал может быть восстановлен с какой угодно точностью по своим дискретным отсчётам, взятым с частотой , где — максимальная частота, которой ограничен спектр реального сигнала.

§ Если максимальная частота в сигнале превышает половину частоты дискретизации, то способа восстановить сигнал из дискретного в аналоговый без искажений не существует.

Говоря шире, теорема Котельникова утверждает,что непрерывный сигнал можно представить в виде интерполяционного ряда

где — функция sinc.

Интервал дискретизации удовлетворяет ограничениям

Мгновенные значения данного ряда есть дискретные отсчёты сигнала .

Хотя в западной литературе теорема часто называется теоремой Найквиста со ссылкой на работу 1928 года «Certaintopicsintelegraphtransmissiontheory», в этой работе речь идёт лишь о требуемой полосе линии связи для передачи импульсного сигнала (частота следования должна быть меньше удвоенной полосы). Таким образом, в контексте теоремы отсчётов справедливо говорить лишь о частоте Найквиста. Примерно в это же время Карл Купфмюллер получил тот же результат.О возможности полной реконструкции исходного сигнала по дискретным отсчётам в этих работах речь не идёт. Теорема была предложена и доказана В. А. Котельниковым в 1933 году в работе «О пропускной способности эфира и проволоки в электросвязи», в которой, в частности, была сформулирована одна из теорем следующим образом: «Любую функцию , состоящую из частот от 0 до , можно непрерывно передавать с любой точностью при помощи чисел, следующих друг за другом через секунд». Независимо от него эту теорему в 1949 (через 16 лет) году доказал Клод Шеннон, поэтому в западной литературе эту теорему часто называют теоремой Шеннона.

В 1999 году Международный научный фонд Эдуарда Рейна (Германия) признал приоритет В. А. Котельникова, наградив его премией в номинации «за фундаментальные исследования» за впервые математически точно сформулированную и доказанную в аспекте коммуникационных технологий теорему отсчётов.Исторические разыскания показывают, однако, что теорема отсчётов как в части утверждения возможности реконструкции аналогового сигнала по дискретным отсчётам, так и в части способа реконструкции, рассматривалась в математическом плане многими учеными и ранее. В частности, первая часть была сформулирована ещё в 1897 годуБорелем.

Впоследствии было предложено большое число различных способов аппроксимации сигналов с ограниченным спектром, обобщающих теорему отсчётов. Так, вместо кардинального ряда по функциямsinc, являющимсяхарактеристическими функциями прямоугольных импульсов, можно использовать ряды по конечно- или бесконечнократнымсвёрткамфункций sinc. Например, справедливо следующее обобщение ряда Котельникова непрерывной функции с финитным спектром на основе преобразований Фурье атомарных функций:

где параметры удовлетворяют неравенству , а интервал дискретизации

Тема 8: Применение формулы Хартли.

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

Имеется алфавит А, из букв которого составляется сообщение:

| A | = m

Количество возможных вариантов разных сообщений:

N = m

где: N - возможное количество различных сообщений, шт; m - количество букв в алфавите, шт; n - количество букв в сообщении, шт.

Пример: Алфавит состоит и 2-х букв B и X, длина сообщения 3 буквы - таким образом m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить N=m^n=2^3=8 разных сообщений "BBB", "BBX", "BXB", "BXX", "XBB", "XBX", "XXB", "XXX" - других вариантов нет.

Формула Хартли определяется:

I = log 2N = nlog 2m

где: I - количество информации, бит.

При равновероятности символов p=1/m, m=1/p формула Хартли переходит в собственную информацию.

Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений. Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

Посчитаем сколько вопросов надо задать, чтобы найти задуманное число. Допустим загаданное число 27. Начали:
Больше 50? Нет
Больше 25? Да
Больше 38? Нет
Меньше 32? Да
Меньше 29? Да
Больше 27? Нет
Это число 26? Нет

Ура! если число не 26 и не больше 27, то это явно 27.
Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.

Кто-то может задаться вопросом: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т.д. Но тогда вам потребуется намного больше вопросов. «Деление пополам» самый короткий рациональный способ найти число. Объем информации заложенный в ответ «да» или «нет» равен одному биту. Действительно, ведь бит может быть в состоянии 1 или 0. Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит.

N = 2

Такой формулой можно представить, сколько вопросов потребуется, чтобы определить одно из возможных значений. N – это количество значений, а k – количество бит. Например, в нашем примере 100 меньше чем 27, однако больше, чем 26. Да, нам могло потребоваться и всего 6 вопросов, если бы загаданное число было бы 28.

Формула Хартли:

k = log2N.

Количество информации, необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов.