Структурные компоненты мультимедиа

Рассмотрим основные компоненты мультимедийных объектов.

Текст

Текст – это упорядоченный набор предложений, предназначенный для того, чтобы выразить некий смысл. В смысловой цельности текста отражаются те связи и зависимости, которые имеются в самой действительности (общественные события, явления природы, человек, его внешний облик и внутренний мир, предметы неживой природы и т.д.).

Текстовый файл – обычная форма представления текста на компьютере. Каждый символ из используемого набора символов кодируется в виде одного байта, а иногда в виде последовательности подряд идущих двух, трех и более байтов. Особой разновидностью текстовых данных следует считать так называемый гипертекст. Термин «гипертекст» был введен Тедом Нельсоном в 1965 году для обозначения «текста ветвящегося или выполняющего действия по запросу». Обычно гипертекст представляется набором текстов, содержащих узлы перехода от одного текста к какому-либо другому, позволяющие избирать читаемые сведения или последовательность чтения. Общеизвестным и притом ярко выраженным примером гипертекста служат веб-страницы – документы на HTML (гипертекстовом языке разметки), размещенные в интернете.

Аудио

Аудио (от лат. audio –«слышу») – общий термин, относящийся к звуковым технологиям. Как правило, под термином аудио понимают звук, записанный на звуковом носителе, а также запись и воспроизведение звука, звукозаписывающая и звуковоспроизводящая аппаратура.

Таким образом, аудиальный компонент мультимедийной информации предназначен для передачи звуковых данных. Как физическое явление звук изучается в рамках акустики, но при этом акустика является междисциплинарной наукой, использующей для решения своих проблем широкий круг дисциплин: математику, физику, психологию, архитектуру, электронику, биологию, теорию музыки и др. Непосредственное отношение к вопросам мультимедиа-технологий имеют такие направления современной акустики, как музыкальная акустика, электроакустика, акустика речи, цифровая акустика.

По содержанию аудиальный компонент мультимедиа обычно классифицируется на музыкальный и речевой звук. Музыкальный звук обладает следующими характеристиками:

• определенной высотой (обычно от 16 до 4500 Гц);

• тембром, который определяется присутствием в звуке обертонов и зависит от источника звука;

• громкостью, которая не может превышать болевого порога;

• длительностью.

Кодирование звука

Из курса физики известно, что звук представляет собой волну с непрерывно меняющейся амплитудой и частотой. Чем больше амплитуда, тем звук громче. Чем выше частота колебаний, тем выше тон (частота колебаний измеряется в герцах (штук в секунду). Человеческое ухо способно улавливать колебания от 20 Гц до 20 кГц. На рисунке 1 ниже в виде зависимости амплитуды от времени показан фрагмент звуковой волны:

Рисунок 1. Аналоговый звуковой сигнал

Для того чтобы компьютер мог обрабатывать звук, такой непрерывный (аналоговый) звуковой сигнал должен быть преобразован в последовательность электрических импульсов (двоичных нулей и единиц).

Для кодирования непрерывного звукового сигнала производится его дискретизация по времени (временная дискретизация, оцифровка). Непрерывная звуковая волна разбивается на отдельные короткие временные участки, причем для каждого такого участка устанавливается определенная величина амплитуды. Это выполняется устройством, называемым аналогово-цифровым преобразователем (АЦП), который измеряет напряжение поступающего с микрофона звукового сигнала через равные промежутки времени и записывает полученные значения (в виде многоразрядных двоичных чисел) в память компьютера. В результате, непрерывная зависимость амплитуды сигнала от времени заменяется на дискретную последовательность значений уровней громкости. На графике это выглядит как замена гладкой кривой на последовательность «ступенек» (рисунок 2).

Рисунок 2. Дискретизация звукового сигнала

Для того чтобы воспроизвести закодированный таким образом звук, нужно выполнить обратное преобразование, для которого служит цифро-аналоговый преобразователь (ЦАП), а затем сгладить получившийся ступенчатый сигнал (через аналоговый фильтр).

Рисунок 3. Система преобразования звукового сигнала

Каждой «ступеньке» присваивается значение уровня громкости (амплитуды) звука, его код (1, 2, 3, и т. д.). Таким образом, при двоичном кодировании непрерывного звукового сигнала он заменяется последовательностью дискретных уровней сигнала. Уровни громкости звука можно рассматривать как набор возможных состояний. Соответственно, чем большее количество уровней громкости будет выделено в процессе кодирования, тем большее количество информации будет нести значение каждого уровня и тем более качественным будет звучание. Поэтому, как и в случае с графической информацией, при кодировании звука важное значение имеет «глубина» кодирования звука. Например, при 16-битной глубине кодирования (когда каждому значению амплитуды звукового сигнала присваивается 16-битный код) количество обеспечиваемых различных уровней сигнала (состояний) можно определить следующим образом:
N = 2¹⁶ = 65536.

Итак, процесс преобразования непрерывного аналогового сигнала в последовательность его мгновенных значений (выборок) называется дискретизацией