Раздел #2. Светочувствительный сенсор 5 page

На четвёртом шаге конвейера могут выполняться дополнительные процедуры, которые также задействуют интерполяцию. Такие процедуры изменяют размер, поворачивают, деформируют цифровое изображение. А также могут корректировать некоторые геометрические искажения объектива.

Пятый шаг. Последующая обработка

Рассмотренные ранее процедуры: интерполяция, уменьшение шумов, цветовая коррекция в соответствии с качественной оценкой освещения снимаемой сцены и проч., – все относятся к цифровой обработке изображений (от англ. image processing). Таким образом, «прохождение» исходной числовой таблицы и цифрового изображения по конвейеру само по себе можно рассматривать как обработку.

Здесь я расскажу о процедурах, которые применяются непосредственно к цифровому изображению – упорядоченной последовательности пикселей, определённых тремя цветовыми компонентами. Далее для краткости буду называть его одним словом – изображение – если не оговорю иного.

Процедуры пятого шага, в основном, представляют собой преобразование чисел – цветовых компонент каждого пиксела – по некоторым правилам. Как обычно, числовые преобразования выполняет процессор фотоаппарата.

Многие из процедур пятого шага, в отличие от рассмотренных ранее, не улучшают (или сохраняют) техническое качество изображения. Они стилизуют изображение в соответствии с эстетическими предпочтениями фотографа или заказчика фотографии. Также выделяется ряд процедур, которые приводят обработанное, стилизованное, изображение к стандартному формату. Если не провести стандартизацию, то большинство распространённых устройств визуализации не смогут воспроизвести изображение, полученное в процессе «демозаики».

Проведу обзор процедур пятого шага, параллельно обозначу возможный порядок их выполнения. Затем подробно опишу каждую процедуру.

Чтобы привести, преобразовать, изображение к стандартному формату необходимо провести гамма-коррекцию и определить точку белого. Стандартизации предшествуют оба процесса. Тонкая цветовая и тоновая коррекция, применение эффектов и «интеллектуальных» фильтров – всё отнесу к стилизации – осуществляются до стандартизации. После стилизации проводится повышение чёткости (резкости). После приведения изображения к стандарту или параллельно с этим процессом может производится сжатие изображения.

Я буду рассматривать следующий порядок проведения процедур на пятом шаге конвейера:

Рис. 25. Обработка цифрового изображения, полученного в результате процесса «демозаики».

Опишу каждую процедуру подробнее.

Гамма-коррекция – это тоновая коррекция, которая изменяет распределение тонов на изображении в соответствие с тем, как зритель воспринимает снимаемую сцену. Во втором разделе я отмечал различие в восприятии света сенсором и зрительной системой человека. Это различие обусловливает необходимость гамма-коррекции. Если не провести такую тоновую коррекцию, изображение будет выглядеть неестественно тёмным.

Как она происходит? В качестве объяснения приведу пример.

Для наглядности пронумерую все тона на изображении от самого тёмного, соответствующего чёрному цвету, до самого светлого, соответствующего белому цвету, числами от 0 до 255. Тону с номером 0 соответствует чёрный цвет. Таким образом, любой пиксел на изображении можно отнести к одному из 256-ти тонов: любому цвету можно поставить в соответствие серый цвет какого-то оттенка. При этом, к одному из 256-ти тонов может относится несколько пикселей.

При гамма-коррекции пикселы какого-то одного тона, обычно, расположенного между средними тонами и тенями, осветляются сильнее остальных. Пикселы, соответствующие тонам с номерами 0 и 255, не меняются вовсе. Характер осветления остальных пикселей следующий.

Чем светлее пиксел (номер тона «ближе» к 255), тем меньше пиксел осветляется. Аналогично ситуация происходит с тёмными пикселами. Чем темнее пиксел (номер тона «ближе» к 0), тем меньше пиксел осветляется. Другими словами, степень осветления пиксела зависит от его исходной светлоты (к какому тону он относится).

Гамма-коррекция – это применение к светлотам пикселей степенной функции, где показателем функции является постоянное заранее известное число, обозначенное греческой буквой «гамма»:

Данная функция, которую называют гамма-функцией, позволяет осуществлять преобразование со светлотами пикселей, указанное в примере выше.

Гамма-функцию можно отнести к тоновым кривым, а саму гамму-коррекцию представить как применение тоновой кривой к изображению. Тоновая кривая для каждой группы пикселей одной светлоты (относящихся к одному тону) задаёт степень изменения исходной светлоты группы. С помощью тоновых кривых можно эффективно, гибко осуществлять тоновую коррекцию изображений. Например, тоновая кривая, изображённая на рис. 26, затемняет только тени (левая нижняя часть кривой), а средние тона (центральная часть кривой) и блики (верхняя правая часть кривой) оставляет практически неизменными. Вы можете повстречаться с тоновой кривой в программах, интерпретирующих RAW-файлы, и в редакторах цифровых изображений, например, Adobe Photoshop.

Рис. 26. Пример тоновой кривой.

Когда процессор фотоаппарата завершил процедуру гамма-коррекции, привёл распределение тонов на изображении к привычному для зрителя виду, задействуется следующий ряд процедур.

Процессор приступает к стилизации: цветовой и тоновой коррекции по одному из шаблонов, встроенных производителем в конкретную модель цифрового фотоаппарата (рис. 27). Процессор изменяет цветовые компоненты каждого пиксела в соответствие с набором заранее определённых правил – шаблоном. Шаблоны разрабатывает производитель, основываясь на среднестатистическом мнении зрителей относительно того, как должны выглядеть фотографии в стандартных съёмочных ситуациях. Поэтому некоторые шаблоны, часто, называют в зависимости от съёмочной ситуации или снимаемого объекта: «пейзаж», «портрет» и т.д.

Рис. 27. Доступные шаблоны стилизации изображения, встроенные в фотоаппарат Nikon D610.

Фотограф может выбирать шаблон, а также менять в заданных пределах и с определённой степенью точности некоторые его параметры, влияющие на передачу цветов и распределение тонов на изображении (левая иллюстрация рис. 28). Шаблоны могут задействовать процедуры цифровой обработки, не касающиеся тоновой и цветовой коррекции. Например, процедуру повышения чёткости (или сглаживания).

За пределами настройки шаблона тонкую цветовую коррекцию можно осуществлять путём переопределения точки белого (правая иллюстрация рис. 28). Условно, точка белого – это соотношение трёх цветовых компонент, которое определяет пикселы белого цвета. Другими словами, точка белого – это ответ на вопрос: «Что в изображении считать белым цветом?» Относительно точки белого «выстраиваются» все цвета на изображении. Исходную точку белого определяет процедура, анализирующая качество освещения снимаемой сцены.

Подробнее о точке белого и смежном понятии – балансе белого – а также о способах её определения и причинах её влияния на цветопередачу изображения я расскажу в седьмой части «основ».

Рис. 28. Возможности тонкой цветовой и тоновой коррекции, встроенные в цифровой фотоаппарат. На примере зеркальной камеры Nikon D610. Слева: доступные для управления параметры шаблона; справа: точная настройка точки белого.

На практике, у фотографа есть возможность придать, например, желтоватый, «тёплый», или какой-либо другой оттенок всему изображению.

Обычно, параметры тонкой цветовой и тоновой коррекции фотограф задаёт до съёмки, и они применяются к вновь создаваемым изображениям. После того, как очередное цифровое изображение сформировано, процессор изменяет цветовые компоненты каждого пиксела в соответствие с заданными параметрами-правилами.

Когда тоновая и цветовая коррекция завершены, в зависимости от настроек фотоаппарата, выбранных фотографом, выполняются вспомогательные, «декоративные», процедуры. К таким процедурам могут относится распознавание лиц на изображении, впечатывание даты и времени съёмки, совмещение изображений, одно из которых может быть «вшито» в фотоаппарат, коррекция эффекта красных глаз.

Когда процессор завершил формирование итогового изображения: определил передачу цветов и распределение тонов, изменил или добавил новые фрагменты изображения, – оно приводится к стандартному формату.

Стандартизация начинается с приведения цветов.

Процессор преобразует цветовые компоненты каждого пиксела в новый формат. Например, если изначально пиксел определяла тройка чисел (0000 0101 1100 1110; 0001 0111 1000 1000; 0000 0101 1011 1111), то после форматирования пиксел может определять тройка (0111 1111; 0001 1001; 1100 1001). При этом, цвет пиксела останется примерно тем же. Другими словами, цвету из естественного для конкретной модели фотоаппарата набора цветов, так называемого, нативного (от англ. native – «естественный») цветового пространства, ставится в соответствие цвет из стандартного набора цветов. Цвета стандартного цветового пространства «понятны» большинству современных распространённых устройств визуализации: цифровым телевизорам, мобильным устройствам, мониторам компьютеров, принтерам и т.д. К стандартным цветовым пространствам, которые доступны для выбора в меню большинства зеркальных фотоаппаратов, относятся sRGB и Adobe RGB:

Рис. 29. Стандартные цветовые пространства, доступные в для выбора в большинстве зеркальных и беззеркальных цифровых фотоаппаратов. На примере зеркальной камеры Nikon D610.)

Подробнее о цветовых пространствах и, в частности, о sRGB и AdobeRGB, об отличиях между ними, я расскажу в шестой части «основ».

Помимо преобразования цветовых компонент каждого пиксела в стандартный формат, дополнительно, цветовые компоненты могут быть приведены к формату, «понятному» экрану фотоаппарата (метка 7 на рис. 1). Благодаря последнему преобразованию фотограф имеет возможность просматривать изображение после съёмки.

Следующая процедура стандартизации готовит изображение к записи на карту памяти. Для этого необходимо превратить его в файл-изображение и, по возможности, уменьшить его размер – сжать. Файл-изображение помимо упорядоченной последовательности чисел, отражающих цветовые компоненты для каждого пиксела, содержит служебную информацию, позволяющую корректно воспроизвести изображение. В частности, файл-изображение содержит информацию о параметрах съёмки.

Процессор преобразует цветовые компоненты в новый формат. В нём цвет пиксела определяется также тремя числами, но обозначают они не соотношение «красного», «зелёного» и «синего» цветов, как прежде. Одна компонента задаёт светлоту (тон), позволяет относить пиксел к какому-то тону. Вторая и третья «окрашивают» пиксел, определяя соотношение между синим и жёлтым цветами, пурпурным и зелёным цветами, соответственно. Такой способ представления цветов обозначается к цветовое пространство YC_bC_r. Познакомиться поближе с ним Вы сможете в шестой части «основ».

Как и прежде при преобразованиях цветов в другой формат, цветопередача на изображении – содержание – остаётся практически неизменной. Меняется лишь представление цветов – форма.

Преобразование цвета в новый формат необходимо для того, чтобы выполнить процедуру сжатия. Также с указанным представлением цветов на изображении удобно выполнять некоторые процедуры обработки. В частности, повышение чёткости изображения или, наоборот, его сглаживание может осуществляться в данном месте конвейера. Чуть подробнее опишу данную процедуру. Затем рассмотрю последнюю процедуру пятого шага – сжатие изображения.

Процедура повышения чёткости может реализовывать различные алгоритмы. Один из наиболее эффективных алгоритмов, применяемых в современной цифровой обработке изображений, определяет границы контрастных областей. Примерами двух контрастных областей может служить фрагмент портрета: тёмная ресница на фоне светлой кожи. Принцип определения границ контрастных областей может быть похож на принцип ESD-процесса. Отличаются цели и последующие действия.

Когда границы областей определены, изменяются пикселы, находящиеся в непосредственной близости к границам контрастных областей. Если светлота пиксела была большой, то она увеличивается. И наоборот, если светлота пикселя была малой, то она уменьшается. Таким образом, вблизи границы контрастных областей светлые пикселы становятся ещё светлее, а тёмные – ещё темнее. На изображении такие изменения проявляются в увеличении контрастности между областями и, как следствие, выделении границы. Что создаёт для зрителя оптическую иллюзию – эффект высокой чёткости.

Если необходимо сгладить изображение, то светлые пикселы, расположенные вблизи границы контрастных областей, затемняются, а тёмные пикселы – осветляются.

Из-за того, что границы определяются по разницам светлот пикселей, а после анализа изменению подвергаются снова светлоты пикселей, то цветовое пространство YC_bC_r отлично подходит для выполнения данной процедуры.

Также, она выполняется после того, как цифровой шум уменьшен. В противном случае, вместе с содержанием изображения будет усилено проявление цифрового шума.

После завершения процедуры повышения-понижения чёткости изображения, выполняется сжатие.

Сжатие бывает двух видов: с потерями и без потерь качества изображения. В данном месте конвейера используется первый вид.

Потеря качества выражается в снижении чёткости, искажении цветов (обычно, в потере насыщенности и «огрублении» плавных цветовых переходов вплоть до появления эффекта постеризации) и проявлении цифрового шума в виде «квадратиков». Другими словами, исходное изображение не может быть восстановлено после проведения процедуры сжатия с потерей качества.

При сжатии с потерей качества, по сути, создаётся новое изображение. Его содержание повторяет содержание исходного цифрового изображения. При этом новое изображение состоит из меньшего количества чисел и, как следствие, занимает меньше места на носителях информации. В частности, на карте памяти.

Если изображение сохраняется на карту памяти в виде файла в формате JPEG, то оно по определению сжимается с потерями.

Обычно, фотограф может выбирать степень сжатия в меню фотоаппарата, тем самым, совершая выбор либо в пользу качества изображения, либо в пользу малого размера файла:

Рис. 30. Два варианта сжатия изображения, доступные для выбора в меню фотоаппарата Nikon D610.

Сравните, при «внешней» обработке степень сжатия можно выбирать более гибко: в пределах 100-а вариантов.

Подробнее о форматах изображений, о формате JPEG и сжатии изображений Вы можете узнать из шестой части «основ», посвящённой цифровым изображениям и их параметрам.

Когда процессор завершил процедуру преобразования в стандартный формат, например, JPEG, файл-изображение готов к записи на карту памяти.

На этом пятый шаг и работа конвейера завершаются: числовая таблица, полученная в результате АЦП, преобразована в файл-изображение, которое может быть воспроизведено на большинстве распространённых устройств визуализации.

Резюме

В заключении третьего раздела обозначу ключевые моменты.

Конвейер цифровой обработки – это последовательность процедур, оперирующих числами. Цель конвейера – преобразовать числовую таблицу, полученную в результате АЦП, в цифровое изображение стандартного формата, параллельно стилизовав его в соответствии с эстетическими предпочтениями зрителя (фотографа).

Порядок процедур может отличаться и зависит от модели камеры, но определяется в соответствии с некоторыми принципами. Так, распознавание лиц и другие процедуры, оперирующие содержанием цифрового изображения, не могут выполняться до процесса «демозаики». Цифровой шум уменьшается до увеличения чёткости изображения. Качество освещения снимаемой сцены определяется и гамма-коррекция производится до преобразования цветов изображения, «понятных» фотоаппарату, к стандартным цветам. Процедура сжатия изображения выполняется последней.

Конвейер можно разделить на три шага.

На первом шаге числовая таблица готовится к процессу «демозаики»: уменьшаются шумы. Также, выполняются процедуры, которые эффективно оперируют числовой таблицей, полученной в результате АЦП. Например, определяется качество освещения снимаемой сцены.

На втором шаге числовая таблица дополняется: для каждого пиксела цифрового изображения вычисляются две неизвестные цветовые компоненты. Полная числовая таблица, по сути, является цифровым изображением. Цветовые компоненты здесь могут быть «понятны» лишь процессору фотоаппарата. Другими словами, цвета изображения представлены естественным, нативным, цветовым пространством.

На третьем шаге выполняется стилизация и стандартизация изображения. К ключевым процедурам третьего шага относятся гамма-коррекция, приведение цветов изображения к стандарту и преобразование в формат JPEG. На выполнение процедур, отвечающих за стилизацию, фотограф может оказывать влияние, выбирая соответствующие параметры в меню фотоаппарата.

Работа конвейера завершается, когда получено изображение, воспроизводимое на большинстве распространённых устройств визуализации.

Процедур конвейера – «внутреннего» процесса цифровой обработки – дублируют процедуры, реализованные в специальном программном обеспечении – «внешнем» процессе цифровой обработки. Возможности управления и, как следствие, получение изображения более высокого технического качества и удовлетворяющего замыслу фотографа у «внешних» процедур шире.

На этом третий раздел и, вместе с ним, «путь» от оптического изображения, сформированного объективом на поверхности светочувствительного сенсора, до цифрового изображения-файла, соответствующего стандарту, завершены.

В четвёртом, заключительном, разделе четвёртой части серии «Основы фотографии» Вы узнаете о режимах съёмки и практике их использования в различных съёмочных ситуациях.