УПРАВЛЕНИЕ ОТОБРАЖЕНИЕМ ВИДЕО С РАСШИРЕННЫМ ДИНАМИЧЕСКИМ ДИАПАЗОНОМ

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ

Настоящая заявка испрашивает приоритет для предварительной заявки на патент США № 61/767380, поданной 21 февраля 2013 г., и предварительной заявки на патент США № 61/810104, поданной 9 апреля 2013 г., которые полностью включены в данную заявку посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Настоящее изобретение в общем относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к способу управления отображением изображений с расширенным или увеличенным динамическим диапазоном.

ПРЕДПОСЫЛКИ

В данном документе термин «динамический диапазон» (DR) может относиться к способности человеческой психовизуальной системы (HVS) воспринимать диапазон интенсивности (например, освещенности, яркости) в изображении, например, от самых темных из темных участков (черных) до самых светлых из светлых участков (белых). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности конкретной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. За исключением случаев, когда точно указывается, что конкретный смысл имеет конкретное значение в любом месте в описании в данном документе, следует делать вывод, что термин может быть использован в любом смысле, например, взаимозаменяемо.

В данном документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, которая охватывает приблизительно 14-15 порядков величины человеческой визуальной системы (HVS). Например, хорошо адаптированные люди главным образом с нормальным зрением (например, в одном или нескольких статистических, биометрических или офтальмологических смыслах) имеют диапазон интенсивности, который охватывает приблизительно 15 порядков величины. Адаптированные люди могут воспринимать источники тусклого света величиной всего лишь несколько фотонов. Также эти же люди могут воспринимать почти болезненную блестящую интенсивность полуденного солнца в пустыне, моря или снега (или даже смотреть на солнце, однако недолго для предотвращения повреждения). Однако данный охват доступен «адаптированным» людям, например, тем, чья HVS имеет период времени, за который осуществляется сброс и регулировка.

И напротив, DR, в котором человек может одновременно воспринимать пространственную ширину в диапазоне интенсивности, может быть немного сокращен относительно HDR. В данном документе термины «увеличенный динамический диапазон» (EDR) или «визуальный динамический диапазон» (VDR) могут отдельно или взаимозаменяемо относиться к DR, который одновременно воспринимается HVS. В данном документе EDR может относиться к DR, который охватывает 5 – 6 порядков величины. Таким образом, несмотря на то, что возможна немного более узкая ширина в отношении относящегося к настоящей сцене HDR, тем не менее EDR представляет ширину широкого DR.

На практике изображения содержат один или несколько цветовых компонентов (например, яркость Y и цветность Cb и Cr), при этом каждый цветовой компонент представлен с точностью до N бит на пиксель (например, N=8). Изображения, в которых N ≤ 8 (например, цветные 24-битные изображения JPEG), рассматриваются в качестве изображений стандартного динамического диапазона, тогда как изображения, в которых N>8, могут быть рассмотрены в качестве изображений увеличенного динамического диапазона. Изображения EDR и HDR могут быть сохранены и распределены с использованием высокоточных (например, 16-битных) форматов с плавающей точкой, таких как формат файла OpenEXR, разработанный компанией Industrial Light and Magic.

До недавнего времени дисплеи имели значительно более узкий DR, чем HDR. Устройство телевизора (TV) и компьютерного монитора, которое использует типовую электроннолучевую трубку (CRT), жидкокристаллический дисплей (LCD) с постоянным флуоресцентным белым задним освещением или технологией плазменного экрана, может быть ограничено в своей возможности воспроизведения DR до приблизительно трех порядков величины. Таким образом, такие традиционные дисплеи являются типичными представителями низкого динамического диапазона (LDR), также называемого стандартным динамическим диапазоном (SDR), относительно HDR или EDR.

Большая часть потребительских настольных дисплеев поддерживает яркость от 200 до 300 кд/м² или нитов. Большая часть потребительских HDTV имеет диапазон от 300 до 1000 кд/м². Поскольку доступность контента EDR растет вследствие развития как оборудования захвата (например, камер), так и дисплеев EDR (например, профессионального контрольного монитора PRM-4200 от компании Dolby), контент EDR может быть отсортирован по цвету на дисплеях EDR, которые поддерживают ряд динамических диапазонов (например, от 1000 нитов до 5000 нитов или больше). Подобным образом, контент EDR может быть отображен как на дисплеях SDR, так и на дисплеях EDR с динамическим диапазоном, отличным от дисплея, используемого для сортировки по цвету исходного контента. Как оценено в настоящей заявке авторами изобретения, улучшенные методы управления отображением изображений EDR на дисплеях HDR являются необходимыми как для обратной совместимости, так и превосходного эффекта погружения.

Подходы, описанные в данном разделе, являются подходами, которые могут быть осуществлены, но они необязательно являются подходами, которые были представлены или осуществлены ранее. Таким образом, если не указано обратное, не следует предполагать, что любой из подходов, описанных в данном разделе, расценивается как известный уровень техники, только лишь вследствие их включения в данный раздел. Подобным образом, ограничения, определенные относительно одного или нескольких подходов, не стоит воспринимать, как признанные в уровне техники на основе данного раздела, если не указано обратное.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

Вариант осуществления настоящего изобретения проиллюстрирован в качестве примера, а не в качестве ограничения, на фигурах прилагаемых графических материалов, на которых одинаковые номера позиций относятся к подобным элементам и на которых:

На фиг. 1A - фиг. 1C показаны приведенные в качестве примера способы управления отображением изображений EDR в соответствии с вариантами осуществления настоящего изобретения;

На фиг. 2 показан приведенный в качестве примера способ преобразования входных данных EDR из входного цветового пространства RGB в пространство IPT-PQ в соответствии с вариантом осуществления настоящего изобретения;

На фиг. 3 показан пример отображения нелинейного динамического диапазона изображений EDR в соответствии с вариантом осуществления настоящего изобретения;

На фиг. 4 показан приведенный в качестве примера способ регулировки насыщенности цветовых компонентов P и T в тонально отображенном изображении IPT-PQ в соответствии с вариантом осуществления настоящего изобретения;

На фиг. 5 показаны приведенные в качестве примера функции отображения для повторного отображения цветности в соответствии с возможными вариантами осуществления настоящего изобретения; и

На фиг. 6 показана приведенная в качестве примера реализация многомасштабного сохранения детализации в соответствии с вариантом осуществления настоящего изобретения.

ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В данном документе описано эффективное управление отображением (например, отображением тона и гаммы) изображений с увеличенным динамическим диапазоном (EDR). В следующем описании в целях объяснения приведено множество специфических подробностей для обеспечения полного понимания настоящего изобретения. Однако следует понимать, что настоящее изобретение может быть осуществлено без этих специфических подробностей. В других примерах хорошо известные структуры и устройства не описаны в исчерпывающих подробностях, во избежание ненужного перенасыщения, искажения смысла или запутывания содержания настоящего изобретения.

Общее представление

В данном документе приведенные в качестве примера варианты осуществления относятся к эффективному управлению отображением изображений EDR. Процессор управления отображением принимает входное изображение с увеличенным динамическим диапазоном для отображения на целевом дисплее, который имеет отличный от исходного дисплея динамический диапазон. Входное изображение сперва преобразовывается из входного цветового пространства (например, RGB) в перцепционно-скорректированное цветовое пространство IPT (IPT-PQ). Нелинейная функция отображения генерирует первый тонально отображенный сигнал посредством отображения интенсивности входного сигнала из исходного динамического диапазона в целевой динамический диапазон. Компонент интенсивности (I) первого тонально отображенного сигнала усиливается для сохранения детализации с использованием нерезкого маскирования и насыщенность цветовых (P и T) компонентов соответственно регулируется для генерирования второго тонально отображенного выходного изображения. Функция отображения цветовой гаммы может быть применена ко второму тонально отображенному выходному изображению для генерирования изображения, подходящего для отображения на целевом дисплее. Канал управления отображением может быть также выполнен с возможностью регулировки компонентов интенсивности и цветовых компонентов отображаемого изображения в соответствии с конкретно определенными режимами отображения.

В случаях, когда входное изображение принимается в цветовом формате, в котором компоненты цветности находятся в более низком пространственном разрешении, чем разрешение яркости, тогда в приведенных в качестве примера вариантах осуществления способ управления отображением может быть разделен на два пути, которые могут быть выполнены параллельно. Один путь применяется ко всем цветовым компонентам, но при более низком разрешении компонентов цветности входного изображения, тогда как второй путь применяется только к относящимся к яркости данным, но при исходном (полном) разрешении компонента яркости.

Приведенный в качестве примера канал обработки управления отображением

На фиг. 1A показан приведенный в качестве примера способ управления отображением изображений EDR (также называемых изображениями HDR) в соответствии с вариантом осуществления настоящего изобретения. Как показано на фиг. 1A, видеопроцессор (например, телевизионная приставка, устройство воспроизведения изображений на экране или другой подходящий процессор изображений) принимает изображение (102) EDR и необязательно соответствующие метаданные (104) и (106). Изображение (102) EDR может содержать часть кадра или полный кадр последовательности изображений, такой как видеосигнал EDR. В данном документе термин «метаданные» относится к любой вспомогательной информации, которая передается в качестве части кодированного битового потока и способствует воспроизведению декодером декодированного изображения. Такие метаданные могут включать, помимо всего прочего, цветовое пространство или информацию о гамме, параметры исходного отображения и параметры вспомогательного сигнала, такие как описанные в данном документе.

Принятое изображение (102) EDR может иметь цветовой формат RGB или любое другое цветовое пространство, такое как YCbCr, XYZ и тому подобное. Принятое изображение может быть отсортировано по цвету на исходном мониторе EDR, который может иметь отличные от целевого монитора отображения динамический диапазон и характеристики цветовой гаммы. В данном документе термин «сортировка по цвету» обозначает процесс регулировки цвета изображения или видео для исправления цветовых артефактов и/или для соответствия замыслу режиссера.

Входное изображение (102) EDR может также включать метаданные (104) первоначального дисплея, относящиеся к дисплею, используемому для сортировки по цвету изображения во время производства программы. Например, такие метаданные могут включать исходную электронно-оптическую передаточную функцию (EOTF), как определено Рекомендацией ITU-R BT.1866 (03/2011). Входное изображение EDR может также включать дополнительные метаданные (106) контента и первоначального дисплея, такие как максимальная и минимальная яркость первоначального или исходного дисплея, максимальный, минимальный и средний промежуточный тон данных и интенсивность окружающего света во время сортировки по цвету. Например, метаданные для исходного монитора могут включать следующие приведенные в качестве примера параметры, используемые для производства:

Минимальная яркость первоначального монитора, Smin= 0,005 нита;

Максимальная яркость первоначального монитора, Smax = 4000 нитов;

Окружающий свет, Samb = 10 нитов;

Гамма, Sgamma = 2,4;

Цветовое пространство = DCI P3, точка белого = D65;

Метаданные для исходного монитора должны быть переданы, как правило, только один раз; однако метаданные для видеоданных могут быть переданы на покадровой основе, на посценовой основе или при любом их изменении. Если метаданные, относящиеся к первоначальному контенту, отсутствуют, тогда в некоторых вариантах осуществления такие данные могут быть извлечены посредством анализа первоначального видеоконтента.

Цветовое пространство IPT-PQ

В предпочтительном варианте осуществления канал обработки выполнен в так называемом цветовом пространстве IPT-PQ; однако подобные этапы обработки могут быть выполнены в других цветовых пространствах, таких как RGB, YCbCr, XYZ, CIE-Lab и тому подобное. IPT, как описано в документе «Development and testing of a color space (ipt) with improved hue uniformity», F. Ebner и M.D. Fairchild, в ходе 6^й конференции по цветному изображению: Цветоведение, системы и приложения, IS&T, Скоттсдейл, Аризона, ноябрь 1998 г., страницы 8-13 (именуемые как «Ebner paper»), который полностью включен посредством ссылки в данный документ, является моделью цветовой разницы между колбочками в человеческой визуальной системе. В этом смысле она похожа на цветовые пространства YCbCr или CIE-Lab; однако в некоторых научных исследованиях она показала лучшую мимическую человеческую визуальную обработку, чем данные пространства. Как и CIE-Lab, IPT является нормированным пространством для некоторой исходной яркости. В варианте осуществления нормирование основано на максимальной яркости целевого дисплея.

В данном документе термин «PQ» относится к перцепционному преобразованию. Человеческая визуальная система реагирует на увеличение уровней света очень нелинейным образом. Способность человека видеть стимул зависит от яркости этого стимула, размера стимула, пространственной частоты (частот), формирующей стимул, и уровня яркости, к которому адаптировались глаза в конкретный момент просмотра стимула. В предпочтительном варианте осуществления функция перцепционного преобразователя отображает линейные входные серые уровни на выходные серые уровни, которые лучше соответствуют пороговым значениям контрастной чувствительности в человеческой визуальной системе. Примеры функций отображения PQ описаны в заявке PCT № PCT/US2012/068212 (именуемой заявка ‘212) под названием «Perceptual luminance nonlinearity-based image data exchange across different display capabilities», J. S. Miller и др., поданной 6 декабря 2012 г. (которая в данный момент является патентом США № 9077994) и полностью включены в данный документ посредством ссылки, в которых предоставлен фиксированный размер стимула для каждого уровня яркости (т.е. уровень стимула), этап минимального видимого контраста при данном уровне яркости выбирается в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (в соответствии с моделями HVS). По сравнению с традиционной кривой гамма-распределения, которая представляет характеристическую кривую физического устройства электроннолучевой трубки (CRT) и в то же время может иметь очень грубое сходство со способом реагирования человеческой визуальной системы, кривая PQ, как определено в заявке ‘212, имитирует настоящую визуальную реакцию человеческой визуальной системы с использованием относительно простой функциональной модели.

В Таблице 1 описано вычисление EOTF перцепционной кривой для преобразования кодовых значений цифрового видео в абсолютные линейные уровни яркости в точке дисплея. Также включено обратное вычисление OETF для преобразования абсолютной линейной яркости в цифровые кодовые значения.

Таблица 1

Представленные в качестве примера формулировки уравнений:

D = цифровое кодовое значение перцепционной кривой, целое число без знака SDI-legal, 10 или 12 бит;

b = количество бит на компонент в представлении цифрового сигнала, 10 или 12;

V = нормированное значение сигнала перцепционной кривой;

Y = нормированное значение яркости;

L = абсолютное значение яркости, 0,000 кд/м².

Приведенные в качестве примера декодированные уравнения EOTF:

(t1)

Приведенные в качестве примера кодированные уравнения EOTF:

(t2)

(t3)

Приведенные в качестве примера постоянные:

Примечания

1. Оператор INT возвращает значение 0 для дробных частей в диапазоне от 0 до 0,4999… и +1 для дробных частей в диапазоне от 0,5 до 0,9999…, т.е. он округляет дроби выше 0,5.

2. Все постоянные определяются в качестве точных чисел, кратных 12-битным рациональным числам, для предотвращения проблем с округлением.

3. Компоненты R, G или B сигнала должны быть вычислены таким же образом, как и компонент сигнала Y, описанный выше.

На фиг. 2 более подробно показан приведенный в качестве примера способ этапа (110) цветового преобразования в соответствии с вариантом осуществления. Как показано на фиг. 2, заданный входной сигнал (102) EDR, который находится в первом цветовом пространстве (например, RGB), на этапе (110) преобразования цветового пространства превращается в сигнал (112) в перцепционно-скорректированном цветовом пространстве IPT (IPT-PQ). Данное цветовое преобразование может включать следующие этапы:

a) (Этап 210) Нормирование пиксельных значений входного сигнала (102) (например, от 0 до 4095) в пиксельные значения с динамическим диапазоном от 0 до 1.

b) (Этап 215) Использование EOTF (как предоставлено посредством метаданных (104)) для возврата или отмены преобразования первоначальным дисплеем из кодовых значений в яркость. Например, если входной сигнал является кодированным сигналом гаммы, тогда данный этап применяет обратную гамма-функцию. Если входной сигнал является кодированным сигналом PQ в соответствии с заявкой “212 PCT, тогда данный этап применяет обратную функцию PQ. На практике этап (210) нормирования и обратное нелинейное кодирование (215) могут быть выполнены с использованием предварительно вычисленных справочных таблиц (LUT) 1-D.

c) (Этап 220) Преобразование выходного сигнала на этапе b) в цветовое пространство LMS.

d) (Этап 225) В соответствии с «Ebner paper» традиционное преобразование цветового пространства из LMS в IPT включает применение первой нелинейной функции мощности к данным LMS, а затем применение линейной матрицы преобразования. Несмотря на возможность преобразования данных из LMS в IPT, а затем применения функции PQ, находящейся в домене IPT-PQ, в предпочтительном варианте осуществления на этапе (225) традиционная функция мощности для нелинейного кодирования из LMS в IPT заменяется нелинейным кодированием PQ. Например, нелинейные значения L, M и S вычисляются таким же образом, как и сигнал V в уравнении (t2), в котором сигнал Y заменяется линейными значениями (222) компонента L, M или S. В некоторых вариантах осуществления может быть использована нормированная версия кодирования PQ, при этом этап уравнения (t3) может быть опущен и диапазон выходных значений PQ составляет от 0 до 1.

e) (Этап 230) Использование стандартного линейного преобразования из LMS в IPT, этап 230 завершает преобразование сигнала 222 в цветовое пространство IPT.

f) (Этап 235) В некоторых вариантах осуществления компонент I выходного сигнала IPT-PQ 232 может быть также отрегулирован для учета эффекта Гельмгольца-Кольрауша, посредством чего насыщенные цвета кажутся ярче, чем белый цвет с таким же значением яркости. С учетом пикселя в пространстве IPT, представленном значениями I_i, P_i и T_i, пусть CH_i = , тогда в варианте осуществления выходной сигнал I’ этапа 235 может быть выражен следующим образом:

(1)

Диапазон выходного сигнала IPT-PQ (112) составляет от 0 до 1 для компонента I (в соответствии с динамическим диапазоном от 0 до 10000 нитов) от -1 до 1 для компонентов P и T.

В некоторых вариантах осуществления канал (например, 110) полного цветового преобразования может быть вычислен с использованием 3D LUT.

ТОНАЛЬНОЕ ОТОБРАЖЕНИЕ

После этапа (110) цветового преобразования интенсивность (I) сигнала (112) должна быть отображена для соответствия ограничениям целевого дисплея. На фиг. 3 показан пример нелинейной функции (320) отображения, вычисленной в соответствии с вариантом осуществления (например, на этапе 115). Целевой дисплей может являться дисплеем EDR или дисплеем SDR. Если целевой дисплей имеет такие же характеристики, как и исходный (или первоначальный) дисплей производства, используемый для обработки (например, сортировки по цвету) входного сигнала (102), тогда преобразование не является необходимым. Такое линейное отображение один к одному показано на фиг. 3 посредством линейного отображения (310); однако, если целевой дисплей имеет динамический диапазон, который ниже или выше, чем динамический диапазон исходного дисплея производства, тогда этап (115) обработки будет отображать динамический диапазон входного сигнала до динамического диапазона целевого дисплея.

На фиг. 3 пусть границы (305-1) и (305-2) представляют минимальный и максимальный уровни яркости входного сигнала (входного сигнала EDR). Также, пусть (307-1) и (307-2) представляют минимальный и максимальный уровни яркости целевого дисплея.

Предполагая входной сигнал отображения динамического диапазона исходного дисплея, представленного функцией (320), выход нелинейного отображения (например, 320) лучше соответствует ограничениям (например, 307-1 и 307-2) динамического диапазона целевого дисплея. Пример преобразования нелинейного отображения описан A. Ballestad и др. в заявке PCT № PCT/US2012/029189, поданной 15 марта 2012 г., под названием «Method and apparatus for image data transformation» (которая в данный момент является патентом США № 8593480), которая полностью включена в данную заявку посредством ссылки.

В соответствии с заявкой PCT ‘189 Ballestad приведенная в качестве примера передаточная функция для нелинейного отображения (115) может быть обозначена следующим образом:

(2)

где C₁, C₂ и C₃ являются постоянными, Y_in является входным значением для цветового канала (например, канала I ), Y_out является выходным значением для цветового канала, и n и m являются параметрами. Данная передаточная функция является примером параметризованной сигмоидальной функции тоновой кривой. Параметры C₁, C₂ и C₃ определены на основе определения трех опорных точек (например, 325-1, 325-2 и 325-3), которые в свою очередь определяются на основе характеристик яркости исходного (или первоначального) дисплея, которые, как правило, извлекаются из входных метаданных (106), и характеристик яркости целевого дисплея, которые, как правило, уже известны процессору, выполняющему способ управления отображением.

В приведенном в качестве примера варианте осуществления этап (120) может вычислить параметры тоновой кривой уравнения (2) следующим образом:

a) Вычисление соотношения первоначального к целевому, S2Tratio.

Пусть Tmin и Tmax обозначают минимальную и максимальную яркость целевого дисплея, представленного посредством кодирования PQ. Также, пусть Smin и Smax обозначают минимальную и максимальную яркость первоначального дисплея, также с кодированием PQ, тогда в варианте осуществления S2Tratio может быть определено следующим образом:

(3)

Без потери общности в некоторых вариантах осуществления значение S2Tratio может быть также ограничено, чтобы никогда не превышать единицу; то есть декодер может предполагать, что исходный дисплей всегда по меньшей мере такой же яркий, как и целевой дисплей. Следует отметить, что, если S2Tratio = 1, то этап (115) может быть пропущен.

Без потери общности пусть входная последовательность характеризуется тремя переменными, которые в приведенном в качестве примера варианте осуществления обозначаются переменными Crush, Clip и Mid, которые обозначают соответственно самый низкий уровень черного, самый высокий уровень белого и средний уровень серого входной последовательности. Их значения могут быть вычислены для каждого кадра, части кадра или последовательности кадров в сцене. Значения этих параметров могут быть либо вычислены на основе входного видеопотока, либо они могут являться частью входных метаданных (106). В варианте осуществления эти параметры вычисляются на посценовой основе. В данном документе термины «сцена» или «снимок» обозначают ряд последовательно захваченных кадров, которые могут разделять одинаковые общие характеристики яркости. Записи сцен могут быть определены вручную или они также могут являться частью входных метаданных. Например, ряд записей может определить количество кадров записей сцен. В качестве альтернативы параметр в каждом кадре может определить, представляет ли кадр начало записи сцены.

С учетом этих значений и значения S2Tratio в варианте осуществления могут быть вычислены следующие промежуточные параметры регулировки тоновой кривой:

Slope = обозначает контраст промежуточных тонов. Он регулируется в соответствии со значением S2Tratio для сохранения видимости контраста. Он может быть представлен в качестве наклона касательной к кривой (320) отображения рядом с центральной опорной точкой (352-2).

Key = является показателем «темной» или «светлой» сцены. Сцены с низкой тональностью (темные) могут быть отображены немного ярче и сцены с высокой тональностью (светлые) могут быть отображены немного темнее для сохранения темной и светлой детализации соответственно.

Shift = обозначает величину, на которую затемняется изображение.

Rolloff, как правило, является постоянной (например, 1/3) и представляет крутизну перехода между промежуточными тонами и яркими участками/тенями. Более низкое значение указывает на более резкий переход и будет иметь визуальный эффект «мягкого кадрирования».

Пусть и , тогда в варианте осуществления с использованием системы обозначений MATLAB параметры тоновой кривой нелинейного отображения уравнения (2) могут быть вычислены, как показано в Таблице 2.

Таблица 2

x1 = Crush.^(Slope/Rolloff);

x2 = Mid.^(Slope/Rolloff);

x3 = Clip.^(Slope/Rolloff);

y1 = Min.^(1/Rolloff);

y2 = (Mid - Shift).^(1/Rolloff);

y3 = Max.^(1/Rolloff);

temp = x3*y3*(x1-x2)+x2*y2*(x3-x1)+x1*y1*(x2-x3);

c1 = (x2*x3*(y2-y3)*y1-x1*x3*(y1-y3)*y2+x1*x2*(y1-y2)*y3)/temp;

c2 = (-(x2*y2-x3*y3)*y1+(x1*y1-x3*y3)*y2-(x1*y1-x2*y2)*y3)/temp;

c3 = ((x3-x2)*y1-(x3-x1)*y2+(x2-x1)*y3)/temp;

С учетом вышеуказанных параметров C₁, C₂ и C₃ в варианте осуществления выходной сигнал (117) (I_m) этапа (115) отображения интенсивности может быть вычислен следующим образом:

(4)

где I_o обозначает компонент I сигнала (112) EDR IPT-PQ.

Многомасштабное сохранение детализации компонента I

Оператор тонового отображения уравнения (4), как правило, относится к глобальному оператору тонального отображения, поскольку подобное уравнение применяется ко всему кадру. В варианте осуществления глобальное тональное отображение может сопровождаться оператором (125) многомасштабного тонального отображения, который улучшает локальный контраст. Пример такого локального оператора тонального отображения описан Ballestad в заявке PCT ‘189. В качестве альтернативы в еще одном варианте осуществления выходной сигнал (117) этапа (115) отображения интенсивности может сопровождаться методом нерезкого маскирования, таким как описан в документе «Retaining local image information in gamut mapping algorithms» P. Zolliker и K. Simon, записи IEEE относительно обработки изображения, том 16, № 3, март 2007 г., страницы 664-672, включенном в данную заявку посредством ссылки.

Пусть I_o обозначает интенсивность входного сигнала (112), и пусть I_m обозначает интенсивность выходного сигнала (117) с тональным отображением, тогда в соответствии с вариантом осуществления интенсивность выходного сигнала I_S (127) этапа (125) многомасштабного сохранения детализации может быть выражена следующим образом:

, (5)

где F (I, H) обозначает применение к изображению I раздельного фильтра с ядром H. В варианте осуществления H содержит фильтр Гаусса 11x11 с σ=2; однако альтернативные фильтры могут быть также применены. В некоторых вариантах осуществления в зависимости от характеристик входного сигнала данный этап может быть также пропущен.

В некоторых вариантах осуществления процесс сохранения детализации уравнения (5) может быть также улучшен посредством применения дополнительного фильтра обнаружения краев для снижения сияния вокруг высококонтрастных краев, включая леттербоксинг и субтитры. В варианте осуществления пусть

(6)

и

(7)

обозначают соответственно выходные сигналы фильтра (LPF) низких частот с ядром H_B и фильтра обнаружения краев с ядром H_E. Тогда с учетом выходного сигнала I_E, который может находиться в диапазоне [0,1], этап (125) многомасштабного сохранения детализации может быть выражен следующим образом:

(8)

По сравнению с уравнением (5), каждый раз, когда обнаруживается насыщенный край, I_S становится ближе к исходному тонально отображаемому сигналу, чем сигналу фильтра низких частот.

В некоторых вариантах осуществления дополнительные значения могут быть также применены, а именно:

(9)

где w₁ и w₂ являются зависящими от реализации значениями. В еще одном варианте осуществления с учетом a и порогового значения обнаружения краев T_e, выходной сигнал этапа (125) многомасштабного сохранения может быть выражен следующим образом:

(10)

Например, в соответствии с уравнением (10) для a=1, если край не обнаружен, выходной сигнал I_S определяется в соответствии с уравнением (5); однако, если обнаружен сильный край, тогда I_S = I_m.

В варианте осуществления фильтр LPF является фильтром Гаусса и фильтр обнаружения краев может являться раздельным фильтром с коэффициентами, полученными посредством взятия первой производной фильтра LPF. Однако может быть применен любой фильтр обнаружения краев. Посредством применения раздельных фильтров низких частот и обнаружения краев в варианте осуществления операции фильтрации низких частот, обнаружение краев в горизонтальном направлении и обнаружение краев в вертикальном направлении могут быть применены параллельно, чтобы воспользоваться преимуществом параллельных архитектур (а именно FPGA или заказная интегральная схема), которые могут включать отдельные схемы для каждого из этих фильтров. Такой пример реализации показан на фиг. 6, при этом:

Входной сигнал D0’ соответствует ;

Входной сигнал D0’’ соответствует I_m;

Входной сигнал D0’’’ соответствует I_S;

Фильтр 0 соответствует фильтру (LPF) низких частот;

«Фильтр1» и «Фильтр2» соответствуют фильтрам горизонтального и вертикального обнаружения краев;

ABS() обозначает функцию абсолютного значения; и

MS_weight и MS_edge_weight являются регулируемыми параметрами в диапазоне [0, 1], (например, MS_weight = 0,0 и MS_edge_weight =1,0).

Для заданной битовой глубины N пусть max_value обозначает максимальное значение 2^N-1. Пусть dx и dy обозначают выходные сигналы фильтров «фильтр1» и «фильтр2» обнаружения краев, тогда в варианте осуществления значение alpha может быть вычислено следующим образом:

dx = dx ÷ max_value
dy = dy ÷ max_value
alpha = MAX( 0, MIN( 1, ( ABS( dx ) + ABS( dy ) ) * ms_edge_weight + ( ms_ weight ) ) )

Тогда выходной сигнал может быть вычислен следующим образом:

d0[ x, y ] = D0’[ x, y ] - d[x,y] * alpha - v[ x, y] *( 1.0 – alpha )

D0”’[ x, y ] = CLIP3( 0, max_value, d0 ),

где d[x,y] обозначает изображение разницы , v[ x, y] обозначает выходной сигнал LPF (например, , и функция CLIP3(a, b, x) обозначает, что значение x ограничено нижним значением a и верхним значением b.

Регулировка насыщенности

[00051] В сигнале IPT, P и T являются лишь относительными интенсивностями цветовых различий по сравнению с интенсивностью I. Поскольку этапы (115) и (125) модифицировали I цветовой компонент, то цветовые компоненты P и T должны быть отрегулированы для сохранения оттенка и насыщенности. Пример такого процесса (130) показан на фиг. 4.

[0001] Как показано на фиг. 4, параметры для повышения красочности и насыщенности могут быть вычислены на основе исходного входного сигнала в пространстве IPT-PQ (112) и тонально отображенного выходного сигнала (127). Данные параметры вычисляются на попиксельном уровне и одинаковый преобразователь масштаба (S) применяется для обоих цветовых компонентов P и T. В приведенном в качестве примера варианте осуществления пусть повышение красочности будет определено с использованием линейных функций отображения.

CEDR = k₁ I_o + k_2, (11)

CMapped = k₁ I_S + k_2,

где k₁ и k₂ являются постоянными на основе психофизических данных. Например, в варианте осуществления k₁ = 0,5 и k₂ = 1,0. В уравнении (6) CEDR (412) обозначает выходной сигнал этапа (410-1) и CMapped (414) обозначает выходной сигнал этапа (410-2). Тогда преобразователь масштаба (422) регулировки насыщенности может быть определен следующим образом:

(12)

С учетом S, и исходных цветовых компонентов P_o и T_o сигнала (112), донасыщенные компоненты P_S и T_S тонально отображенного выходного сигнала (132) могут быть вычислены следующим образом:

, и (13)

.

В некоторых вариантах осуществления преимущественным может являться определение повышения красочности CMapped на основе исходного тонально отображенного сигнала (117) (I_m) нежели усиленного сигнала (127) (I_S), тогда CMapped = k₁ I_m + k₂ и

. (14)

В альтернативном варианте осуществления этап регулировки насыщенности может являться частью этапа (110) цветового преобразования. В приведенном в качестве примера варианте осуществления после поправки на эффект (235) Гельмгольца-Кольрауша, показанный в уравнении (1), может применяться следующая шкала цветности:

+0,5, (15)

, (16)

. (17)

3D LUT устройства отображения цветовой гаммы

Этапы обработки тонального отображения и повышения насыщенности могут привести к цветам вне гаммы целевого дисплея. 3D справочная таблица (LUT) (140) цветовой гаммы может быть вычислена и применена к видеосигналу (132) для регулировки цветовой гаммы. В качестве части коррекции (135) цветовой гаммы сигнал может быть также преобразован обратно в еще одно цветовое пространство (например, RGB) и его гамма может быть скорректирована для генерирования конечного сигнала (145) EDR как для отображения на целевом дисплее, так и/или для другой последующей обработки.

Регулировки яркости и цвета

В определенных вариантах осуществления необходимой может являться регулировка (например, повышение) значений яркости или цветности входного сигнала вне этих значений, предусмотренных для представления первоначального замысла режиссера. Например, многие потребительские телевизоры включают такие режимы картинки, как «яркий», «спорт» или «кино» с установленными наборами параметров отображения, которые улучшают впечатление пользователя для конкретного контента. В варианте осуществления параметры повышения яркости могут быть установлены в зависимости от промежуточных параметров регулировки тоновой кривой, например, параметров Slope, Shift, Min, и Shift, обсужденных ранее.

Пусть Slope_Pref = Shift_Pref = Min_Pref = Max_Pref = 1 обозначает параметры повышения яркости по умолчанию, если повышение яркости не является необходимым. Если повышение или изменение сигнала является необходимым, тогда эти четыре параметра могут быть отрегулированы. Например, помимо всего прочего, в варианте осуществления эти значения могут быть установлены следующим образом:

Slope_Pref = 0,8,

Shift_Pref = 0,005,

Min_Pref = 0,0001,

Max_Pref = 1,0.

Тогда соответствующие параметры Slope, Shift, Min и Shift, используемые для вычисления параметров (120) тоновой кривой уравнения (4) регулируются следующим образом:

Slope = Slope*Slope_Pref,

Shift = Shift *Shift_Pref,

Min = Min*Min_Pref, и

Max = Max / Max_Pref

Применение этих регулировок к Min, Max, Slope и Shift меняет исходный диапазон отображения. Следовательно, для возвращения диапазона отображения обратно к исходному (например, мин/макс EDR и мин/макс отображение, как определено из метаданных (106) отображения и контента) выполняется следующее уравнение после вычисления I_m в уравнении (4).

. (18)

Цветность также может быть отрегулирована. С учетом выходных сигналов P_S и T_S из уравнения (8) (например, сигнала (132)), цветовые компоненты (P_S, T_S) могут быть преобразованы в значения (цветности, оттенка) с использованием стандартных Евклидово-полярных преобразований. Затем возможно отрегулировать значения цветности (C_in) (насыщенности, красочности) посредством применения либо линейных, либо нелинейных функций отображения. Примеры таких функций отображения показаны на фиг. 5.

[0001] Помимо всего прочего, на фиг. 5 показано три приведенных в качестве примера варианта осуществления для функции отображения цветности. Пусть C_out = f(C_in ) обозначает функцию ввода/вывода регулировки цветности. В первом варианте осуществления (505),

,

следовательно, регулировка цветности не выполняется. Во втором варианте осуществления (510),

,

где γ является постоянной. Наконец, в третьем варианте осуществления (515) цветность может быть выражена в качестве выходного сигнала нелинейной функции, описанной посредством сплайновых или сигмоидальных соотношений ввода/вывода.

В некоторых вариантах осуществления функция отображения цветности может быть модулирована в зависимости от оттенка. В таких вариантах осуществления определенные области хроматичности (например, небо, трава или цвета кожи) могут быть обработаны иначе, чем остальные. В определенных вариантах осуществления функция отображения цветности может быть также модулирована в зависимости от интенсивности (I). В некоторых вариантах осуществления значения цветности могут быть также снижены для создания ненасыщенного изображения для специального эффекта (например, сепии или ощущения старого фильма).

После регулировок цветности преобразованные значения (цветности, оттенка) преобразовываются обратно в значения (P, T) с использованием стандартных полярно-Евклидовых преобразований и продолжается оставшийся процесс управления отображением. В некоторых вариантах осуществления регулировки яркости и цветности могут быть предварительно вычислены и в качестве альтернативы объединены с другими 3D LUT канала управления отображением.

Регулировка параметров яркости и цветности сильно зависит от возможностей и характеристик отображения целевого дисплея. В некоторых вариантах осуществления производитель и модель целевого TV могут быть доступны для телевизионной приставки или процессора дисплейного менеджера (DM) через вспомогательную информацию, такую как EDID (расширенные идентификационные данные дисплея) TV. Данная информация может быть использована для поиска возможностей дисплея с использованием локальной или удаленной базы данных (например, через сеть Интернет или другое восходящее соединение) и, таким образом, предоставления предварительно вычисленных и оптимизированных параметров повышения для целевого дисплея. В качестве альтернативы, если конкретная информация недоступна, телевизионная приставка может предоставить пользователю выбор альтернативных режимов отображения и позволить пользователю выбрать наиболее предпочтительный режим.

В некоторых вариантах осуществления, если оптимизированные 3D LUT недоступны для управления отображением EDR для целевого дисплея, телевизионная приставка (STB) может применить способы, описанные в данной заявке, для вычисления новых LUT на основе набора параметрических функций, которые могут быть предварительно сохранены в STB, и параметров целевого дисплея. Во время подключения нового TV пользователь может подождать несколько секунд прежде чем осуществится вычисление новых LUT; однако результаты могут быть сохранены в памяти устройства для повторного использования в дальнейшем.

Тональное отображение для сигналов с субдискретизированным цветом

В вариантах осуществления сигнал (102) EDR может быть принят в субдискретизированном формате цветности (например, YCbCr 4:2:0). Кроме того, может быть также необходимо преобразовать выходной сигнал (145) EDR RGB в специальный для дисплея формат, отличный от RGB 4:4:4 (например, YCbCr 4:2:0). Несмотря на то, что способ управления отображением 100A (фиг. 1A) может быть легко модифицирован для соответствия цветовому преобразования предварительной обработки или последующей обработки, цветовой повышающей дискретизации или понижающей дискретизации относительно входных сигналов и выходных сигналов с полным разрешением (например, относительно сигнала (102) перед этапом (110) преобразования из RGB в IPT-PQ или относительно сигнала (145) RGB), выполнение некоторых операций управления отображением сигналов с уменьшенным разрешением может являться более вычислительно эффективным. Примеры таких вариантов осуществления обсуждены далее.

На фиг. 1B показан приведенный в качестве примера способ (100B) управления отображением изображений EDR в соответствии с альтернативным вариантом осуществления настоящего изобретения. Помимо всего прочего, в примере пусть принятый сигнал (102) EDR будет сигналом YCbCr 4:2:0 и пусть необходимый выходной сигнал (160) будет гамма кодированным сигналом EDR YCbCr 4:2:0. Подобная обработка может быть также применена к другим цветовым форматам с субдискретизированной цветностью, такой как YCbCr 4:2:2 и тому подобное.

Как показано под номером 100B, обработка входного сигнала (102) может быть разделена на два отдельных пути; обработка компонента (102Y) Y при полном (яркость) разрешении и обработка сигнала (107) RGB при разрешении цветности (например, при 1/4 разрешения для сигналов 4:2:0). Преобразователь (105) цветов осуществляет понижающую дискретизацию входного сигнала Y, а затем преобразовывает Y с пониженной дискретизацией и исходные входные компоненты CbCr в сигнал (107) RGB (4:4:4) с пространственным разрешением, равным исходному разрешению цветности. Преобразователь (110B) цветов превращает сигнал с полным разрешением (102Y) в перцепционно-квантовый(PQ) сигнал (112B). Как обсуждалось ранее, на этапе (100) обработки из RGB в IPT-PQ (см. фиг. 2) входной компонент Y сигнала (102) может также являться гамма-линейным и нормированным (например, в диапазоне (0, 1)) перед применением функции PQ к компоненту Y.

С учетом новых сигналов (107) и (112B), обработка сигнала (107) продолжается так же, как и на этапе (100A), за исключением того, что этап (125) многомасштабного сохранения детализации в данном случае применяется после этапа (130) регулировки и насыщенности. Поскольку сигнал (132) в данном случае имеет 1/4 разрешения исходного сигнала (102), дополнительный этап (150) повышения дискретизации осуществляет повышение дискретизации выходного сигнала устройства отображения (135) гаммы в сигнал (152) полного разрешения, который используется в качестве тонально отображенного входного сигнала (I_m) этапа (125) многомасштабного сохранения детализации. Сигнал (112B) используется в качестве исходного сигнала I_o (см. уравнения (5)-(10)). Следует отметить, что процесс (135) отображения гаммы может генерировать непосредственно сигнал в цветовом пространстве (Y-PQ)CbCr (4:4:4). Выходной сигнал EDR (160) имеет формат YCbCr (4:2:0) и содержит два сигнала: компонент (137-CbCr) цветности, вычисленный посредством устройства отображения (135) гаммы, плюс сигнал (157) яркости. Сигнал (157) яркости может быть сгенерирован посредством корректировки (155) гаммы выходного сигнала способа (127) многомасштабного сохранения детализации. Декодирование PQ и кодирование (155) гаммы могут использовать параметры (152) EOTF (например, гамма, мин и макс) целевого дисплея (не показанного).

На фиг. 1C показан альтернативный вариант осуществления, который параллелизует многомасштабные операции и операции понижения дискретизации яркости для дополнительного улучшения эффективности канала пикселя и снижения требований к памяти. В данном примере канал полного разрешения (Y) работает в полном разрешении, но требует меньшего количества операций на пиксель. И напротив, канал RGB 4:4:4 имеет большее количество операций на пиксель, но работает в 1/4 от исходной разрешающей способности яркости. Фиг. 1C в большей степени соответствует параллельным аппаратурным реализациям.

По сравнению со способом (100B), способ (100C) добавляет дополнительный этап (115B) отображения интенсивности к выходному сигналу (I_o 112B) преобразователя (110B) цветов; однако это устраняет необходимость в способе (150) повышения дискретизации в способе (100B). Этап (115B) отображения интенсивности может использовать параметры тоновой кривой, вычисленные на этапе 120. В некоторых вариантах осуществления (не показанных) входным сигналом отображения (115B) интенсивности может являться сигнал (102Y) вместо сигнала (112B).

Приведенная в качестве примера реализация компьютерной системы

Варианты осуществления настоящего изобретения могут быть реализованы посредством компьютерной системы, систем, включенных в конфигурацию электронной схемы и компонентов, устройства интегральной схемы (IC), такого как микроконтроллер, программируемая пользователем вентильная матрица (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), процессора (DSP) обработки цифровых сигналов или дискретного времени, IC (ASIC) специального применения и/или устройства, которое содержит одну или несколько таких систем, приборов или компонентов. Компьютер и/или IC может выполнять, управлять или исполнять команды, относящиеся к управлению отображением и отображению изображений с увеличенным динамическим диапазоном, таких как описаны в данном документе. Компьютер и/или IC может вычислять любые различные параметры или значения, которые относятся к способам управления отображением, описанным в данном документе. Варианты осуществления изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении и различных их комбинациях.

Определенные реализации изобретения включают компьютерные процессоры, которые исполняют команды программного обеспечения, вызывающие выполнение процессорами способа изобретения. Например, один или несколько процессоров в дисплее, кодирующем устройстве, телевизионной приставке, транскодере или тому подобном могут реализовать способы, относящиеся к управлению отображением изображений EDR, как описано выше, посредством исполнения команд программного обеспечения в программной памяти, доступной для процессоров. Изобретение также может быть представлено в форме программного продукта. Программный продукт может содержать любой энергонезависимый носитель, который содержит набор машиночитаемых сигналов, содержащих команды, которые при исполнении процессором данных вызывают исполнение процессором данных способа изобретения. Программные продукты в соответствии с изобретением могут иметь любую форму из широкого разнообразия форм. Программный продукт может содержать, например, физические носители, такие как магнитные носители данных, включая гибкие диски, жесткие диски, оптические носители данных, включая диски CD-ROM и DVD, электронные носители данных, включая ROM, флеш-память с произвольным доступом, или тому подобное. Машиночитаемые сигналы программного продукта необязательно могут быть сжатыми или зашифрованными.

Если компонент (например, программный модуль, процессор, сборка, устройство, схема и т.д.) относится к вышеизложенному, если не указано иное, ссылка на данный компонент (включая ссылку на «средства») должна интерпретироваться в качестве включающей эквиваленты любого компонента данного компонента, который выполняет функцию описанного компонента (например, который является функционально эквивалентным), включая компоненты, которые не являются структурно эквивалентными относительно описанной структуры, которая выполняет функцию в проиллюстрированных приведенных в качестве примера вариантах осуществления изобретения.

Эквиваленты, расширения, альтернативы и прочее

Таким образом, описаны приведенные в качестве примера варианты осуществления, которые относятся к эффективному управлению отображением изображений EDR. В вышеизложенном описании варианты осуществления настоящего изобретения были описаны со ссылкой на многочисленные конкретные подробности, которые могут отличаться от реализации к реализации. Таким образом, исключительным и эксклюзивным указанием того, чем является изобретение, и того, чем считают изобретение заявители, является набор пунктов формулы изобретения, который вытекает из данной заявки, в той особой форме, в которой выражены данные пункты формулы изобретения, включая любые последующие исправления. Любые определения, изложенные в данном документе в прямой форме для терминов, содержащихся в данных пунктах формулы изобретения, должны обуславливать значение, в котором данные термины используются в пунктах формулы изобретения. Таким образом, никакие ограничения, элементы, свойства, особенности, преимущества или признаки, которые не перечислены специально в пункте формулы изобретения, не должны ограничивать объем данного пункта формулы изобретения каким-либо образом. Соответственно, описание и графические материалы, следует рассматривать в иллюстративном, а не в ограничивающем смысле.