Результат интеллектуальной деятельности: ТОНАЛЬНОЕ ОТОБРАЖЕНИЕ ЦВЕТОВ ВИДЕОКОНТЕНТА

Область техники, к которой относится изобретение

Изобретение относится к отображению тонов или цветов изображений. Тональное отображение понимается как общий термин, включающий в себя тональное отображение, которое сжимает диапазон цветов, и тональное отображение, которое расширяет диапазон цветов (как правило, называемое "обратным тональным отображением").

Уровень техники

Документ EP3249606 описывает, для обработки изображения, выбор алгоритма обратного тонального отображения (iTM) в эталонной совокупности эталонных iTM-алгоритмов и применение выбранного iTM-алгоритма к цветам этого изображения, а именно, чтобы преобразовывать это изображение в HDR-формат. Согласно этому способу, создается совокупность эталонных iTM-алгоритмов. Любой эталонный iTM-алгоритм этой совокупности является iTM-алгоритмом, который оптимизируется для цветового содержимого ассоциированных эталонных изображений. Согласно этому способу, визуальный признак ассоциируется с каждым эталонным iTM-алгоритмом, на основе цветового содержимого эталонных изображения(ий), ассоциированных с этим эталонным iTM-алгоритмом. Согласно этому способу, как иллюстрировано на фиг. 1, визуальный признак VF_M изображения IM_M для обработки вычисляется, и выбор iTM-алгоритма TMf_M выполняется так, что визуальный признак, ассоциированный с этим выбранным iTM-алгоритмом, является ближайшим (среди визуальных признаков, ассоциированных с другими эталонными iTM-алгоритмами совокупности) к визуальному признаку изображения для обработки. Выбранный iTM-алгоритм TMf_M затем применяется (операция "тонального отображения") к изображению IM_M для обработки, приводя в результате к обработанному изображению TM_MIM_M. См. также статью, озаглавленную "Content Dependent Contrast Enhancement for Displays based on Cumulative Distribution Function", от Seul Ki Jang и др., опубликованную в 2013 году в Proc. of SPIE Vol. 8652.

При применении такого способа обработки изображения к изображениям видеоконтента видеоконтент должен быть разрезан на кадры, так что, в каждом кадре, цветовое наполнение является достаточно однородным, чтобы применять один и тот же выбранный iTM-алгоритм к каждому изображению кадра.

Сущность изобретения

Для того, чтобы предотвращать слишком частые изменения iTM-алгоритма внутри видеокадра, что будет вызывать временные неустойчивости и визуальный дискомфорт во время визуализации, предлагается добавлять, после выбора эталонного iTM для изображения кадра, этап подтверждения этого выбора для следующих изображений этого кадра.

Предпочтительно также предлагается применять поступательно любое изменение iTM-алгоритма, как только оно подтверждается.

Отметим, что документ US9406112 описывает изменение функции тонального отображения (TM), только когда различие между предыдущей и новой TM-функцией является достаточно большим. WO2016192937 рассматривает полную историю предыдущих TM-кривых, примененных к предыдущим кадрам для параметризации новой TM-кривой для применения к текущему кадру. В US 20170070719 система тонального отображения может использовать среднее значение для значений параметров предыдущей тоновой кривой.

Более точно, первый аспект изображения направлен на способ отображения тонов или цветов изображений видеоконтента согласно функции тонального отображения, содержащий итерацию по множеству последовательных изображений видеоконтента и, по меньшей мере, для одного изображения из множества последовательных изображений: выбор в эталонной совокупности функций тонального отображения эталонной функции тонального отображения согласно визуальному признаку, определенному из упомянутого, по меньшей мере, одного изображения; когда выбранная эталонная функция тонального отображения отличается от ранее выбранной функции тонального отображения для предыдущего изображения во множестве последовательных изображений, определение эталонной функции тонального отображения согласно этапу подтверждения; и применение определенной эталонной функции тонального отображения к упомянутому, по меньшей мере, одному изображению, приводя в результате к соответствующему изображению с отображенными тонами, при этом эталонная совокупность содержит эталонные функции тонального отображения, ассоциированные с эталонными визуальными признаками.

В вариантах первого аспекта этап подтверждения использует множество последовательных изображений и либо выбирает эталонную функцию тонального отображения, определенную для последовательных изображений, которая является наиболее частой, либо выбирает эталонную функцию тонального отображения согласно числу последовательных выборов одной и той же эталонной функции тонального отображения, либо выбирает эталонную функцию тонального отображения с увеличением возникновения по сравнению с другими эталонными функциями тонального отображения.

В дополнительном варианте первого аспекта выбор эталонной функции тонального отображения выполняется согласно критерию выбора на основе минимального расстояния между визуальным признаком изображения и эталонным визуальным признаком, ассоциированным с этой выбранной эталонной функцией тонального отображения. В дополнительном варианте первого аспекта переход между первой эталонной функцией тонального отображения и второй эталонной функцией тонального отображения выполняется поступательно по множеству изображений посредством изменения весовых коэффициентов между обеими функциями, весовой коэффициент первой функции уменьшается во время перехода, а весовой коэффициент второй функции увеличивается во время перехода. В дополнительном варианте первого аспекта, для первого изображения видеозаписи, выбранная эталонная функция тонального отображения не требует какого-либо этапа подтверждения и применяется к первому изображению видеоконтента.

Второй аспект описания направлен на устройство для отображения тонов или цветов изображений видеоконтента согласно функции тонального отображения, содержащее, по меньшей мере, один процессор, выполненный с возможностью реализации вышеописанного способа. Предпочтительно, это устройство выбирается в группе, состоящей из мобильного устройства, устройства связи, игрового устройства, планшета, портативного компьютера, камеры, микросхемы, сервера, телевизора и телевизионной приставки.

Третий аспект изобретения направлен на компьютерно-читаемый носитель информации, содержащий сохраненные на нем инструкции, которые, когда исполняются посредством процессора, выполняют вышеописанный способ.

Краткое описание чертежей

Изобретение будет более четко понято по прочтении описания, которое следует далее, приведенного в качестве неограничивающего примера и со ссылкой на прилагаемые чертежи, на которых:

- Фиг. 1 является блок-схемой последовательности операций способа обратного тонального отображения, как описано в EP3249606.

- Фиг. 2 является блок-схемой последовательности операций варианта осуществления способа тонального отображения согласно изобретению.

Описание вариантов осуществления

Функции различных элементов, показанных на чертежах, могут быть обеспечены посредством использования специализированных аппаратных средств, также как и аппаратных средств, способных выполнять программное обеспечение в ассоциации с соответствующим программным обеспечением. Явное использование термина "процессор" не должно истолковываться как ссылающееся исключительно на аппаратные средства, способные исполнять программное обеспечение, и могут неявно включать в себя, без ограничения, аппаратные средства цифрового сигнального процессора ("DSP"), постоянное запоминающее устройство ("ROM") для хранения программного обеспечения, оперативное запоминающее устройство ("RAM") и энергонезависимое запоминающее устройство.

Любые переключатели, показанные на чертежах, являются только концептуальными. Их функция может выполняться посредством работы программной логики, посредством специализированной логики, посредством взаимодействия программного управления и специализированной логики, или даже вручную, отдельная технология является выбираемой изобретателем как более точно понятная из контекста.

Следует понимать, что способ обработки изображения может быть реализован в различных формах аппаратных средств, программного обеспечения, микропрограммного обеспечения, специализированных процессоров или их сочетаниях. Этот способ может быть, в частности, реализован как сочетание аппаратных средств и программного обеспечения. Кроме того, программное обеспечение может быть реализовано как прикладная программа, материально осуществленная в блоке хранения программы. Прикладная программа может быть выгружена в, и выполняться посредством, вычислительной машины, содержащей любую подходящую архитектуру. Предпочтительно, машина реализуется в устройстве, имеющем аппаратные средства, такие как один или более центральных процессоров ("CPU"), оперативное запоминающее устройство ("RAM") и интерфейсы ввода/вывода ("I/O"). Устройство может также включать в себя операционную систему и код микрокоманд. Различные процессы и функции, описанные в данном документе, могут быть либо частью кода микрокоманд, либо частью прикладной программы, либо любым их сочетанием, которая может быть выполнена посредством CPU. Кроме того, различные другие периферийные блоки могут быть соединены с устройством, такие как фактическая или виртуальная клавиатура, дисплейное устройство и дополнительный блок хранения данных.

В целом, это устройство может, в частности, быть мобильным устройством (таким как смартфон), устройством связи, игровым устройством, планшетом (или планшетным компьютером), портативным компьютером, телевизором, телевизионной приставкой, камерой, микросхемой кодирования или сервером (например, сервером трансляции, сервером видео по запросу или веб-сервером).

Основной вариант осуществления способа обработки изображения будет сейчас описан, с помощью устройства, которое описано выше, имеющего, по меньшей мере, один процессор и, по меньшей мере, одну память, сконфигурированного образом, известным сам по себе, для реализации этого способа.

Память хранит эталонную совокупность эталонных алгоритмов тонального отображения и ассоциированные визуальные признаки. Тональное отображение является общим термином, включающим в себя тональное отображение, которое сжимает диапазон цветов, и тональное отображение, которое расширяет диапазон цветов (как правило, называемое "обратным тональным отображением"). Эта эталонная совокупность, например, строится, как описано в EP3249606, следующим образом:

- изображения, имеющие различные визуальные признаки, собираются с оптимизированной функцией тонального отображения для каждого из них; термин "функция" является общим и включает в себя любые эквивалентные термины, такие как "алгоритм", "таблица поиска" (LUT) или "кривая"; функция тонального отображения является функцией, по меньшей мере, яркости или светлоты пиксела изображения для карты тонов; функция тонального отображения, в частности, является экспоненциальной функцией яркости, как описано в документе EP 3087730, в которой экспоненциальные значения, используемые для этой функции, вычисляются для каждого пиксела изображения; функция тонального отображения, например, оптимизируется для изображения колористами с помощью специализированных известных инструментальных средств. Визуальный признак изображения характеризует, например, распределение значений яркости цветов этого изображения и, например, представляется посредством гистограммы значений яркости. Другие визуальные признаки могут быть использованы взамен, такие как, например, описатель доминирующего цвета или описатель цветовой структуры, которые приведены в стандарте MPEG7. Предпочтительно, визуальный признак определяется в зависимости от яркости.

- изображения, имеющие близко оптимизированные функции тонального отображения, затем группируются, так что эталонные изображения любой данной группы имеют функции тонального отображения, которые являются близкими друг другу согласно критерию расстояния; близко оптимизированные функции тонального отображения любой группы затем усредняются в одной эталонной функции тонального отображения, ассоциированной с этой группой; визуальные признаки изображений любой группы затем усредняются в одном эталонном визуальном признаке, ассоциированном с этой группой. Например, если визуальный признак основывается на гистограмме яркости, средняя гистограмма вычисляется в качестве эталонного визуального признака. Это означает, что эталонная функция тонального отображения ассоциируется с эталонным визуальным признаком одной и той же группы. Как вариант, группирование может быть основано на близких визуальных признаках.

Построение такой совокупности эталонных функций тонального отображения и ассоциированных эталонных визуальных признаков может быть выполнено в режиме "оффлайн" - на той же платформе или на другой платформе - во время фазы предварительной подготовки, содержащей:

- сбор изображений, имеющих различные визуальные признаки,

- формирование оптимизированной функции тонального отображения для каждого изображения,

- группирование оптимизированных функций тонального отображения с их ассоциированными визуальными признаками, как описано выше.

Способ обработки изображения будет теперь описан со ссылкой на фиг. 2 для тонального отображения цветов видеоконтента.

Память принимает, предпочтительно в буфер, изображения видеоконтента, для которых должно быть выполнено тональное отображение.

Для первого изображения контента, в эталонной совокупности эталонных функций тонального отображения, эталонная функция тонального отображения выбирается согласно критерию выбора на основе минимального расстояния между эталонным визуальным признаком, ассоциированным с этой выбранной эталонной функцией тонального отображения, и визуальным признаком этого первого изображения. Например, расстояние вычисляется между каждым эталонным визуальным признаком совокупности и визуальным признаком первого изображения. Когда визуальный признак является гистограммой значений яркости, как описано выше, кротчайшее вычисленное расстояние указывает, что распределение значений яркости в первом изображении является близким эталонному распределению значений яркости совокупности, и выбирается эталонная функция тонального отображения, ассоциированная с этим близким эталонным распределением значений яркости,. Затем, выбранная эталонная функция тонального отображения применяется к первому изображению, приводя в результате к соответствующему первому изображению с тональным отображением.

Применение выбранной эталонной функции тонального отображения повторяется от изображения к изображению контента, т.е., от предыдущего изображения к следующему изображению, пока эталонная функция тонального отображения, выбранная для последующего изображения, является такой же, что и эталонная функция тонального отображения, выбранная для предыдущего изображения.

Как только эталонная функция TMf_N тонального отображения, выбранная для последующего изображения IM_N, отличается от эталонной функции TMf_P тонального отображения, выбранной для предыдущего изображения IM_P (эта ситуация представлена на фиг. 2 знаком "≠" в ромбе), формируется так называемая текущая последовательность подтверждения из i+1 изображений IM_N, IM_N+1, …, IM_k, …, IM_N+i.

Затем этап утверждения запускается следующим образом для i+1 изображений IM_N, IM_N+1, …, IM_k, …, IM_N+i контента. Число i+1 изображений, используемых для подтверждения изменения или отсутствия изменения функции тонального отображения выше 2. Например, для частоты кадров 25 изображений/секунду, i+1=5.

Этот этап подтверждения имеет целью принятие решения об изменении функции тонального отображения или отсутствии изменения функции тонального отображения и, в случае, когда принято решение об изменении, подтверждение "правильной" новой эталонной функции тонального отображения, которая должна быть применена к изображениям последовательности, необязательно, с переходным этапом между ними (см. ниже).

Перед самим этапом подтверждения, на основе того же критерия выбора, что и упомянутый выше, выбирается эталонная функция TMf_N+1, …, TMf_k, …, TMf_N+i тонального отображения в совокупности эталонных функций тонального отображения для каждого из i последних изображений IM_N+1, …, IM_k, …, IM_N+i текущей последовательности подтверждения.

После того как все эталонные функции TMf_N, TMf_N+1, TMf_N+2, TMf_N+3, TMf_N+4, TMf_N+5, …, TMf_k-1, TMf_k, TMf_k+1, …, TMf_N+i тонального отображения выбираются для всех изображений текущей последовательности подтверждения, этап подтверждения выполняется согласно критерию подтверждения, предпочтительно на основе распределения этих выбранных функций тонального отображения.

Предположим, например, i=9 и k= N+7, тогда десять эталонных функций тонального отображения перечисляются следующим образом: TMf_N, TMf_N+1, TMf_N+2, TMf_N+3, TMf_N+4, TMf_N+5, TMf_k-1, TMf_k, TMf_k+1, TMf_N+i .

Давайте предположим, например, что, в этом списке, существуют только две различные эталонные функции тонального отображения: P1 и P2, и что распределение является следующим: TMf_N=P2, TMf_N+1=P1, TMf_N+2=P1, TMf_N+3=P2, TMf_N+4=P2, TMf_N+5=P2, TMf_k-1=P1, TMf_k=P2, TMf_k+1=P2, TMf_N+i=P2.

В этой ситуации (распределение=P2P1P1P2P2P2P1P2P2P2), две различные эталонные функции P1 и P2 тонального отображения распределяются по двум корзинам, первая корзина для P1 со значением 3, и вторая корзина для P2 со значением 7.

Критерий подтверждения, например, определяется так, что эталонная функция тонального отображения, имеющая наиболее заполненный контейнер в распределении, подтверждается, здесь P2 соответствует, в частности TMf_k.

В качестве первого варианта, критерий подтверждения основывается на минимуме последовательного выбора одной и той же эталонной функции тонального отображения в различных изображениях последовательности подтверждения. Например, в одной и той же последовательности подтверждения из 10 изображений (i=9), как описано выше, этот минимум может быть зафиксирован в значении 4, ведя к подтверждению одной и той же эталонной функции TMf_P тонального отображения, выбранной для предыдущего изображения IM_P (эта ситуация представляется на фиг. 2 знаком "≠" в ромбе), поскольку не существует четырех последовательных выборов P2 в этой последовательности.

В качестве второго варианта, критерий подтверждения определяется согласно шаблону подтверждения для распределения выбранных эталонных функций тонального отображения по различным изображениям последовательности подтверждения. Например, если распределение различных выбранных эталонных функций P1 и P2 тонального отображения по 20 изображениям, формирующим последовательность подтверждения, является: P1P1P1P2P2P1P1P1P2P2P2P1P1P1P2P2P2P2P1P1, поскольку шаблон распределения для P2 по изображениям показывает увеличивающийся вес P2 по сравнению с весом P1 по тем же изображениям, P2 будет подтверждена, хотя первая корзина для P1 со значением, равным 11, превосходит вторую корзину для P2 со значением, равным 9.

Может случиться, что, по меньшей мере, одна из эталонных функций тонального отображения, выбранных для текущей последовательности подтверждения, является такой же, что и функция TMf_M, которая была подтверждена для предыдущей последовательности подтверждения, т.е., например, что TMf_M=P1. В случае, когда эта эталонная функция тонального отображения подтверждается (P1 является наиболее заполненной в распределении), функция тонального отображения, примененная к изображениям текущей последовательности отображения, остается такой же, что и эталонная функция тонального отображения, примененная к изображениям предыдущего текущего подтверждения.

Последним этапом текущей итерации является применение подтвержденной эталонной функции тонального отображения к изображениям текущей последовательности подтверждения, приводя в результате к следующим изображениям TM_kIM_N, TM_kIM_N+1,…, TM_kIM_k, …, TM_kIM_N+i с осуществленным тональным отображением.

Затем, вышеописанный выбор эталонной функции тонального отображения для изображения и ее применение к этому изображению повторяется для изображений, следующих за последним изображением IM_N+i последовательности подтверждения, до тех пор, пока эталонная функция тонального отображения, выбранная для одного из этих последующих изображений, снова не будет отличаться от эталонной функции тонального отображения, выбранной для предыдущего изображения, и новый выбор выполняется снова, как описано выше, для каждого изображения другой последовательности подтверждения, другое подтверждение выполняется, как описано выше, для другой эталонной функции тонального отображения для этой другой последовательности подтверждения, которая затем применяется к изображениям этой другой последовательности подтверждения.

Такие итерации выполняются до конца видеоконтента, приводя в результате к видеоконтенту с тональным отображением.

Благодаря изменению функций тонального отображения только после подтверждения выбора для нескольких последовательных изображений контента, слишком частые изменения функций тонального отображения внутри такого видеоконтента предотвращаются, временные неустойчивости и визуальный дискомфорт устраняются во время визуализации.

В предпочтительном варианте, когда эталонная функция P2 тонального отображения, которая подтверждается для текущей последовательности подтверждения, отличается от эталонной функции P1 тонального отображения, подтвержденной для предыдущей последовательности подтверждения, реализуется поступательное изменение функции тонального отображения с P1 на P2.

Это поступательное изменение функции тонального отображения применяется к изображениям последовательности перехода.

Число изображений в последовательности перехода может, например, быть определено как фиксированное число или может быть получено посредством метаданных, или может быть однородной неуменьшающейся функцией различия между эталонной функцией P2 тонального отображения, которая подтверждается для текущей последовательности подтверждения, и эталонной функцией P1 тонального отображения, подтвержденной для предыдущей последовательности подтверждения, максимальное число изображений в последовательности перехода является числом i изображений в текущей последовательности подтверждения.

Предположим, что получается число j изображений в последовательности перехода, где j < i. Вместо применения эталонной функции P2 тонального отображения, подтвержденной для текущей последовательности подтверждения к каждому из j первых изображений текущей последовательности подтверждения, переходная функция TMTR_t тонального отображения применяется к каждому IM_t из этих j изображений, которая получается посредством интерполяции между двумя подтвержденными эталонными функциями P1 и P2 тонального отображения, предпочтительно согласно формуле: TMTR_t=t/j * P1 + (1-t/j)*P2, где t является порядковым числом этого изображения IM_t в последовательности перехода. Вместе с изображениями последовательности перехода вес вновь подтвержденной функции P2 тонального отображения тогда поступательно увеличивается, и вес ранее подтвержденной эталонной функции P1 тонального отображения тогда поступательно уменьшается в переходных функциях TMTR_t тонального отображения, при этом t изменяется от 1 до j, применяемых к этим изображениям.

Хотя иллюстративные варианты осуществления изобретения были описаны в данном документе со ссылкой на сопровождающие чертежи, следует понимать, что настоящее изобретение не ограничивается этими точными вариантами осуществления, и что различные изменения и модификации могут быть выполнены в нем обычным специалистом в соответствующей области техники без отступления от изобретения. Все такие изменения и модификации, как предполагается, должны быть включены в рамки настоящего изобретения, которые изложены в прилагаемой формуле изобретения. Настоящее изобретение, как заявлено, следовательно, включает в себя вариации конкретных примеров и предпочтительных вариантов осуществления, описанных в данном документе, как будет очевидно специалисту в области техники.

В то время как некоторые из конкретных вариантов осуществления могут быть описаны и заявлены отдельно, понятно, что различные отличительные признаки вариантов осуществления, описанных и заявленных в данном документе, могут быть использованы в сочетании. Ссылочные номера, появляющиеся в формуле изобретения, существуют только в качестве иллюстрации и не должны ограничивать объем формулы изобретения.