Результат интеллектуальной деятельности: ПРЕДСКАЗАТЕЛЬ B-СПЛАЙНА ТЕНЗОРНОГО ПРОИЗВЕДЕНИЯ

[0001] Данная заявка притязает на приоритет предварительной заявки на патент США № 62/908770, поданной 1 октября 2019 г., и заявки на европейский патент № 19200793.8, поданной 1 октября 2019 г., каждая из которых включена в настоящий документ посредством ссылки во всей своей полноте.

ОБЛАСТЬ ТЕХНИКИ

[0002] Настоящее изобретение в целом относится к изображениям. Более конкретно, вариант осуществления настоящего изобретения относится к предсказателю B-сплайна тензорного произведения.

ПРЕДПОСЫЛКИ ИЗОБРЕТЕНИЯ

[0003] В настоящем документе термин «динамический диапазон» (DR) может относиться к способности зрительной системы человека (HVS) воспринимать диапазон интенсивности (например, относительной яркости, яркости) в изображении, например от самых темных черных (тени) до самых светлых белых (наиболее ярких) участков изображения. В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности конкретной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. За исключением случаев, когда точно задано, что конкретный смысл имеет конкретное значение в любом месте в описании в данном документе, следует подразумевать, что термин может быть использован в любом смысле, например взаимозаменяемо.

[0004] В данном документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, которая охватывает приблизительно 14-15 или более порядков величины зрительной системы человека (HVS). На практике, DR, в котором человек может одновременно воспринимать пространственную ширину в диапазоне интенсивности, может быть немного сокращен относительно HDR. В данном документе термины «увеличенный динамический диапазон» (EDR) или «визуальный динамический диапазон» (VDR) могут отдельно или взаимозаменяемо относиться к DR, который может восприниматься в сцене или изображении зрительной системой человека (HVS), которая включает движения глаз, обеспечивая возможность некоторых изменений световой адаптации в сцене или изображении. В данном документе EDR может относиться к DR, который охватывает 5-6 порядков величины. Таким образом, хотя возможно и несколько более узкий относительно относящегося к настоящей сцене HDR, тем не менее EDR представляет ширину широкого DR и может также называться HDR.

[0005] На практике изображения содержат один или более цветовых компонентов (например, яркость Y и цветность Cb и Cr) цветового пространства, причем каждый цветовой компонент представлен с точностью n бит на пиксель (например, n = 8). Используя нелинейное яркостное кодирование (например, гамма-кодирование), изображения, в которых n ≤ 8 (например, цветные 24-битные изображения JPEG), рассматриваются как изображения стандартного динамического диапазона, тогда как изображения, в которых n > 8, могут рассматриваться как изображения увеличенного динамического диапазона.

[0006] Исходная электрооптическая передаточная функция (EOTF) для заданного дисплея характеризует взаимоотношение между цветовыми значениями (например, относительная яркостью) входного видеосигнала и цветовыми значениями экрана вывода (например, яркостью экрана), производимыми дисплеем. Например, в рекомендациях ITU ITU-R BT. 1886, «Reference electro-optical transfer function for flat panel displays used in HDTV studio production» (март 2011 г.), которые включены в данный документ посредством ссылки во всей своей полноте, определяется исходная EOTF для плоских дисплеев. Для видеопотока информация о его EOTF может быть встроена в битовый поток в качестве метаданных (изображения). В данном документе термин «метаданные» относится к любой вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру представлять декодированное изображение. Такие метаданные могут включать, но без ограничения, информацию о цветовом пространстве или гамме, параметры эталонного дисплея и параметры вспомогательного сигнала, например описанные в данном документе.

[0007] В данном документе термин «PQ» относится к перцепционному квантованию амплитуды относительной яркости. Зрительная система человека реагирует на увеличение уровней света очень нелинейным образом. Способность человека видеть стимул зависит от относительной яркости этого стимула, размера стимула, пространственных частот, формирующих стимул, и уровня относительной яркости, к которому адаптировались глаза в конкретный момент, в который человек видит стимул. В некоторых вариантах осуществления функция перцепционного квантователя отображает линейные входные уровни серого в выходные уровни серого, которые лучше соответствуют пороговым значениям контрастной чувствительности в зрительной системе человека. Пример функции отображения PQ описан в SMPTE ST 2084:2014 «High Dynamic Range EOTF of Mastering Reference Displays» (здесь и далее «SMPTE»), который включен в данный документ посредством ссылки во всей своей полноте, где при фиксированном размере стимула для каждого уровня относительной яркости (например, уровня стимула и т.д.), минимальный шаг видимого контраста при данном уровне относительной яркости выбирают согласно наиболее чувствительному уровню адаптации и наиболее чувствительной пространственной частоте (согласно моделям HVS).

[0008] Дисплеи, которые поддерживают относительную яркость от 200 до 1000 кд/м², или нитов, являются типичными представителями низкого динамического диапазона (LDR), также называемого стандартным динамическим диапазоном (SDR), относительно EDR (или HDR). Содержимое EDR может отображаться на дисплеях EDR, которые поддерживают более высокие динамические диапазоны (например, от 1000 нитов до 5000 нитов или более). Такие дисплеи могут быть определены с использованием альтернативных EOTF, которые поддерживают высокие параметры относительной яркости (например, от 0 до 10000 или более нитов). Пример такой EOTF определяется в SMPTE 2084 и Rec. ITU-R BT.2100, «Image parameter values for high dynamic range television for use in production and international programme exchange» (06/2017). Как отмечено в настоящей заявке авторами изобретения, желательно обеспечить усовершенствованные методы создания данных видеосодержимого, которые могут быть использованы для поддержки возможностей отображения широкого ряда устройств отображения SDR и HDR.

[0009] Подходы, описанные в данном разделе, являются подходами, которым можно следовать, но необязательно подходами, которые были ранее предложены или которым следовали. Следовательно, если не указано иное, не следует предполагать, что любой из подходов, описанных в данном разделе, расценивается как известный уровень техники только лишь вследствие его включения в данный раздел. Подобным образом не следует и предполагать, что недостатки, определенные относительно одного или более подходов на основе данного раздела, были распознаны в известном уровне техники, если не указано иное.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ

[00010] Вариант осуществления настоящего изобретения проиллюстрирован в качестве примера, а не в качестве ограничения, на фигурах прилагаемых графических материалов, на которых похожие номера ссылок относятся к подобным элементам и на которых:

[0010] На фиг. 1A показан приведенный в качестве примера процесс последовательности операций доставки видео; на фиг. 1B проиллюстрированы приведенные в качестве примера блоки обработки для межканального предсказания TPB; на фиг. 1C и фиг. 1D проиллюстрированы приведенные в качестве примера реализации операций генерирования базиса TPB; на фиг. 1E и фиг. 1F проиллюстрированы приведенные в качестве примера реализации операций перекрестного произведения TPB; на фиг. 1G и фиг. 1H проиллюстрированы приведенные в качестве примера схемы для применения предсказания TPB;

[0011] на фиг. 2A-2C проиллюстрированы приведенные в качестве примера схемы кодеков;

[0012] на фиг. 3A-3D проиллюстрированы приведенные в качестве примера полные наборы базисных функций B-сплайнов для равномерно распределенных узлов;

[0013] на фиг. 4A и на фиг. 4B проиллюстрированы приведенные в качестве примера последовательности операций процесса; и

[0014] на фиг. 5 проиллюстрирована упрощенная структурная схема приведенной в качестве примера аппаратной платформы, на которой могут быть реализованы компьютер или вычислительное устройство, описанные в данном документе.

ОПИСАНИЕ ПРИМЕРОВ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0015] В следующем описании в целях пояснения изложены многочисленные конкретные подробности для обеспечения полного понимания настоящего изобретения. Однако следует понимать, что настоящее изобретение может быть реализовано на практике без этих конкретных подробностей. В других примерах широко известные структуры и устройства не описаны в исчерпывающих подробностях, чтобы избежать излишнего усложнения, запутывания или затруднения понимания настоящего изобретения.

Сущность изобретения

[0016] В данном документе описан предсказатель B-сплайна тензорного произведения (TPB). Методы, описанные в данном документе, могут использоваться для выполнения операций предсказания в последовательностях обработки видеосодержимого и создания метаданных формирователя с помощью находящегося выше по потоку процессора видеосодержимого для обеспечения возможности находящимся ниже по потоку процессорам видеосодержимого восстанавливать видеосодержимое первого динамического диапазона (например, HDR, SDR и т.д.) из декодированного видеосодержимого второго другого динамического диапазона (например, SDR, HDR и т.д.), которое переносится в видеосигнале. В некоторых рабочих сценариях метаданные формирователя могут быть созданы с помощью одноканального предсказателя яркости и одноэлементного (например, применимого к некоторым или всем возможным входным кодовым словам относительной яркости и хроматичности и т.д.) многоканального предсказателя цветности множественной регрессии (MMR). Одноканальный предсказатель яркости может ограничивать цветовую насыщенность для пикселей, имеющих одинаковую относительная яркость. Одноэлементная MMR ограничивает локальное предсказание цвета, накладывая глобальное отображение. Эти ограничения могут сделать восстановленные или отображенные изображения менее точными и более неточными в отношении цветов, а также привести к относительно большей цветовой разнице для некоторых частей (например, ярких цветов, очень насыщенных цветов и т.д.) цветовых диаграмм (например, содержащих некоторые или все возможные цвета для представления или измерения и т.д.). Примеры операций одноканального предсказания яркости и предсказания цветности MMR описаны в предварительной заявке на патент США с серийным № 62/781185, поданной 18 декабря 2018 г., полное содержание которой настоящим включено посредством ссылки, как если бы оно было полностью изложено в данном документе.

[0017] В некоторых рабочих сценариях предсказатели TPB, как описано в данном документе, могут использоваться в последовательности обработки видеосодержимого для генерирования метаданных формирователя процессором видеосодержимого верхнего уровня, чтобы обеспечить процессорам видеосодержимого ниже по потоку возможность восстанавливать изображения с лучшим качеством картинки и относительно высокой цветовой точностью.

[0018] B-сплайн обладает свойством аппроксимации заданной кривой или ее сегмента полиномом с ограничением непрерывности определенного порядка. B-сплайны можно использовать в процессе регрессии, просто выполняя подбор данных поверх модели B-сплайнов. Чтобы отразить относительно высокую размерность нескольких входных переменных при обработке видео, B-сплайн тензорного произведения (или TPB) может быть задан путем умножения нескольких функций B-сплайнов друг на друга для достижения аппроксимации относительно высокой размерности отображений, кривых и т.д., связывая несколько входных переменных с целевыми значениями (или выходными переменными). По сравнению с комбинацией одноканального предсказателя относительной яркости и одноэлементной MMR для генерирования метаданных формирователя, использование TPB для генерирования метаданных формирователя предоставляет гораздо лучший инструмент для моделирования трансформаций между разными цветовыми схемами возможно разных динамических диапазонов. Дополнительно, необязательно или альтернативно TPB можно использовать для обеспечения непрерывных кривых по своей природе (с присущей ему способностью обеспечивать непрерывность до определенного порядка), тем самым избегая операций подбора кривых, или значительно сокращая их, после первоначального генерирования предсказаний, трансформаций и/или отображений. Например, с помощью методов, описанных в данном документе, можно избежать алгоритмов полиномиальной аппроксимации, требующих значительных вычислительных ресурсов для обеспечения непрерывности на множестве полиномиальных кусков, что имеет место в одноканальном предсказателе относительной яркости.

[0019] Предсказание TPB может использоваться в разных сценариях кодирования, например в случаях на основе сцен и на основе линейной обработки. Методы трехмерной таблицы отображения (3DMT) можно использовать в сочетании с предсказанием TPB для уменьшения визуально воспринимаемых цветовых артефактов. Экспериментальные результаты показывают, что точность предсказания может быть улучшена в 10~40 раз для яркости и в 1~4 раза для цветности.

[0020] Приведенные в качестве примера варианты осуществления, описанные в данном документе, относятся к генерированию и кодированию параметров предсказания TPB для восстановления изображения. Определяют набор базисных функций B-сплайнов тензорного произведения (TPB). Генерируют набор выбранных параметров предсказания TPB, который должен использоваться с набором базисных функций TPB, для генерирования предсказываемых данных изображения в одном или более отображенных изображениях из данных исходного изображения в одном или более исходных изображениях исходной цветовой схемы. Набор выбранных параметров предсказания TPB генерируют путем сведения к минимуму разниц между предсказываемыми данными изображения в одном или более отображенных изображениях и данными эталонного изображения в одном или более эталонных изображениях эталонной цветовой схемы. Одно или более эталонных изображений соответствуют одному или более исходным изображениям и изображают то же визуальное содержимое, которое изображено на одном или более исходных изображениях. Набор выбранных параметров предсказания TPB кодируют в видеосигнале как часть метаданных изображения вместе с данными исходного изображения в одном или более исходных изображениях. Обеспечивают восстановление и воспроизведение одного или более отображенных изображений посредством устройства-получателя видеосигнала.

[0021] Приведенные в качестве примера варианты осуществления, описанные в данном документе, относятся к декодированию параметров предсказания TPB для восстановления и воспроизведения изображения. Одно или более первых изображений первой цветовой схемы декодируют из видеосигнала. Метаданные изображения, содержащие набор выбранных параметров предсказания TPB для умножения на набор базисных функций B-сплайнов тензорного произведения (TPB), декодируют из видеосигнала. Набор выбранных параметров предсказания TPB был сгенерирован находящимся выше по потоку процессором видеосодержимого. Набор выбранных параметров предсказания TPB предназначен для использования с набором базисных функций TPB для генерирования предсказываемых данных изображения в одном или более отображенных изображениях из данных первого изображения в одном или более первых изображениях первой цветовой схемы. Находящийся выше по потоку процессор видеосодержимого сгенерировал набор выбранных параметров предсказания TPB путем сведения к минимуму разниц между предсказываемыми данными изображения в одном или более отображенных изображениях и данными эталонного изображения в одном или более эталонных изображениях эталонной цветовой схемы. Одно или более эталонных изображений соответствуют одному или более первым изображениям и изображают то же визуальное содержимое, которое изображено на одном или более первых изображениях. Набор параметров предсказания TPB используют с набором базисных функций TPB для генерирования одного или более отображенных изображений из одного или более первых изображений. Обеспечивают воспроизведение устройством отображения одного или более выводимых изображений, полученных на основе одного или более отображенных изображений.

Приведенная в качестве примера последовательность обработки для доставки видео

[0022] На фиг. 1A изображен приведенный в качестве примера процесс последовательности (100) для доставки видео, показывающий различные этапы от генерирования/съемки видео до отображения HDR или SDR. Приведенные в качестве примера дисплеи HDR могут включать, но без ограничения, дисплеи изображений, работающие вместе с телевизорами, мобильными устройствами, домашними кинотеатрами и т.д. Приведенные в качестве примера дисплеи SDR могут включать, но без ограничения, телевизоры SDR, мобильные устройства, дисплеи домашних кинотеатров, налобные устройства отображения, носимые устройства отображения и т.д.

[0023] Видеокадры (102) снимают или генерируют с использованием блока (105) генерирования изображения. Видеокадры (102) могут быть сняты цифровым способом (например, посредством цифровой видеокамеры) или сгенерированы компьютером (например, с использованием компьютерной анимации и т.п.) для предоставления видеоданных (107). Дополнительно, необязательно или альтернативно видеокадры (102) могут быть сняты на пленке кинокамерой. Пленку преобразуют в цифровой формат для предоставления видеоданных (107). В некоторых вариантах осуществления видеоданные (107) могут быть (например, автоматически без ввода данных человеком, вручную, автоматически с вводом данных человеком и т.д.) отредактированы или трансформированы в последовательность изображений перед передачей на следующий этап/фазу обработки в последовательности (100) для доставки видео.

[0024] Видеоданные (107) затем предоставляют на процессор для редактирования (115) в постпроизводстве. Редактирование (115) в постпроизводстве может включать регулирование или модификацию цветов или яркости в конкретных зонах изображения для повышения качества изображения или получения конкретного визуального вида для изображения в соответствии с творческим замыслом создателя видео. Это иногда называют «цветовой синхронизацией» или «цветокоррекцией». Другое редактирование (например, выбор сцен и определение последовательностей, ручное и/или автоматическое генерирование информации об обрезке сцен, обрезка изображений, добавление сгенерированных на компьютере визуальных специальных эффектов и т.д.) может быть выполнено при редактировании (115) в постпроизводстве для получения выпущенной версии изображений (117-1) HDR или изображений (117) SDR (или относительно узкого динамического диапазона) (например, SDR и т.д.).

[0025] В некоторых вариантах осуществления во время редактирования (115) в постпроизводстве изображения (117-1) HDR просматриваются на эталонном дисплее HDR, который поддерживает расширенный динамический диапазон, оператором цветокоррекции, который выполняет операции редактирования в постпроизводстве на изображениях (117-1) HDR.

[0026] В некоторых других вариантах осуществления во время редактирования (115) в постпроизводстве изображения (117) SDR просматриваются на эталонном дисплее (125), который поддерживает стандартный динамический диапазон (или относительно узкий динамический диапазон), оператором цветокоррекции, который выполняет операции редактирования в постпроизводстве на изображениях (117) SDR.

[0027] В некоторых вариантах осуществления блок (120) кодирования может реализовать такую структуру кодека, как проиллюстрировано на фиг. 2A или фиг. 2B. В рабочих сценариях, в которых блок (120) кодирования принимает изображения (117-1) HDR после редактирования (115) в постпроизводстве, изображения (117-1) HDR могут быть прямо преобразованы блоком (120) кодирования в изображения SDR (например, 117).

[0028] Изображения (117) SDR сжимаются блоком (120) кодирования в кодированный битовый поток (122), например в единственном слое. В некоторых вариантах осуществления блок (120) кодирования может содержать кодеры звука и видео, такие как определены ATSC, DVB, DVD, Blu-Ray и другими форматами доставки, чтобы генерировать кодированный битовый поток (122).

[0029] В некоторых вариантах осуществления кодированный битовый поток (122) закодирован с изображениями (117) SDR, которые сохраняют художественное намерение, с которым изображения (117) SDR генерируют при редактировании (115) в постпроизводстве. Дополнительно, необязательно или альтернативно в некоторых вариантах осуществления кодированный битовый поток (122) закодирован с изображениями (117) SDR, которые сохраняют художественное намерение, с которым изображения (117-1) HDR - которые прямо преобразуют в изображения (117) SDR - генерируют при редактировании (115) в постпроизводстве.

[0030] Блок (120) кодирования может кодировать изображения (117) SDR в видеоданные в видеосигнале (например, 8-битном видеосигнале SDR, 10-битном видеосигнале SDR и т.д.), который предусматривает обратную совместимость (или альтернативно не предусматривает обратной совместимости) с широким рядом устройств отображения SDR (например, дисплеев SDR и т.д.). В неограничивающем примере видеосигнал, закодированный с помощью изображений (117) SDR, может быть одноуровневым видеосигналом с обратной совместимостью (или альтернативно без обратной совместимости).

[0031] В некоторых вариантах осуществления кодированный битовый поток (122) представляет собой видеосигнал, соответствующий тому же формату видеосигнала, что и входной видеосигнал SDR YCbCr, принятый блоком (120) кодирования. Например, в случаях, где входной видеосигнал SDR YCbCr, принятый блоком (120) кодирования, представляет собой 8-битный видеосигнал SDR YCbCr, кодированный битовый поток (122), выведенный блоком (120) кодирования, может представлять выходной 8-битный видеосигнал SDR YCbCr с метаданными изображения, содержащими, но без ограничения, метаданные формирователя, которые сгенерированы блоком (120) кодирования и/или блоком (115) постпроизводства. Метаданные формирователя (или отображения обратного преобразования) могут быть использованы находящимися ниже по потоку декодерами для выполнения обратного преобразования (например, обратной тональной компрессии и т.д.) на изображениях (117) SDR для генерирования обратно преобразованных изображений, которые могут быть относительно точными для воспроизведения на (например, нескольких целевых и т.д.) эталонных дисплеях HDR.

[0032] В некоторых вариантах осуществления обратно преобразованные изображения могут быть сгенерированы из изображений (117) SDR (или их декодированной версии) с использованием одного или более инструментов преобразования SDR в HDR, реализующих обратную тональную компрессию на основе по меньшей мере частично метаданных формирователя. В контексте данного документа обратное преобразование относится к операциям обработки изображений, которые преобразуют переквантованные изображения обратно в оригинальную область EOTF (например, гамма- или PQ-область) или другую область EOTF, для дополнительной обработки ниже по потоку, такой как управление дисплеем. Дополнительно, необязательно или альтернативно преобразование, описанное в данном документе (например, прямое преобразование, обратное преобразование и т.д.), может относиться операциям обработки изображения, которые преобразуют между разными EOTF, разными цветовыми пространствами, разными динамическими диапазонами и т.д.

[0033] Кодированный битовый поток (122) дополнительно кодируется с метаданными изображения, содержащими, но без ограничения, метаданные управления отображением (DM), которые могут использоваться находящимися ниже по потоку декодерами для выполнения операций управления отображением на обратно преобразованных изображениях для генерирования эталонными дисплеями HDR выводимых изображений для воспроизведения на (например, нескольких и т.д.) дисплеях HDR, зависящих от устройств.

[0034] Кодированный битовый поток (122) затем доставляется ниже по потоку на приемники, такие как устройства декодирования и проигрывания, устройства-источники медиа, клиентские устройства потоковой передачи медиа, телевизионные наборы (например, умные телевизоры и т.д.), телевизионные приставки, кинотеатры и т.п. В приемнике (или устройстве ниже по потоку) кодированный битовый поток (122) декодируется блоком (130) декодирования для генерирования декодированных изображений 182, которые могут быть такими же, как изображения (117) SDR, с учетом ошибок квантования, генерируемых при сжатии, выполняемом блоком (120) кодирования, и восстановлении сжатых данных, выполняемом блоком (130) декодирования.

[0035] Приведенное в качестве примера видеосодержимое SDR, как представленное изображениями (117) SDR или их декодированной версией, может, но не ограничиваясь обязательно только этим, представлять собой видеосодержимое SDR+, изображения SDR, выпуски фильмов SDR, изображения SDR+, медиапрограммы SDR и т.д. В контексте данного документа термин «SDR+» обозначает комбинацию данных изображения SDR и метаданных, которые при комбинировании друг с другом позволяют генерировать соответствующие данные изображения расширенного динамического диапазона (HDR). Метаданные изображения SDR+ могут содержать данные формирователя для генерирования отображений обратного преобразования (например, отображений обратного преобразования TPB и т.д.), которые при применении ко входному изображению SDR генерируют соответствующее изображение HDR. Изображения SDR+ обеспечивают обратную совместимость с устаревшими дисплеями SDR, которые могут игнорировать метаданные изображения SDR+ и просто отображают изображение SDR.

[0036] Метаданные изображения, передаваемые с видеосодержимым SDR на устройство-получатель, могут содержать метаданные формирователя, генерируемые (например, автоматически, в реальном времени, при обработке офлайн и т.д.) посредством методов, описанных в данном документе. В некоторых вариантах осуществления видеоданные (107) предоставляются на процессор для генерирования (115) метаданных формирователя. Посредством генерирования (115) метаданных формирователя можно автоматически генерировать метаданные формирователя без вмешательства человека или с небольшим вмешательством человека. Автоматически сгенерированные метаданные формирователя могут быть использованы устройством-получателем (устройствами-получателями) для выполнения операций обратного преобразования для генерирования соответствующих изображений расширенного динамического диапазона (HDR) из изображений SDR в видеоданных (107).

[0037] Генерирование (115) метаданных формирователя может быть использовано для предоставления одной или более ценных услуг для создания видеосодержимого, доступного широкому ряду устройств отображения. Одной из ценных услуг, предоставляемых посредством генерирования (115) метаданных формирователя, является генерирование изображений HDR из изображений SDR, как упомянуто выше, в рабочих сценариях, в которых изображения HDR для видеосодержимого, изображенного на изображениях SDR, недоступны, но изображения SDR, изображающие это видеосодержимое, доступны. Таким образом, методы, как описанные в данном документе, могут быть использованы для генерирования или составления видеосодержимого HDR для дисплеев HDR в этих необязательных рабочих сценариях, в которых изображения SDR доступны.

[0038] Другой ценной услугой, предоставляемой посредством генерирования (115) метаданных формирователя, является генерирование видеосодержимого HDR для дисплеев HDR, не полагаясь (например, полностью, частично и т.д.) на некоторые или все ручные операции оператора цветокоррекции, известные как «цветовая синхронизация» или «цветокоррекция».

[0039] Дополнительно, необязательно или альтернативно метаданные DM в метаданных изображения могут быть использованы находящимися ниже по потоку декодерами для выполнения операций управления отображением на обратно преобразованных изображениях для генерирования выводимых изображений (например, выводимых изображений HDR и т.д.) для воспроизведения на эталонных устройствах отображения HDR или других устройствах отображения, таких как устройства отображения HDR, не являющиеся эталонными, и т.д.

[0040] В рабочих сценариях, в которых приемник работает с дисплеем 140 SDR (или подключен к нему), который поддерживает стандартный динамический диапазон или относительно узкий динамический диапазон, приемник может воспроизводить декодированные изображения SDR непосредственно или опосредованно на целевом дисплее (140).

[0041] В рабочих сценариях, в которых приемник работает с дисплеем 140-1 HDR (или подключен к нему), который поддерживает расширенный динамический диапазон (например, 400 нитов, 1000 нитов, 4000 нитов, 10000 нитов или более и т.д.), приемник может извлекать метаданные формирователя (например, метаданные TPB формирователя и т.д.) из кодированного битового потока (122) (например, из контейнера метаданных в нем и т.д.) и использовать метаданные формирователя для составления изображений (132) HDR, которые могут представлять собой обратно преобразованные изображения, генерируемые посредством обратного преобразования изображений SDR на основании метаданных формирователя. Дополнительно приемник может извлекать метаданные DM из кодированного битового потока (122) и применять операции (135) DM на изображениях (132) HDR на основании метаданных DM, чтобы генерировать выводимые изображения (137) для воспроизведения на устройстве (140-1) отображения HDR (например, не являющемся эталонным и т.д.) и воспроизводить выводимые изображения (137) на устройстве (140-1) отображения HDR.

Схемы кодеков

[0042] В некоторых рабочих сценариях SDR+ может быть использован для улучшения содержимого SDR для воспроизведения на устройствах отображения HDR. Каналы яркости и цветности (или компоненты цветового пространства) изображений SDR могут быть отображены отдельно с использованием метаданных изображения, таких как метаданные формирователя, для генерирования соответствующих каналов яркости и цветности (отображенных) изображений HDR.

[0043] Следует отметить, однако, что в различных вариантах осуществления методы, описанные в данном документе, могут использоваться для схем кодеков с обратным управлением отображением на основе единственного слоя (SLiDM) или схем, не относящихся к SLiDM. Например, генерирование, передача и использование метаданных TPB, как описано в данном документе, могут использоваться в сочетании с многослойным видеосигналом, который содержит два или более слоев кодирования, содержащих содержимое SDR или HDR.

[0044] Дополнительно, необязательно или альтернативно генерирование, передача и использование метаданных TPB, как описано в данном документе, могут использоваться в сочетании с видеосигналом, не относящимся к SDR (или не относящимся к SDR+), таким как сигнал HDR. Например, вместо включения метаданных обратного преобразования TPB для использования устройствами-получателями для обратного преобразования декодированного содержимого SDR с целью генерирования восстановленного содержимого HDR, сигнал HDR может содержать метаданные прямого преобразования TPB для использования устройствами-получателями для прямого преобразования декодированного содержимого HDR с целью генерирования восстановленного содержимого SDR.

[0045] Таким образом, хотя методы, описанные в данном документе, могут быть описаны с приведенными в качестве примера схемами кодеков или видеосигналами только для целей иллюстрации, эти методы не ограничены приведенными в качестве примера схемами кодеков или видеосигналами и могут быть реализованы другими схемами кодеков или видеосигналами.

[0046] На фиг. 2A-2C проиллюстрированы приведенные в качестве примера схемы кодеков. Более конкретно, на фиг. 2A проиллюстрирован пример первой архитектуры кодека на стороне кодера, которая может быть реализована одним или более вычислительными процессорами в находящемся выше по потоку видеокодере и т.д. На фиг. 2B проиллюстрирован пример второй архитектуры кодека на стороне кодера, которая может быть реализована одним или более вычислительными процессорами в находящемся выше по потоку видеокодере и т.д. На фиг. 2C проиллюстрирован пример архитектуры кодека на стороне декодера, которая может также быть реализована одним или более вычислительными процессорами в находящемся ниже по потоку видеодекодере (например, приемнике и т.д.) и т.д.

[0047] В первой схеме, как проиллюстрировано на фиг. 2A, обратно совместимые изображения SDR, такие как изображения (117) SDR и т.д., принимаются в качестве входных данных на стороне кодера схемы кодека.

[0048] В качестве иллюстрации, но не ограничения, модуль 162 обратного отображения динамического диапазона (DM) - который может представлять инструмент преобразования SDR в HDR и т.д. - используется для преобразования изображений (117) SDR в изображения 148 HDR для просмотра на эталонных дисплеях HDR. В некоторых вариантах осуществления модуль обратного DM может также называться инструментом обратной тональной компрессии.

[0049] Во второй схеме, как проиллюстрировано на фиг. 2B, изображения (148) HDR для эталонных дисплеев HDR и т.д. принимаются в качестве входных данных на стороне кодера схемы кодека. Здесь «изображения HDR для эталонных дисплеев HDR» могут относиться к изображениям HDR, которые имеют специальную цветовую коррекцию для (эталонных) дисплеев HDR.

[0050] В качестве иллюстрации, но не ограничения, модуль 164 прямого преобразования - который может представлять инструмент образования HDR в SDR и т.д. - используется для преобразования изображений (148) HDR в изображения (117) SDR для просмотра на дисплеях SDR. В некоторых вариантах осуществления модуль прямого преобразования может также называться инструментом тональной компрессии.

[0051] Как в первой, так и второй архитектурах кодека на стороне кодера генератор 150 метаданных изображения (например, часть блока (120) кодирования и т.д.) принимает и изображения (117) SDR, и изображения (148) HDR в качестве входных данных, генерирует метаданные 152 изображения, такие как метаданные формирователя TPB, метаданные DM и т.д. Обратно преобразованные изображения (132) для (например, эталонного, целевого и т.д.) дисплея HDR могут быть сгенерированы путем обратного преобразования изображений (117) SDR с использованием функций/кривых обратного преобразования, как указано в метаданных формирователя TPB.

[0052] В некоторых вариантах осуществления обратно преобразованные изображения (132) представляют изображения HDR в производственном качестве или почти в производственном качестве для дисплея HDR. Обратно преобразованные изображения (132) могут быть выведены в выходном видеосигнале 160 HDR (например, по интерфейсу HDMI, по видеоканалу связи и т.д.) на устройство отображения HDR и воспроизведены на нем. В этих вариантах осуществления приемник может извлекать метаданные формирователя TPB и восстанавливать и воспроизводить изображения HDR, восстановленные посредством обратного преобразования изображений (117) SDR на основании метаданных формирователя TPB.

[0053] Как в первой, так и во второй архитектуре на стороне кодера блок 142 сжатия (например, часть блока (120) кодирования по фиг. 1A и т.д.) сжимает/кодирует изображения (117) SDR в единственном слое 144 видеосигнала. Приведенный в качестве примера видеосигнал может представлять собой, но не обязательно ограничен только этим, кодированный битовый поток (122) по фиг. 1A. Метаданные (152) изображения (обозначенные как «rpu»), сгенерированные генератором (150) метаданных изображения, могут быть закодированы (например, блоком (120) кодирования по фиг. 1A и т.д.) в видеосигнал (например, кодированный битовый поток и т.д.).

[0054] Как в первой, так и во второй архитектурах на стороне кодера метаданные (152) изображения могут отдельно переноситься в видеосигнале из единственного слоя, в котором изображения SDR закодированы в видеосигнале. Например, метаданные (152) изображения могут быть закодированы в компонентном потоке в кодированном битовом потоке, указанный компонентный поток может быть или не быть отдельным от единственного слоя (кодированного битового потока), в котором закодированы изображения (117) SDR.

[0055] Как в первой, так и во второй архитектурах на стороне кодера метаданные формирователя TPB в метаданных (152) изображения в видеосигнале могут использоваться для обеспечения возможности находящимся ниже по потоку приемникам обратно преобразовывать изображения (117) SDR (которые закодированы в видеосигнале) в восстановленные изображения (или обратно преобразованные изображения) для целевых дисплеев HDR. Приведенные в качестве примера целевые дисплеи HDR могут включать, но не ограничиваясь обязательно только этим, любой из: целевого дисплея HDR с функциональными способностями отображения, подобными таковым у эталонного дисплея HDR; целевого дисплея HDR с функциональными способностями отображения, отличными от таковых у эталонного дисплея HDR; целевого дисплея HDR с дополнительными операциями DM для отображения восстановленного видеосодержимого для эталонного дисплея HDR с целью отображения видеосодержимого для целевого дисплея HDR и т.д.

[0056] В некоторых рабочих сценариях как в первой, так и во второй архитектурах на стороне кодера содержимое SDR кодируется и передается в единственном слое видеосигнала, таком как битовый поток (122) кода и т.д., расположенным выше по потоку кодирующим устройством, которое реализует архитектуру кодека на стороне кодера. Содержимое SDR принимается и декодируется в единственном слое видеосигнала расположенным ниже по потоку декодирующим устройством (или приемником), которое реализует архитектуру кодека на стороне декодера. Метаданные формирователя TPB также кодируются и передаются в видеосигнале с содержимым SDR, так что устройства-получатели могут восстанавливать содержимое HDR на основании содержимого SDR и метаданных TPB формирователя.

[0057] В некоторых вариантах осуществления, как проиллюстрировано на фиг. 2C, видеосигнал, закодированный с изображениями (117) SDR в единственном слое (144), и метаданные (152) обратного преобразования TPB как часть всех метаданных изображения принимаются в качестве входных данных на стороне декодера первой и второй архитектур на стороне кодера.

[0058] Блок 154 восстановления сжатых данных (например, часть блока (130) декодирования по фиг. 1A и т.д.) восстанавливает/декодирует сжатые видеоданные в единственном слое (144) видеосигнала в декодированные изображения (182) SDR. Декодированные изображения (182) SDR могут быть такими же, как изображения (117) SDR, с учетом ошибок квантования в блоке (142) сжатия и блоке (154) восстановления сжатых данных. Декодированные изображения (182) SDR могут быть выведены в выходном видеосигнале 156 SDR (например, по интерфейсу HDMI, по видеоканалу связи и т.д.) на устройство отображения SDR и воспроизведены на нем.

[0059] Дополнительно блок 158 обратного преобразования извлекает метаданные (152) изображения, такие как метаданные формирователя TPB (или метаданные обратного преобразования), из входного видеосигнала, создает функции обратного преобразования на основании извлеченных метаданных формирователя TPB в метаданных изображения и выполняет операции обратного преобразования на декодированных изображениях (117) SDR на основе функций обратного преобразования для генерирования обратно преобразованных изображений (132) (или восстановленных изображений HDR) для конкретного целевого дисплея HDR.

[0060] В некоторых вариантах осуществления обратно преобразованные изображения представляют изображения HDR в производственном качестве или почти в производственном качестве для эталонного дисплея HDR. Обратно преобразованные изображения (132) могут быть выведены в выходном видеосигнале 160 HDR (например, по интерфейсу HDMI, по видеоканалу связи и т.д.) на дисплей HDR с функциональными возможностями отображения, подобными таковым у эталонного дисплея HDR, и воспроизведены на нем. Таким образом, в этих вариантах осуществления функциональность DM может не быть реализована приемником для упрощения операций устройства и снижения затрат на устройство.

[0061] Дополнительно, необязательно или альтернативно в некоторых вариантах осуществления метаданные DM могут быть переданы с метаданными формирователя TPB и изображениями (117) SDR на приемник. Операции управления отображением, характерные для целевого дисплея HDR с функциональными возможностями отображения, отличающимися от таковых у эталонного дисплея HDR, могут быть выполнены на обратно преобразованных изображениях (132) на основании по меньшей мере частично метаданных DM в метаданных (152) изображения, например для генерирования изображений HDR дисплея для воспроизведения на целевом дисплее HDR.

Предсказание на основе B-сплайна

[0062] Предсказание (на основе) TPB может использоваться для получения выбранных рабочих параметров отображений или трансформаций между разными цветовыми схемами, изображающими одинаковое визуальное семантическое содержимое, или среди них. В контексте данного документа цветовая схема может относиться к некоторой (например, выпущенной, прошедшей профессиональную цветовую коррекцию, прошедшей цветовую коррекцию пользователя или профессионала, восстановленной, подлежащей предсказанию и т.д.) версии видеоизображений.

[0063] Отображение или преобразование между двумя цветовыми схемами, изображающими одинаковое визуальное семантическое содержимое, может относиться к отображению или трансформации прямого преобразования, отображению или трансформации обратного преобразования и т.д. Приведенные в качестве примера операции преобразования описаны в предварительной заявке на патент США с сер. № 62/136402, поданной 20 марта 2015 г., (также опубликованной 18 января 2018 г. как публикация заявки на патент США с сер. № 2018/0020224); предварительной заявке на патент США с сер. № 62/670086, поданной 11 мая 2018 г., все содержимое которых включено в настоящий документ посредством ссылки, как если бы оно было полностью изложено в нем.

[0064] В некоторых рабочих сценариях прямое преобразование относится к генерированию видеоизображений такого же или более низкого динамического диапазона из видеоизображений (изображающих такое же визуальное семантическое содержимое) более высокого динамического диапазона.

[0065] В некоторых рабочих сценариях прямое преобразование относится к генерированию подлежащих кодированию видеоизображений (например, в выходном видеосигнале, доставляемом из находящегося выше по потоку процессора видеосодержимого на находящиеся ниже по потоку процессор(ы) видеосодержимого, и т.д.) некоторого динамического диапазона из входных или исходных видеоизображений (изображающих такое же визуальное семантическое содержимое) такого же или другого динамического диапазона.

[0066] В некоторых рабочих сценариях обратное преобразование относится к генерированию видеоизображений более высокого динамического диапазона из видеоизображений (изображающих такое же визуальное семантическое содержимое) относительно низкого динамического диапазона.

[0067] В некоторых рабочих сценариях обратное преобразование относится к генерированию видеоизображений некоторого динамического диапазона из принятых видеоизображений (изображающих такое же визуальное семантическое содержимое) - например, закодированных в принятом видеосигнале, доставляемом из находящегося выше по потоку процессора видеосодержимого на находящиеся ниже по потоку процессор(ы) видеосодержимого и т.д. - такого же или другого динамического диапазона.

[0068] Методы предсказания TPB, как описанные в данном документе, могут использоваться для генерирования метаданных изображения или метаданных формирователя, представляющих отображения/трансформацию прямого преобразования и/или отображения/трансформации обратного преобразования. Предсказание на основе B-сплайна может быть выполнено для единственной переменной (например, единственного цветового канала цветового пространства, единственного цветового компонента цветового пространства, одного канала среди каналов R, G, B, одного канала среди каналов Y, Cb, Cr и т.д.), а также нескольких переменных (например, двух или более цветовых каналов цветового пространства, двух или более цветовых компонентов цветового пространства, двух или более каналов среди каналов R, G, B, двух или более каналов среди каналов Y, Cb, Cr и т.д.) посредством B-сплайна тензорного произведения. В некоторых рабочих сценариях предсказание TPB может быть реализовано в процессе предсказания SDR для HDR или HDR для SDR.

[0069] В Таблице 1 ниже проиллюстрированы приведенные в качестве примера полиномиальные сплайны.

[0070] Базисные функции B-сплайна могут быть построены на основе кусочно заданных полиномов, которые гладко сливаются в узлах (например, в точках разрыва, соединяющих смежные кусочные полиномы и т.д.) для достижения желаемых ограничений гладкости или непрерывности. Базисная функция B-сплайна состоит из (n+1) полиномиальных кусков степени (или порядка) n, которые соединены узлами вплоть до и включая (n-1) порядок непрерывности или дифференцируемости. Используя полный набор базисов (или базисных функций) B-сплайнов, заданную функцию f(z) (например, отображение, кривую и т.д.) можно представить в виде линейной комбинации базисных функций B-сплайнов D = T + n - 1 (T представляет количество узлов) в полном наборе следующим образом:

[0071] Следует отметить, что базисная функция B-сплайна положительна или поддерживается только на интервале, основанном на двух смежных узлах среди (например, T, n + 2 и т.д.) узлов.

[0072] 0-й (нулевой) порядок базисной функции B-сплайна может быть задан следующим образом:

[0073] Более высокий порядок (n-й порядок) базисной функции B-сплайна может быть рекурсивно задан следующим образом:

[0074] Внешние узлы, такие как 2n внешних узлов, могут быть расположены за пределами [a, b] - диапазона, в котором распределены внутренние узлы - в дополнение к внутренним узлам k₀, k₁, … , k_T-1.

[0075] На фиг. 3A - 3D проиллюстрированы четыре приведенных в качестве примера полных набора базисных функций B-сплайнов с 0-го (нулевого) по 3-й порядок для набора равномерно распределенных узлов (или узловых точек). Дополнительные полные наборы базисных функций B-сплайнов разных порядков могут быть построены рекурсивно с использованием выражения (3), приведенного выше.

[0076] В рабочих сценариях, в которых количество внутренних узлов T = 8 узлов и используется полный набор базисных функций B-сплайнов 2-го порядка, общее число D базисной функции в наборе составляет 9. Соответствующий набор из 9 коэффициентов может использоваться для предсказания или аппроксимации одномерного (1D) отображения или кривой, например для одноканального предсказания канала относительной яркости цветового пространства, используемого для представления видеосодержимого.

[0077] Исключительно для иллюстрации, полный набор 9 базисных функций B-сплайнов 2-го порядка применяется для предсказания или аппроксимации 1D отображения или кривой между HDR и SDR.

[0078] Предположим, что каждое SDR-изображение (например, j-е изображение SDR и т.д.) и соответствующее изображение HDR (например, j-е изображение HDR, изображающее то же визуальное семантическое содержимое, что и изображение SDR, но с относительно высоким динамическим диапазоном и т.д.) содержит P пикселей. Пусть тройки и представляют нормализованные значения Y, C₀ (например, Cb и т.д.) и C₁ (например, Cr и т.д.) для i-го пикселя в j-м изображении SDR и HDR соответственно. Одноканальный предсказатель B-сплайна может использоваться для предсказания по для канала яркости или относительной яркости.

[0079] Набор заданных узлов или узловых точек может быть выбран и использован для построения полного набора базисных функций B-сплайнов (= T + n - 1), обозначенных как . Одноканальное предсказание значений кодового слова относительной яркости SDR по значениям кодового слова относительной яркости HDR может быть выполнено с использованием набора соответствующих коэффициентов {} следующим образом:

[0080] При заданных P пикселях в каждом из изображений SDR и HDR, все P подлежащих предсказанию (или целевых) значений кодового слова относительной яркости SDR, соответствующие коэффициенты () и базисные функции () B-сплайнов могут быть собраны в матричной форме для предсказания (целевых) значений кодовых слов относительной яркости SDR () по соответствующим (входным) значениям кодового слова относительной яркости HDR () следующим образом:

где

где левосторонняя часть (LHS) в выражении (8) обозначает матрицу плана.

[0081] Обозначим вектор фундаментальной истины, содержащий все P фактических (например, целевых, эталонных и т.д.) значений кодового слова SDR, следующим образом:

[0082] Решение коэффициентов может быть получено методом наименьших квадратов в замкнутой форме следующим образом:

[0083] Чтобы решить эту задачу наименьших квадратов, можно проявить особую осторожность, например, принять во внимание сценарии, в которых матрица B-сплайнов является относительно разреженной. В рабочих сценариях, в которых узловые точки могут быть предварительно выбраны или фиксированы, независимо от вида сигнала или распределения пиксельных данных, в интервалах узлов между смежными узлами могут существовать пустые пиксели или отсутствовать пиксели. Поскольку базисная функция B-сплайна положительна или поддерживается только на относительно небольшом интервале и равна нулю вне интервала, пустые интервалы, в которых может не существовать ни одного пикселя, могут вносить вклад в некоторые или все нулевые столбцы (каждый из которых содержит все нули) в . Такие нулевые столбцы могут сделать вычисления матрицы недостаточно определенными или привести к бесконечности. В некоторых рабочих сценариях, чтобы решить или улучшить эту задачу, для столбцов, которые имеют все нули или все относительно малые значения (например, по сравнению с числовым порогом, установленным программно, эмпирически или пользователем и т.д.) в , соответствующие коэффициенты () могут быть установлены в нули.

[0084] Обозначим каждый элемент в как и -ый столбец как . Проиллюстрирована приведенная в качестве примера процедура восстановления матрицы плана с исключением столбцов со всеми нулевыми значениями или всеми относительно малыми значениями (например, сумма в столбце ниже числового порога, каждый элемент матрицы в столбце ниже числового порога и т.д.) в Таблице 2 ниже.

[0085] В некоторых рабочих сценариях вместо использования выражения (10) выше задачу наименьших квадратов можно решить с использованием , как получено в Таблице 2 выше, следующим образом:

[0086] Поскольку общее количество столбцов было уменьшено до c, где c представляет собой новое общее количество столбцов, исключающее (- c) столбцов, каждый из которых содержит все нули или все относительно малые числа, в решении выражения (11) могут отсутствовать коэффициенты или параметры, соответствующие исключенному столбцу (столбцам). Используя приведенную в качестве примера процедуру, как проиллюстрировано в Таблице 3 ниже, вектор параметров/коэффициентов, содержащий параметры/коэффициенты для всех столбцов, может быть построен путем заполнения параметров/коэффициентов, соответствующих удаленным (- c) столбцам с 0 (нулями), следующим образом:

[0087] В некоторых рабочих сценариях места расположения узлов или узловых точек предварительно выбраны или фиксированы. Следует отметить, однако, что в различных вариантах осуществления места расположения (и/или общее количество) узлов или узловых точек могут быть или не быть предварительно выбраны или фиксированы. Например, в некоторых рабочих сценариях, поскольку места расположения (и/или общее количество) узлов или узловых точек могут повлиять на оптимальность решения, места расположения (и/или общее количество) узлов или узловых точек {k_t } вместе с параметрами/коэффициентами {} могут быть адаптивно определены как часть общей задачи или решения минимизации (или оптимизации).

[0088] Хотя адаптивный выбор узловых точек может еще больше повысить производительность и точность отображений или трансформаций между разными цветовыми схемами видеосодержимого, предварительная установка или предварительный выбор равномерно распределенных узловых точек дает примерные преимущества, включая, но без ограничения, следующие: (1) расположенному выше по потоку процессору видеосодержимого нет необходимости сигнализировать или отправлять на расположенный ниже по потоку процессор видеосодержимого данные о местах расположения узлов базисных функций B-сплайнов в метаданных изображения, что снижает расходы битового потока на перенос и кодирование метаданных изображения; (2) нет необходимости в повторном вычислении базисных функций на стороне декодера в ответ на разные узловые точки, которые в ином случае могут быть адаптивно изменены кадр за кадром, и т.д. Другими словами, базисные функции B-сплайнов с предварительно установленными или фиксированными узловыми точками могут быть жестко связаны с логикой или храниться в хранилище данных на стороне декодера, чтобы уменьшить вычислительную нагрузку во время выполнения и/или сложность аппаратного обеспечения.

Предсказатель TPB искажения яркости-цветности канала

[0089] В некоторых рабочих сценариях могут быть относительно большие ограничения для генерирования отображений между HDR и SDR (vice versa) с использованием одноканального предсказателя, такого как одноканальный (или 1D) предсказатель B-сплайна. 1D предсказатель B-сплайна может обеспечивать производительность и точность предсказания, сравнимые с другими подходами (например, подходами на основе кумулятивной функции распределения, или CDF, подходами на основе минимальной среднеквадратичной ошибки, или MMSE, и т.д.), с возможной дополнительной вычислительной сложностью. Задача отображения разных цветовых схем видеосодержимого лежит в многомерном цветовом пространстве (например, 3D цветовом пространстве, таком как RGB, IPT, YDzDx и YCbCr, трех или более каналах в цветовом пространстве и т.д.), при этом 1D функция или предсказание могут иметь ограничение в некоторых рабочих сценариях. Например, относительно точные отображения между HDR и SDR (в прямом и обратном направлениях) могут включать операции искажения яркости-цветности (например, подобные выполняемым вручную специалистами по цветовой коррекции, и т.д.), такие как преобразование цвета и управление насыщенностью. Таким образом, использование 1D предсказателя для решения этой задачи отображения в многомерном цветовом пространстве, включающем человеческое восприятие цветов, оттенков и насыщенности на разных уровнях относительной яркости, может не быть оптимальным.

[0090] Чтобы улучшить производительность и точность предсказания, можно использовать предсказание TPB, способное исследовать локальные и/или глобальные канальные взаимосвязи искажения яркости-цветности среди разных цветовых схем видеосодержимого, в соответствии с методами, описанными в данном документе.

[0091] В отличие от некоторых подходов, в которых межканальное предсказание представляет собой глобальный оператор отображения, межканальное предсказание TPB может гибко моделировать отображение в каждом локальном разделе (например, применяя специфичное для области отображение вплоть до каждого из множества локальных одно- или многомерных областей кодовых слов вместо применения глобального отображения ко всем кодовым словам или цветам и т.д.) цветового пространства или цветовой гаммы, что превосходит другие подходы, которые не реализуют методы, описанные в данном документе.

[0092] Межканальное предсказание TPB может применяться для предсказания кодовых слов в канале относительной яркости или яркости из HDR в SDR (или vice versa). В предыдущем примере цветового пространства Y, C0 (или Cb) и C1 (или Cr) в каждом цветовом канале или измерении независимо предоставляется полный набор базисных функций B-сплайнов. Таким образом, имеется три набора базисных функций B-сплайнов , и для цветовых каналов или измерений Y, C₀ и C₁ соответственно. Здесь j обозначает j-ые изображения SDR и HDR, t^y обозначает индекс базисной функции B-сплайна (при заданном наборе узловых точек вдоль измерения Y) для измерения Y яркости или относительной яркости; t^c0 обозначает индекс базисной функции B-сплайна (при заданном наборе узловых точек вдоль измерения C0) для измерения C0 цветности или хроматичности; t^c1 обозначает индекс базисной функции B-сплайна (при заданном наборе узловых точек вдоль измерения C1) для измерения C1 цветности или хроматичности; i обозначает индекс пикселя среди P пикселей в каждом из изображений SDR и HDR.

[0093] Обозначим общее количество базисных функций B-сплайнов в этих трех полных наборах базисных функций B-сплайнов , и как , и соответственно. При заданном соответствующем наборе узловых точек в каждом из трех измерений каждый набор в трех полных наборах базисных функций B-сплайнов , и может быть построен с использованием выражения (3), приведенного выше.

[0094] Базисные функции TPB для предсказания кодовых слов в канале относительной яркости и яркости могут быть построены путем взятия векторных произведений трех полных наборов базисных функций B-сплайнов , и для всех трех цветовых каналов или измерений. Базисная функция TPB с (3D) индексом TPB, представляющим уникальную комбинацию t^y, t^c0 и t^c1, может быть задана или вычислена следующим образом:

[0095] Межканальное предсказание значений кодовых слов относительной яркости SDR по значениям кодовых слов относительной яркости и хроматичности HDR , и может быть выполнено с использованием набора соответствующих коэффициентов {} следующим образом:

[0096] 3D-индекс TPB (, и ) может быть векторизован в 1D-индекс (обозначен как t) для упрощения выражений здесь. Базисная функция TPB ранее с 3D-индексом TPB (, и ) может быть переписана следующим образом:

[0097] Пусть . Межканальное предсказание TPB в выражении (14) выше может быть переписано следующим образом:

[0098] При заданных P пикселях в каждом из изображений SDR и HDR, все P подлежащих предсказанию (или целевых) значений кодового слова относительной яркости SDR, соответствующие коэффициенты () и межканальные функции TPB () могут быть собраны в матричной форме для предсказания (целевых) значений () кодовых слов относительной яркости SDR по соответствующим (входным) значениям () кодовых слов относительной яркости и хроматичности HDR следующим образом:

где

где левосторонняя часть LHS выражения (18) обозначает матрицу плана.

[0099] Решение коэффициентов может быть получено методом наименьших квадратов в замкнутой форме следующим образом:

где обозначает вектор фундаментальной истины в выражении (9) выше.

[0100] Для облегчения обсуждения выражение (20) может быть переписано с использованием матрицы и вектора следующим образом:

[0101] Таким образом,

[0102] Подобным образом межканальные предсказатели TPB могут быть построены для двух каналов или измерений цветности. Для иллюстрации обозначим любой из каналов C0 и C1 цветности как C. При заданных трех наборах узловых точек в измерениях Y, C₀ и C₁ три полных набора базисных функций B-сплайнов , и могут быть построены для измерений Y, C₀ и C₁ для предсказания TPB кодовых слов в канале C цветности (где C может представлять собой C0 или C1). Общие количества трех полных наборов базисных функций B-сплайнов могут представлять собой , и соответственно. Учитывая набор узловых точек в 3 измерениях, имеется 3 отдельных набора , и базисных функций.

[0103] Подобно межканальному предсказанию TPB кодовых слов в канале Y, для канала C цветности межканальные базисные функции TPB могут быть построены с индексированными тензорными элементами следующим образом:

[0104] Подобным образом 3D индекс TPB (, и ) может быть векторизован в 1D-индекс (обозначен как t) для упрощения выражений здесь. Пусть . Межканальное предсказание TPB для кодовых слов в канале C цветности может быть задано следующим образом:

[0105] При заданных P пикселях в каждом из изображений SDR и HDR, все P подлежащих предсказанию (или целевых) значений кодовых слов хроматичности SDR, соответствующие коэффициенты () и межканальные функции TPB () могут быть собраны в матричной форме для предсказания (целевых) значений () кодовых слов относительной яркости SDR по соответствующим (входным) значениям () кодовых слов относительной яркости и хроматичности HDR следующим образом:

где

где левосторонняя часть LHS выражения (27) представляет матрицу на основе TPB.

[0106] Решение коэффициентов может быть получено методом наименьших квадратов в замкнутой форме следующим образом:

[0107] Для облегчения обсуждения выражение (29) может быть переписано с использованием матрицы и вектора следующим образом:

[0108] Таким образом,

[0109] В некоторых рабочих сценариях места расположения узлов или узловых точек предварительно выбраны или фиксированы. Следует отметить, однако, что в различных вариантах осуществления места расположения (и/или общее количество) узлов или узловых точек могут быть или не быть предварительно выбраны или фиксированы. Например, в некоторых рабочих сценариях, поскольку места расположения (и/или общее количество) узлов или узловых точек могут повлиять на оптимальность решения, места расположения (и/или общее количество) узлов или узловых точек { k_t } вместе с параметрами/коэффициентами {} могут быть адаптивно определены как часть общей задачи или решения минимизации (или оптимизации) для межканального предсказания TPB.

[0110] Хотя адаптивный выбор узловых точек может еще больше повысить производительность и точность отображений или трансформаций между разными цветовыми схемами видеосодержимого, предварительная установка или предварительный выбор равномерно распределенных узловых точек, используемых в многомерном тензоре TPB, дает примерные преимущества, включая, но без ограничения, следующие: (1) расположенному выше по потоку процессору видеосодержимого нет необходимости сигнализировать или отправлять на расположенный ниже по потоку процессор видеосодержимого данные о местах расположения узлов, используемых в базисных функциях многомерного TPB в метаданных изображения, что снижает расходы битового потока на перенос и кодирование метаданных изображения; (2) нет необходимости в повторном вычислении базисных функций B-сплайнов или TPB на стороне декодера в ответ на разные узловые точки, которые в ином случае могут быть адаптивно изменены кадр за кадром, и т.д. Другими словами, базисные функции TPB с предварительно установленными или фиксированными узловыми точками могут быть жестко связаны с логикой или храниться в хранилище данных на стороне декодера, чтобы уменьшить вычислительную нагрузку во время выполнения и/или сложность аппаратного обеспечения.

[0111] В рабочих сценариях, в которых каждый из всех трех каналов или измерений имеет одинаковые базисные функции TPB, матрицы S для разных каналов являются одинаковыми, следующим образом:

[0112] На стороне декодера одна и та же матрица вычисляется без необходимости вычисления разных матриц S для разных каналов или измерений. Затем значения кодовых слов межканального предсказания для каждого канала могут быть получены путем умножения одной и той же матрицы S на соответствующие параметр/коэффициенты предсказания следующим образом:

В другом примере два канала цветности используют одну и ту же матрицу S, тогда как для канала яркости используется другая матрица S. Например, матрица S для канала яркости имеет большие размеры, чем матрица S для канала цветности. В таком случае количество коэффициентов предсказателя для канала яркости будет больше, чем количество коэффициентов предсказателя для каждого из каналов яркости.

Эффективная архитектура декодера

[0113] Когда узлы, или узловые точки, равномерно распределены, включая внешние узловые точки, базисные функции B-сплайнов могут быть выражены линейной комбинацией усеченных полиномов. Усеченный полином n-го порядка можно определить следующим образом:

[0114] Обозначим узловые точки как {}, {} и {} для каналов Y, C0 и C1. Когда узловые точки {}, {} и {} распределены равномерно, расстояние между каждыми двумя последовательными (или смежными) узловыми точками может быть выражено как , , исоответственно. Для простоты узловые точки для каждого канала могут быть обозначены как {} и соответственно.

[0115] Первый порядок t-ой базисной функции B-сплайна может быть построен с помощью линейной комбинации усеченных полиномов следующим образом:

где является положительным или поддерживается только в диапазоне [ ] или на интервале 2h, а в ином случае вне этого диапазона равно нулю (0). Как показано в выражении (36), базисная функция B-сплайна первого порядка содержит три члена, каждый из которых содержит соответствующий коэффициент умножения узла (обозначаемый как c_i, где i представляет собой целое число от 0 до 2), умноженный на разницу между входным значением (например, входным или исходным кодовым словом, используемым для предсказания целевого кодового слова, аппроксимирующего эталонное кодовое слово, и т.д.) и соответствующей узловой точкой. Например, коэффициент умножения первого узла для первого члена в выражении (36) равен ; коэффициент умножения второго узла для второго члена в выражении (36) равен - ; коэффициент умножения третьего узла для третьего члена в выражении (36) равен .

[0116] 2-ой порядок t-ой базисной функции B-сплайна может быть построен с помощью линейной комбинации усеченных полиномов следующим образом:

где является положительным или поддерживается только в диапазоне [ ] или на интервале 3h, а в ином случае вне этого диапазона равно нулю (0). Как показано в выражении (37), базисная функция B-сплайна 2-го порядка содержит четыре члена, каждый из которых содержит соответствующий коэффициент умножения узла (обозначаемый как c_i, где i представляет собой целое число от 0 до 3), умноженный на разницу между входным значением (например, входным или исходным кодовым словом, используемым для предсказания целевого кодового слова, аппроксимирующего эталонное кодовое слово, и т.д.) и соответствующей узловой точкой. Например, коэффициент умножения первого узла для первого члена в выражении (37) равен ; коэффициент умножения второго узла для второго члена в выражении (37) равен - ; коэффициент умножения третьего узла для третьего члена в выражении (37) равен ; коэффициент умножения четвертого узла для четвертого члена в выражении (37) равен .

[0117] 3-й порядок t-й базисной функции B-сплайна может быть построен с помощью линейной комбинации усеченных полиномов следующим образом:

где является положительным или поддерживается только в диапазоне [ ] или на интервале 4h, а в ином случае вне этого диапазона равно нулю (0). Как показано в выражении (38), базисная функция B-сплайна 3-го порядка содержит пять членов, каждый из которых содержит соответствующий коэффициент умножения узла (обозначаемый как c_i, где i представляет собой целое число от 0 до 4), умноженный на разницу между входным значением (например, входным или исходным кодовым словом, используемым для предсказания целевого кодового слова, аппроксимирующего эталонное кодовое слово, и т.д.) и соответствующей узловой точкой. Например, коэффициент умножения первого узла для первого члена в выражении (38) равен ; коэффициент умножения второго узла для второго члена в выражении (38) равен - ; коэффициент умножения третьего узла для третьего члена в выражении (38) равен ; коэффициент умножения четвертого узла для четвертого члена в выражении (38) равен - ; коэффициент умножения пятого узла для пятого члена в выражении (38) равен .

[0118] Наличие этих полиномиальных выражений для базисных функций B-сплайнов позволяет процессору видеосодержимого, такому как кодер, декодер, транскодер и т.д., использовать полиномы для базисных функций B-сплайнов и избегать рекурсивного получения базисных функций B-сплайнов. Это упрощает реализацию аппаратного обеспечения, поскольку реализовать рекурсивное выражение B-сплайна может быть относительно сложно. Рекурсивное выражение также, вероятно, потребует относительно много времени и относительно большого объема памяти для вычисления и хранения. Выражение усеченными полиномами можно использовать для экономии вычисления, жертвуя гибкостью, имеющейся при неравномерных (например, адаптивных и т.д.) узловых точках.

[0119] Дополнительно, необязательно или альтернативно n-ый порядок базисных функций B-сплайнов является положительным, пересекая (n+1)h интервалов. Для заданной точки x только (n+1) базисных функций содержат поддерживаемые или возможные положительные значения в диапазонах, охватывающих точку x. В результате для данной точки x активируются только эти (n+1) базисных функций. Остальные базисные функции равны нулю (0) в данной точке x, поскольку данная точка x находится вне диапазонов, в которых остальные базисные функции являются ненулевыми. Для построения базисных функций TPB для трех цветовых каналов или измерений активируются не все базисные функции B-сплайнов, а только (n+1)³ базисных функций B-сплайнов. Это значительно уменьшает потенциально многочисленные умножения из (исходного) общего количества () базисных функций B-сплайнов.

Реализация декодера

[0120] На фиг. 1B проиллюстрированы приведенные в качестве примера блоки обработки для межканального предсказания TPB, которые могут быть реализованы в процессоре видеосодержимого (например, декодере, кодере, транскодере и т.д.) с одним или более компьютерными процессорами. Некоторые или все из этих блоков обработки могут быть реализованы в аппаратном обеспечении, программном обеспечении или комбинации аппаратного обеспечения и программного обеспечения.

[0121] Блок 192 предусматривает операции генерирования базиса TPB, которые подготавливают базисную функцию B-сплайна в каждом канале или измерении, выводят разных значений из каждой базисной функции в канале или измерении Y, выводят разных значений из каждой базисной функции в канале или измерении Cb, выводят разных значений из каждой базисной функции в канале или измерении Cr и т.д. Поскольку имеется только (n+1) ненулевых значений в каждом канале или измерении, при выводе только выходного ненулевого сигнала или значения имеется только 3*(n+1) ненулевых сигналов или значений из 3 каналов или измерений. Операции в этом блоке могут быть предварительно настроены, фиксированы и/или предварительно исполнены без ожидания приема видеосодержимого или метаданных изображения, при условии, что узловые точки для базисных функций B-сплайнов предварительно настроены, фиксированы или доступны иным образом.

[0122] Блок 194 предусматривает операции перекрестного произведения TPB, которые выполняют операции умножения перекрестного произведения из одномерных базисных функций B-сплайнов для построения базисных функций TPB более высоких размерностей, следующим образом:

Яркость:

Цветность:

[0123] Поскольку имеется (n+1) ненулевых значений в каждом канале или измерении, имеется (n+1)³ операций умножения и (n+1)³ выводов из блока 194. Операции в этом блоке могут быть фиксированными, но индикаторы (или индексы) для использования с целью предсказания TPB может быть нужно отслеживать.

[0124] Блок 196 предусматривает операции умножения коэффициентов TPB, умножающие ненулевые значения, выводимые из блока 194, на параметры/коэффициенты {} предсказания, считываемые из метаданных изображения (например, метаданных формирователя), доставленных с видеосодержимым в принятом видеосигнале. Имеется (n+1)³ операций умножения для взвешивания каждой базисной функции высокой размерности и операций добавления для суммирования всех значений с целью генерирования окончательных предсказанных значений , и следующим образом:

Яркость:

Цветность:

где C представляет либо C0, либо C1.

[0125] Операции в блоке 196 могут динамически идентифицировать и/или распределять базисные индексы и индексы параметров.

[0126] На фиг. 1C и фиг. 1D проиллюстрированы приведенные в качестве примера реализации операций генерирования базиса TPB в блоке 192, представленном на фиг. 1B.

[0127] На фиг. 1C проиллюстрирована приведенная в качестве примера основанная на уравнениях реализация генерирования выводов базисных функций B-сплайнов, которые затем могут использоваться для генерирования тензорных произведений, представляющих выводы базисных функций TPB. В некоторых рабочих сценариях реализация на основе уравнений по фиг. 1C может быть основана на любом из выражений (36)-(38) для базисных функции B-сплайнов порядков с первого по 3-й. В некоторых рабочих сценариях реализация на основе уравнений по фиг. 1C может быть основана на выражении в усеченных полиномах, подобном выражениям (36)-(38) для базисных функций B-сплайнов порядка, отличного от порядков с первого по 3-й.

[0128] Как проиллюстрировано на фиг. 1C, выходное значение t-ой базисной функции B-сплайна (которое может использоваться для формирования базисных функций TPB посредством выражения (24) выше) может быть вычислено с использованием входных данных x (например, входного или исходного кодового слова, по меньшей мере частично на основе которого предсказывается целевое кодовое слово, аппроксимирующее эталонное кодовое слово в канале или измерении цветового пространства, и т.д.) и параметров базисной функции B-сплайна, таких как (например, фиксированные и т.д.) узловые точки , и параметров умножения узлов . Выходные значения соответствующих базисных функций TPB могут быть затем сгенерированы как тензорные произведения выходных значений базисных функций B-сплайнов.

[0129] В некоторых рабочих сценариях реализация на основе уравнений по фиг. 1C может быть воплощена в относительно большом количестве экземпляров или потоков, работающих параллельно. В некоторых рабочих сценариях реализация на основе уравнений по фиг. 1C может быть повторно использована, например в единственном потоке или относительно небольшом количестве потоков, путем загрузки разных параметров базисных функций, если аппаратное обеспечение (например, логика обработки или процессор, реализующие этот основанный на уравнениях подход, и т.д.) работает с относительно высокой частотой.

[0130] Как проиллюстрировано на фиг. 1D, вывод для каждой базисной функции B-сплайна может быть сохранен в локальных регистрах. Как упомянуто выше, имеется только (n+1) ненулевых выводов из соответствующего количества базисных функций B-сплайнов. Таким образом, для данного входного значения x необходимо выполнить только (n+1) выводов базисных функций.

[0131] Выбранные (n+1) ненулевых выводов могут быть быстро проиндексированы с использованием наиболее значимых битов, или MSB, если количество внутренних узловых точек равно степени 2 плюс 1. Тогда интервал между двумя (например, последовательными, смежными и т.д.) внутренними узловыми точками {} равен просто степени 2. Конкретные выводы и количество ненулевых выводов может быть идентифицировано просто с использованием битов MSB.

[0132] Дополнительно, необязательно или альтернативно выводы базисных функций B-сплайнов могут быть основаны на таблице поиска (LUT), дополнительно к реализации на основе уравнений или вместо нее. Например, в некоторых рабочих сценариях 1D LUT может быть построена для каждой 1D базисной функции B-сплайна. Например, некоторое количество записей LUT (например, в сумме + + , и т.д.) может быть сохранено для каждого канала или измерения соответственно. Если кеш или объем памяти является относительно достаточно большим, то все записи для всех базисных функций могут храниться одновременно. Следует также отметить, что при равномерно распределенных узловых точках базисные функции B-сплайнов вдоль каждого канала или измерения представляют собой простые сдвинутые версии одной из базисных функций B-сплайнов, как проиллюстрировано на фиг. 3A-3D. Этим свойством можно воспользоваться для обеспечения относительно эффективного решения в как в аппаратной, так и в программной реализации, что касается и объема памяти, и вычислений. Выводы функций B-сплайнов могут быть сгенерированы путем применения операций сдвига к входным данным на основе множества смещений. В результате для 1D LUT может потребоваться просто покрывать (n+1)h интервалов вместо всего диапазона входных значений (например, сигнала, кодового слова и т.д.), тем самым значительно уменьшая количество необходимых записей LUT. Единственной дополнительной логикой, которую нужно добавить или реализовать, могут быть операции сдвига указанных смещений. Если аппаратное обеспечение или процессоры могут работать с относительно высокой частотой, в генерировании выводов разных базисных функций B-сплайнов в одном и том же канале или измерении может использоваться одна и та же логика обработки, например с разными смещениями.

[0133] На фиг. 1E и фиг. 1F проиллюстрированы приведенные в качестве примера реализации операций перекрестного произведения TPB в блоке 194, представленном на фиг. 1B.

[0134] На фиг. 1E проиллюстрированы приведенные в качестве примера операции перекрестного произведения TPB в параллельном режиме. Как проиллюстрировано на фиг. 1E, для каждого канала или измерения (n+1) выводов генерируется из базисных функций B-сплайнов каждого канала. Для каждого канала или измерения операции перекрестного произведения TPB в блоке 194 выполняют (n+1)³ операций умножения для соответствующих (n+1) выводов и сохраняют результаты умножения (или тензорное произведение) как выводы перекрестного произведения TPB (например, как показано в выражении (24), и т.д.), например в регистрах вывода. Выводы перекрестного произведения TPB затем подаются в блок 196 для умножения на (например, сгенерированные кодером, сгенерированные расположенным выше по потоку процессором видеосодержимого и т.д.) коэффициенты предсказания (например, , и т.п.), например из метаданных изображения, принятых в видеосигнале или декодированных из него, с использованием выражений (34).

[0135] На фиг. 1F проиллюстрированы приведенные в качестве примера операции перекрестного произведения TPB в серийном или последовательном режиме. Как проиллюстрировано на фиг. 1F, если операции перекрестного произведения TPB могут быть выполнены с относительно высокой скоростью посредством логики обработки относительно высокой частоты, операции перекрестного произведения TPB в блоке 194 и операции умножения коэффициентов TPB в блоке 196 могут быть объединены. В зависимости от возможностей аппаратного обеспечения и объема памяти, (n+1)³ членов можно разделить на N групп, где N является положительным целым числом; каждая из N групп имеет свои собственные множители для выполнения операций перекрестного произведения TPB и соответствующего умножения коэффициентов TPB, например путем повторения (n+1)³/N раз в цикле «for». N представляет собой проектный параметр аппаратного обеспечения для достижения конкретных целевых показателей производительности, включая, но без ограничения, скорость, размер кристалла, тактовую частоту и т.д.

[0136] На фиг. 1G и фиг. 1H проиллюстрированы приведенные в качестве примера схемы для применения предсказания TPB к входной или исходной цветовой схеме 158 видеосодержимого для генерирования целевой или отображаемой цветовой схемы, содержащей TPB предсказанные (например, целевые, отображенные и т.д.) кодовые слова, аппроксимирующие эталонные кодовые слова в эталонной кодовой схеме 160 видеосодержимого. Схемы, подобные показанным на фиг. 1G и фиг. 1H, могут быть реализованы на стороне кодера для генерирования целевой или отображенной цветовой схемы, как предсказано по входной или исходной цветовой схеме (158), аппроксимирующей эталонную кодовую схему (160) видеосодержимого. Некоторые или все эти схемы могут быть реализованы в программном обеспечении, аппаратном обеспечении, комбинации программного и аппаратного обеспечения и т.д. и могут быть выполнены одним или более компьютерными процессорами.

[0137] Только в качестве иллюстрации, цветовые схемы (158) и (160) могут быть закодированы в формате субдискретизации, таком как 4:2:0 в цветовом пространстве YCbCr. В формате субдискретизации 4:2:0 кодовые слова цветности или хроматичности (Cb и Cr) имеют четверть размера кодового слова яркости или относительной яркости. Для выполнения предсказания между каналами яркости-цветности, такого как межканальное предсказание TPB, размеры (или размерности) кодовых слов могут быть выровнены (например, подвергнуты повышающей дискретизации, если это необходимо, подвергнуты понижающей дискретизации, если это необходимо, и т.д.) для всех входных или исходных цветовых каналов.

[0138] Как проиллюстрировано на фиг. 1G, для предсказания яркости TPB кодовые слова цветности или хроматичности (Cb/Cr) исходной цветовой схемы (158) могут быть подвергнуты повышающей дискретизации блоком 164 обработки. Подвергнутые повышающей дискретизации кодовые слова цветности выводятся блоком (164) обработки в блок 166 предсказания относительной яркости TPB. Подвергнутые повышающей дискретизации кодовые слова цветности в комбинации кодовых слов (Y) яркости или относительной яркости исходной кодовой схемы (158) тех же размеров (или размерностей) могут использоваться блоком (166) предсказания относительной яркости TPB для предсказания отображаемых или преобразованных кодовых слов яркости или относительной яркости, аппроксимирующих кодовые слова яркости или относительной яркости в эталонной цветовой схеме (160).

[0139] Как проиллюстрировано на фиг. 1G, для предсказания цветности Cb TPB кодовые слова (Y) яркости исходной цветовой схемы (158) могут быть подвергнуты понижающей дискретизации блоком 162 обработки. Подвергнутые понижающей дискретизации кодовые слова яркости выводятся блоком (162) обработки в блок 168 предсказания цветности Cb TPB. Подвергнутые понижающей дискретизации кодовые слова яркости в комбинации кодовых слов цветности исходной кодовой схемы (158) одних и тех же размеров (или размерностей) могут быть использованы блоком (168) предсказания цветности Cb TPB для предсказания отображенных или преобразованных кодовых слов цветности Cb, аппроксимирующих кодовые слова цветности Cb в эталонной цветовой схеме (160).

[0140] Как проиллюстрировано на фиг. 1G, для предсказания цветности Cr TPB подвергнутые понижающей дискретизации кодовые слова яркости выводятся блоком (162) обработки на блок 170 предсказания цветности Cr TPB. Подвергнутые понижающей дискретизации кодовые слова яркости в комбинации кодовых слов цветности исходной кодовой схемы (158) одних и тех же размеров (или размерностей) могут быть использованы блоком (170) предсказания цветности Cr TPB для предсказания отображенных или преобразованных кодовых слов цветности Cr, аппроксимирующих кодовые слова цветности Cr в эталонной цветовой схеме (160).

[0141] В некоторых рабочих сценариях, как проиллюстрировано на фиг. 1H, только подвергнутые понижающей дискретизации кодовые слова яркости, полученные посредством понижающей дискретизации (например, посредством блоков 162-1 и 162-2 обработки и т.д.) кодового слова яркости исходной цветовой схемы (158), используются общим блоком 172 предсказания TPB для получения предсказаний TPB и параметров или коэффициентов предсказания TPB для всех каналов. Это значительно снижает потребление памяти, так как используется только понижающая дискретизация относительной яркости.

[0142] В некоторых рабочих сценариях на стороне кодера параметры или коэффициенты предсказания TPB могут быть сгенерированы блоками (например, 166, 168, 170, 172 и т.д.) предсказания TPB как решения, которые сводят к минимуму разницы между отображенными или преобразованными кодовыми словами яркости/цветности кодовое и выровненными (например, подвергнутыми повышающей дискретизации, если это необходимо, подвергнутыми понижающей дискретизации, если это необходимо) кодовыми словами яркости/цветности эталонной цветовой схемы (160). Параметры или коэффициенты предсказания TPB могут быть закодированы в видеосигнале для находящихся ниже по потоку процессоров видеосодержимого как часть метаданных изображения (например, метаданных формирователя).

[0143] В некоторых рабочих сценариях на стороне декодера параметры или коэффициенты предсказания TPB могут быть декодированы находящимся ниже по потоку устройством-получателем из видеосигнала как часть метаданных изображения. Декодированная версия исходной цветовой схемы (158) может также быть декодирована устройством из видеосигнала. Параметры или коэффициенты предсказания TPB могут быть использованы устройством для генерирования отображенных или преобразованных изображений, представляющих восстановленную цветовую схему, которая близко аппроксимирует эталонную цветовую схему (160). Отображенные или преобразованные изображения могут быть воспроизведены на устройстве отображения как цветовая схема, отличающаяся от декодированной версии исходной цветовой схемы (158).

[0144] Дополнительно, необязательно или альтернативно в некоторых рабочих сценариях, в которых общее количество узловых точек и порядок B-сплайна одинаковы как для каналов яркости, так и для каналов цветности, вычисление может быть еще больше сокращено. Например, в трехэтапной реализации, которая проиллюстрирована на фиг. 1B, два этапа, а именно генерирование базиса TPB и перекрестное произведение TPB, являются одинаковыми для всех трех каналов или измерений. Таким образом, единственной разницей среди каналов являются разные параметры/коэффициенты предсказания TPB, используемые при умножении коэффициентов TPB на одном этапе. Следует отметить, что в некоторых других вариантах осуществления или реализациях количество узлов может отличаться для разных цветовых каналов с целью обеспечения дополнительной гибкости или компромиссов в достижении производительности и/или точности.

Предсказание TPB на основе 3DMT

[0145] В некоторых рабочих сценариях предсказание TPB может быть реализовано с использованием гистограмм или распределений кодовых слов, генерируемых на основе методов 3D таблиц отображения (3DMT).

[0146] Пусть является первым 3D массивом, содержащим первые кодовые слова яркости и цветности i-го пикселя из первого изображения (например, входного или исходного изображения и т.д.), такого как изображение HDR, первой цветовой схемы видеосодержимого. Пусть является вторым 3D массивом, содержащим вторые кодовые слова яркости и цветности i-го пикселя из второго изображения (которое изображает то же визуальное содержимое, что и первое изображение, или соответствует ему; например, эталонное изображение и т.д.), такого как изображение SDR, второй цветовой схемы видеосодержимого.

[0146] Значения (Y, C₀ и C₁) кодовых слов яркости и цветности трех каналов, используемые для представления содержимого изображения первой цветовой схемы, могут быть соответственно квантованы или включены в фиксированное количество 1D интервалов (например, первое фиксированное количество интервалов яркости, второе фиксированное количество интервалов цветности Cb, третье фиксированное количество интервалов цветности Cb и т.д.) для каждого канала или компонента. 3D гистограмма, обозначенная как (где ), с фиксированным числом () 3D интервалов может быть построена с использованием 1D интервалов для первой цветовой схемы. В некоторых рабочих сценариях первое трехканальное пространство кодового слова яркости и цветности, содержащее все возможные значения кодового слова яркости и цветности для кодирования первой цветовой схемы, может быть равномерно разбито на фиксированное количество () 3D интервалов, при этом каждый канал равномерно разбит на фиксированные количество 1D интервалов (например, первое фиксированное количество интервалов яркости, второе фиксированное количество интервалов цветности Cb, третье фиксированное количество интервалов цветности Cb и т.д.).

[0148] Таким образом, 3D гистограмма содержит общее число () интервалов так, что каждый 3D интервал может быть указан соответствующим индексом q = () интервала; при этом интервал представляет или содержит подсчет количества пикселей в первом изображении (первой цветовой схемы), имеющих трехканальные квантованные значения, попадающими в границы 3D интервала.

[0149] Кроме того, сумма каждого цветового компонента во втором изображении (второй цветовой схемы; например, эталонном изображении, которое должно быть аппроксимировано отображенным изображением первого изображения и т.д.) может поддерживаться в каждом или для каждого 3D интервала 3D гистограммы . Пусть , и являются суммами соответственно (эталонных) значений кодового слова яркости и цветности в области 2-го изображения так, что каждый 3D интервал содержит суммы значений кодового слова яркости и цветности (C₀ и C₁) пикселей во втором изображении, где пиксели во втором изображении соответствуют пикселям первого изображения, подсчет которых хранится в том же 3D интервале.

[0150] Положим, что каждое из первого и второго изображений имеет P пикселей. Приведенная в качестве примера процедура генерирования 3D интервалов с подсчетами пикселей первого изображения первой цветовой схемы и суммами значений кодового слова пикселей, соответствующих пикселям первого изображения, второго изображения второй цветовой схемы проиллюстрирована в Таблице 4 ниже.

[0151] Пусть (, ,) представляют центр q-го интервала SDR 3D гистограммы . Эти центральные значения фиксированы для всех изображений первой цветовой схемы и могут быть предварительно вычислены. Соответствующие эталонные или целевые значения HDR, к которым аппроксимируются центральные значения, могут быть получены с использованием приведенной в качестве примера процедуры, проиллюстрированной в Таблице 5 ниже.

[0152] В некоторых рабочих сценариях в 3D гистограмме идентифицируют и сохраняют 3D интервалы, каждый из которых имеет ненулевые подсчеты пикселей для пикселей в первом изображении первой цветовой схемы, в то время как все остальные 3D интервалы, каждый из которых имеет нулевые подсчеты пикселей (или относительно малые подсчеты пикселей ниже заданного порога подсчета пикселей) для пикселей в первом изображении первой цветовой схемы отбрасывают. Пусть q_0, q_1,…q_k-1, представляют k таких интервалов, для которых . Средние значения , и могут быть вычислены посредством приведенной в качестве примера процедуры, проиллюстрированной в Таблице 6 ниже.

[0153] Для данного действительного индекса интервала (например, индекса интервала с ненулевым подсчетом пикселей и т.д.) пару отображения, содержащую подлежащие отображению значения кодовых слов яркости и цветности (представленные центральными значениями 3D интервала с индексом интервала) первого изображения первой цветовой схемы и эталонные значения кодовых слов яркости и цветности (представленные средними значениями сумм значений кодовых слов яркости и цветности соответствующих пикселей) второго изображения второй цветовой схемы, подлежащие аппроксимации отображенным изображением, можно получить следующим образом:

[0154] На основе 3DMT (или 3D интервалов, сгенерированных в соответствии с ней), межканальное предсказание TPB отображаемых значений и по центральным значениям 3D-интервала, как представлено в выражении (41-1), для аппроксимации эталонных значений, как представлено в выражении (41-2), можно выполнить следующим образом:

Яркость:

Цветность:

[0155] Параметры или коэффициенты предсказателя TPB могут быть получены посредством обработки, подобной таковой в решении на основе отдельных пикселей. Матрица плана и целевой вектор могут быть построены путем взятия входных значений из таблицы отображения, содержащей все пары отображения (например, выражения 41 выше и т.д.) для всех действительных 3D интервалов.

[0156] Для предсказания яркости TPB матрица плана и целевой вектор могут быть построены следующим образом:

[0157] Для предсказания цветности TPB матрица плана и целевой вектор могут быть построены следующим образом:

[0158] Решение для параметров или коэффициентов предсказания TPB может быть получено методом наименьших квадратов следующим образом:

[0159] Методы предсказания TPB на основе 3DMT могут использоваться для обеспечения относительно высокой скорости вычислений. Вместо построения B и матрицы из всех P отдельных пикселей для каждой пары изображений можно использовать k записей из таблицы отображения, содержащей пары отображения на основе 3D интервалов. В некоторых рабочих сценариях k может сохраняться, или ограничиваться, или выбираться в диапазоне тысяч, что намного меньше, чем значение P, которое может находиться в диапазоне миллионов или даже больше. Порядок величины экономии в вычислениях может равняться 3.

[0160] Дополнительно, необязательно или альтернативно методы предсказания TPB на основе 3DMT могут использоваться для смягчения или предотвращения проблемы соотношения большинства и меньшинства, при которой может отдаваться предпочтение или придаваться чрезмерное значение относительно большим областям/зонам изображения в изображении в ущерб относительно малым областям/зонам изображения в том же изображении. Наличие относительно справедливого весового коэффициента в каждом цветовом кубе, представленном 3D интервалом, может помочь уменьшить цветовой артефакт и повысить цветовую точность.

Предсказание TPB на основе сцены/сегмента/линейной обработки

[0161] Предсказание TPB, как описано в данном документе, может быть выполнено с использованием архитектуры кодирования на основе сцены, на основе сегмента и/или на основе линейной обработки.

[0162] Предположим, что в одной сцене, изображаемой в видеосодержимом видеосигнала, есть F изображений/кадров; с использованием архитектуры на основе сцены, все B и a из всех кадров в этой сцене можно суммировать следующим образом:

[0163] Следует отметить, что в различных вариантах осуществления B и a в выражениях (49) или (50) могут быть построены либо из основанных на пикселях, либо основанных на 3DMT данных отображения между разными цветовыми схемами видеосодержимого.

[0164] Поскольку матрица может быть в плохо определенном состоянии со столбцами (и строками), содержащими все нули (или относительно малые значения по отдельности или в совокупности ниже порога), эти столбцы (и строки) могут быть удалены из матрицы B, например с использованием приведенной в качестве примера процедуры, как проиллюстрировано в Таблице 7 ниже.

[0165] Подобным образом, поскольку матрица а может быть в плохо определенном состоянии со строками, соответствующими столбцам (и строкам), идентифицированным и исключенным из матрицы В, эти записи в матрице а могут быть удалены. Приведенная в качестве примера процедура идентификации этих записей в матрице а показана в Таблице 8 ниже.

[0166] Решение для предсказания TPB на основе сцены может быть найдено следующим образом:

[0167] Приведенная в качестве примера процедура для генерирования всех параметров или коэффициентов предсказания TPB (включая те, что соответствуют столбцам/строкам, идентифицированным и исключенным из матрицы B) проиллюстрирована в Таблице 9 ниже.

[0168] В некоторых вариантах осуществления этот способ предсказания TPB на основе сцены может применяться к совокупности пар обучающих изображений для определения или получения статического отображения TPB.

[0169] Дополнительно, необязательно или альтернативно архитектура кодирования на основе сегмента и/или на основе линейной обработки может использоваться для выполнения предсказания TPB. Например, в некоторых рабочих сценариях подход со скользящим окном используется в архитектуре на основе сегмента/линейной обработки с методами, подобными тем, которые используются в вышеописанном методе предсказания TPB на основе сцены. Методы предсказания TPB на основе сцены и т.п. можно применять в скользящем окне, просто рассматривая «сцену» как скользящее окно, или vice versa.

Синтаксис и семантика кодирования/декодирования метаданных изображения

[0170] Для кодирования и/или декодирования метаданных изображения, включая параметры или коэффициент предсказания TPB, может использоваться широкий спектр синтаксиса и семантики. Приведенные в качестве примера синтаксис и семантика для кодирования/декодирования метаданных изображения, содержащих параметры или коэффициенты TPB, проиллюстрированы в Таблице 10 ниже.

[0171] В Таблице 10 «x» и «y» представляют двумерные индексы блока (блоков) изображения, на которые разбиты изображение/кадр, и «cmp» представляет количество компонентов или каналов цветового пространства, с которыми связаны параметры TPB.

[0172] Некоторые из переменных цикла, используемых в синтаксисе кодирования в Таблице 10, определены следующим образом:

tpb_num_basis[ y ][ x ][ cmp ][0] = ( tpb_num_knot_minus1[ y ][ x ][ cmp ][0] +

tpb_order_minus1[ y ][ x ][ cmp ][0] + 1 )

tpb_num_basis[ y ][ x ][ cmp ][1] = ( tpb_num_knot_minus1[ y ][ x ][ cmp ][1] +

tpb_order_minus1[ y ][ x ][ cmp ][1] + 1 )

tpb_num_basis[ y ][ x ][ cmp ][2] = ( tpb_num_knot_minus1[ y ][ x ][ cmp ][2] +

tpb_order_minus1[ y ][ x ][ cmp ][2] + 1 )

[0173] Семантика некоторых элементов (например, представленных в дифференциальном кодировании, таком как экспоненциальные коды Голомба, и т.д.), закодированных/декодированных посредством синтаксиса кодирования согласно Таблице 10, определяется следующим образом:

- tpb_num_knot_minus1[ y ][ x ][ cmp ][ k ] указывает количество узлов минус 1 в k-ом канале

- tpb_order_minus1[ y ][ x ][ cmp ][ k ] указывает порядок TPB минус 1

- tpb_zero_coef[ y ][ x ][ cmp ][ i ][ j ][ k ] указывает, является ли коэффициент нулевым.

- tpb_int[ y ][ x ][ cmp ][i][j][k] указывает целую часть fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ] , когда coefficient_data_type равен 0. Если coefficient_data_type равен 1, tpb_int [ y ][ x ][ cmp ] [ i ][ j ][ k ] отсутствует. (Например, fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ] используется для получения весового коэффициента (, и т.д.) для соответствующей базисной функции TPB i, связанной с mapping_idc[ y ][ x ][ cmp ], когда coefficient_data_type равен 0.)

- tpb_coef[ y ][ x ][ cmp ][ i ] указывает дробную часть fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ], когда coefficient_data_type равен 0. Если coefficient_data_type равен 1, tpb_coef [ y ][ x ][ cmp ][ i ][ j ][ k ] используется для получения значений весовых коэффициентов или коэффициентов усиления, связанных с mapping_idc[ y ][ x ][ cmp ]. Если coefficient_data_type равен 0, длина элемента синтаксиса tpb _coef [ y ][ x ][ cmp ][ i ][ j ][ k ] составляет coefficient_log2_denom битов. Если coefficient_data_type равен 1, длина элемента синтаксиса tpb_coef [ y ][ x ][ cmp ][ i ][ j ][ k ] составляет 32 бита. Значения весовых коэффициентов или коэффициентов усиления при нормализации, связанной с mapping_idc[ y ][ x ][ cmp ], получают следующим образом:

Если коэффициент_data_type равен 0, значение весовых коэффициентов или коэффициента усиления равно fp_tpb_coef[ y ][ x ][ cmp ][ i ][ j ][ k ] = (tpb _int [ y ][ x ][ cmp ][ i ][ j ][ k ] << coefficient_log2_denom) + tpb _coef [ y ][ x ][ cmp ][ i ][ j ][ k ], где «<<» представляет операцию сдвига.

Если coefficient_data_type равен 1, значения весовых коэффициентов или коэффициента усиления равно tpb _coef [ y ][ x ][ cmp ][ i ][ j ][ k ].

Приведенные в качестве примера последовательности операций процесса

[0174] На фиг. 4A проиллюстрирована приведенная в качестве примера последовательность операций процесса согласно варианту осуществления настоящего изобретения. В некоторых вариантах осуществления одно или более вычислительных устройств или компонентов (например, кодирующие устройство/модуль, транскодирующие устройство/модуль, декодирующие устройство/модуль, устройство/модуль обратной тональной компрессии, устройство/модуль тональной компрессии, медиа устройство/модуль, система генерирования и применения обратного отображения и т.д.) могут выполнять эту последовательность операций процесса. В блоке 402 система обработки изображении определяет набор базисных функций B-сплайнов тензорного произведения (TPB).

[0175] В блоке 404 система обработки изображения генерирует набор выбранных параметров предсказания TPB для использования с набором базисных функций TPB для генерирования предсказываемых данных изображения в одном или более отображенных изображениях из данных исходного изображения в одном или более исходных изображениях исходной цветовой схемы. Набор выбранных параметров предсказания TPB генерируется путем сведения к минимуму разниц между предсказываемыми данными изображения в одном или более отображенных изображениях и данными эталонного изображения в одном или более эталонных изображениях эталонной цветовой схемы. Одно или более эталонных изображений соответствуют одному или более исходным изображениям и изображают то же визуальное содержимое, которое изображено на одном или более исходных изображениях.

[0176] В блоке 406 система обработки изображения кодирует в видеосигнале набор выбранных параметров предсказания TPB как часть метаданных изображения вместе с данными исходного изображения в одном или более исходных изображениях.

[0177] В блоке 408 система обработки изображения обеспечивает восстановление и воспроизведение одного или более отображенных изображений устройством-получателем видеосигнала.

[0178] В варианте осуществления по меньшей мере одни из данных исходного изображения или данных эталонного изображения представлены в формате субдискретизации цветового пространства.

[0179] В варианте осуществления одно или более исходных изображений представляют одно из: изображений, составляющих визуальную сцену в медиапрограмме; изображений, выбранных в скользящем окне; изображений, выбранных в линейном сегменте, и т.д.

[0180] В варианте осуществления набор базисных функций TPB генерируют посредством тензорных произведений одного или более наборов базисных функции B-сплайнов; при этом каждый набор базисных функций B-сплайнов в одном или более наборах базисных функций B-сплайнов соответствует соответствующему цветовому каналу в одном или более цветовых каналах цветового пространства.

[0181] В варианте осуществления по меньшей мере один набор базисных функций B-сплайнов в одном или более наборах базисных функций B-сплайнов представляет полный набор базисных функций B-сплайнов определенного порядка.

[0182] В варианте осуществления один или более наборов базисных функций B-сплайнов содержат набор базисных функций B-сплайнов, сгенерированный посредством усеченных полиномов и набора равномерно распределенных узловых точек.

[0183] В варианте осуществления комбинация набора выбранных параметров предсказания TPB и набора базисных функций TPB представляет межканальный предсказатель для генерирования предсказываемых данных изображения в одном или более отображенных изображениях.

[0184] В варианте осуществления набор параметров предсказания TPB генерируют с использованием множества пар отображения, каждая из которых содержит первый массив одного или более исходных кодовых слов, сгенерированных из данных исходного изображения, и второй массив одного или более эталонных кодовых слов, сгенерированных из данных эталонного изображения.

[0185] В варианте осуществления множество пар отображения генерируют на основе трехмерной таблицы отображения (3DMT).

[0186] На фиг. 4B проиллюстрирована приведенная в качестве примера последовательность операций процесса согласно варианту осуществления настоящего изобретения. В некоторых вариантах осуществления одно или более вычислительных устройств или компонентов (например, кодирующие устройство/модуль, транскодирующие устройство/модуль, декодирующие устройство/модуль, устройство/модуль обратной тональной компрессии, устройство/модуль тональной компрессии, медиа устройство/модуль, система выбора признака и модели предсказания, система генерирования и применения обратного отображения и т.д.) могут выполнять эту последовательность операций процесса. В блоке 452 система декодирования видео декодирует из видеосигнала одно или более первых изображений первой цветовой схемы.

[0187] В блоке 454 система декодирования видео декодирует из видеосигнала метаданные изображения, содержащие набор выбранных параметров предсказания TPB для умножения на набор базисных функций B-сплайнов тензорного произведения (TPB).

[0188] Набор выбранных параметров предсказания TPB был сгенерирован находящимся выше по потоку процессором видеосодержимого, при этом набор выбранных параметров предсказания TPB предназначен для использования с набором базисных функций TPB для генерирования предсказываемых данных изображения в одном или более отображенных изображениях из данных первого изображения в одном или более первых изображениях первой цветовой схемы. Находящийся выше по потоку процессор видеосодержимого сгенерировал набор выбранных параметров предсказания TPB путем сведения к минимуму разниц между предсказываемыми данными изображения в одном или более отображенных изображениях и данными эталонного изображения в одном или более эталонных изображениях эталонной цветовой схемы. Одно или более эталонных изображений соответствуют одному или более первым изображениям и изображают то же визуальное содержимое, которое изображено на одном или более первых изображениях.

[0189] В блоке 456 система декодирования видео использует набор параметров предсказания TPB с набором базисных функций TPB для генерирования одного или более отображенных изображений из одного или более первых изображений.

[0190] В блоке 458 система декодирования видео обеспечивает воспроизведение одного или более выводимых изображений, полученных на основе одного или более отображенных изображений, устройством отображения.

[0191] В варианте осуществления система декодирования видео дополнительно приспособлена для выполнения: генерирования множества выходных значений базисных функций B-сплайнов; применения операций перекрестного произведения к множеству выходных значений базисных функций B-сплайнов для генерирования множества выходных значений базисных функций TPB с генерированием таким образом набора множества выходных значений базисных функций TPB; умножения набора параметров предсказания TPB, декодированных из видеосигнала, на набор множества выходных значений базисных функций TPB для генерирования набора предсказанных кодовых слов.

[0192] В варианте осуществления набор выбранных параметров предсказания TPB кодируют как множество весовых коэффициентов в синтаксисе кодирования, который поддерживает наличие соответствующего весового коэффициента в множестве весовых коэффициентов для соответствующей базисной функции TPB в наборе базисных функций TPB.

[0193] В варианте осуществления вычислительное устройство, такое как устройство отображения, мобильное устройство, телевизионная приставка, мультимедийное устройство и т.д., приспособлено для выполнения любого из перечисленных выше способов. В варианте осуществления устройство содержит процессор и приспособлено для выполнения любого из перечисленных выше способов. В варианте осуществления предусмотрен постоянный машиночитаемый носитель данных, на котором хранятся команды программного обеспечения, которые при исполнении одним или более процессорами обеспечивают выполнение любого из перечисленных выше способов.

[0194] В варианте осуществления предусмотрено вычислительное устройство, содержащее один или более процессоров и один или более носителей данных, на которых хранится набор команд, которые при исполнении одним или более процессорами обеспечивают выполнение любого из перечисленных выше способов.

[0195] Следует отметить, что хотя в данном документе обсуждены отдельные варианты осуществления, любое сочетание вариантов осуществления и/или частичных вариантов осуществления, обсужденных в данном документе, может быть объединено для образования дополнительных вариантов осуществления.

Приведенная в качестве примера реализация компьютерной системы

[0196] Варианты осуществления настоящего изобретения могут быть реализованы посредством компьютерной системы, систем, включенных в конфигурацию электронной схемы и компонентов, устройства на интегральной схеме (IC), такого как микроконтроллер, программируемой пользователем вентильной матрицы (FPGA) или другого конфигурируемого или программируемого логического устройства (PLD), процессора (DSP) обработки цифровых или дискретных временных сигналов, специализированной IC (ASIC) и/или приспособления, которое содержит одну или более таких систем, устройств или компонентов. Компьютер и/или IC может выполнять, управлять или исполнять команды, относящиеся к адаптивной перцепционной квантизации изображений с увеличенным динамическим диапазоном, таких как описанные в данном документе. Компьютер и/или IC может вычислять любые из широкого ряда параметров или значений, которые относятся к процессам адаптивной перцепционной квантизации, описанным в данном документе. Варианты осуществления для изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении и различных их комбинациях.

[0197] Определенные реализации настоящего изобретения включают компьютерные процессоры, которые исполняют команды программного обеспечения, обеспечивающие выполнение процессорами способа согласно настоящему изобретению. Например, один или более процессоров в дисплее, кодере, телевизионной приставке, транскодере или тому подобном могут реализовать способы, относящиеся к адаптивной перцепционной квантизации изображений HDR, как описано выше, посредством исполнения команд программного обеспечения в программной памяти, доступной для процессоров. Варианты осуществления настоящего изобретения также могут быть предоставлены в форме программного продукта. Программный продукт может содержать любой постоянный носитель данных, который несет набор машиночитаемых сигналов, содержащих команды, которые при исполнении процессором данных обеспечивают исполнение процессором данных способа согласно варианту осуществления настоящего изобретения. Программные продукты согласно вариантам осуществления настоящего изобретения могут иметь любую из широкого ряда форм. Программный продукт может содержать, например, физические носители, такие как магнитные носители данных, включая гибкие диски, жесткие диски, оптические носители данных, включая диски CD-ROM и DVD, электронные носители данных, включая ROM, флеш RAM или тому подобное. Машиночитаемые сигналы программного продукта необязательно могут быть сжатыми или зашифрованными.

[0198] Если компонент (например, модуль программного обеспечения, процессор, узел, устройство, схема и т.д.) относится к вышеизложенному, если не указано иное, ссылку на данный компонент (включая ссылку на «средства») следует интерпретировать как включающую эквиваленты любого компонента данного компонента, который выполняет функцию описанного компонента (например, который является функционально эквивалентным), включая компоненты, которые не являются структурно эквивалентными относительно описанной структуры, которая выполняет указанную функцию в проиллюстрированных приведенных в качестве примера вариантах осуществления настоящего изобретения.

[0199] Согласно одному варианту осуществления методы, описанные в данном документе, реализуются одним или более вычислительными устройствами специального назначения. Вычислительные устройства специального назначения могут быть реализованы на аппаратном уровне для выполнения методов или могут включать цифровые электронные устройства, такие как одна или более специализированных интегральных схем (ASIC) или программируемых пользователем вентильных матриц (FPGA), которые жестко запрограммированы для выполнения методов, или могут включать один или более аппаратных процессоров общего назначения, запрограммированных для выполнения методов в соответствии с программными командами в программно-аппаратном обеспечении, памяти, другом запоминающем устройстве или их комбинации. Данные вычислительные устройства специального назначения могут также сочетать заказную аппаратно-реализованную логику, ASIC или FPGA с программированием по индивидуальному заказу для осуществления методов. Вычислительные устройства специального назначения могут являться настольными компьютерными системами, портативными компьютерными системами, карманными устройствами, сетевыми устройствами или любым другим устройством, которое включает аппаратно-реализованную и/или программную логику для реализации методов.

[0200] Например, на фиг. 5 показана структурная схема, которая иллюстрирует компьютерную систему 500, на которой может быть реализован вариант осуществления настоящего изобретения. Компьютерная система 500 включает шину 502 или другой механизм связи для передачи информации и аппаратный процессор 504, соединенный с шиной 502 для обработки информации. Аппаратный процессор 504 может представлять собой, например, микропроцессор общего назначения.

[0201] Компьютерная система 500 также содержит основную память 506, такую как оперативное запоминающее устройство (RAM) или другое динамическое запоминающее устройство, соединенную с шиной 502 для хранения информации и команд, которые должны быть исполнены процессором 504. Основная память 506 также может быть использована для хранения временных переменных или другой промежуточной информации во время исполнения команд, которые должны быть исполнены процессором 504. Данные команды при хранении в энергонезависимых носителях данных, доступных для процессора 504, превращают компьютерную систему 500 в специализированную машину, которая предназначена для выполнения операций, указанных в командах.

[0202] Компьютерная система 500 также включает постоянное запоминающее устройство (ROM) 508 или другое статическое запоминающее устройство, соединенное с шиной 502, для хранения статических информации и команд для процессора 504. Запоминающее устройство 510, такое как магнитный диск или оптический диск, предоставлено и соединено с шиной 502 для хранения информации и команд.

[0203] Компьютерная система 500 может быть соединена посредством шины 502 с дисплеем 512, таким как жидкокристаллический дисплей, для отображения информации пользователю компьютера. Устройство 514 ввода, содержащее буквенно-цифровые и другие клавиши, соединено с шиной 502 для передачи информации и выборов команд на процессор 504. Другим типом пользовательского устройства ввода является устройство 516 управления курсором, такое как мышь, шаровой манипулятор или клавиши направления курсора для передачи информации о направлении и выборов команд на процессор 504 и для управления перемещением курсора на дисплее 512. Данное устройство ввода, как правило, имеет две степени свободы в двух осях, первой оси (например, x) и второй оси (например, y), что позволяет устройству определять положения на плоскости.

[0204] Компьютерная система 500 может реализовать методы, описанные в данном документе, с использованием выполненной по заказу аппаратно-реализованной логики, одной или более ASIC или FPGA, программно-аппаратной и/или программной логики, которая в комбинации с компьютерной системой превращает или программирует компьютерную систему 500 в машину специального назначения. Согласно одному варианту осуществления методы, как описанные в данном документе, выполняются компьютерной системой 500 в ответ на исполнение процессором 504 одной или более последовательностей из одной или более команд, содержащихся в основной памяти 506. Данные команды могут быть считаны в основную память 506 с другого носителя данных, такого как запоминающее устройство 510. Исполнение последовательностей команд, содержащихся в основной памяти 506, обеспечивает выполнение процессором 504 этапов процесса, описанных в данном документе. В альтернативных вариантах осуществления аппаратно-реализованная схема может быть использована вместо или в комбинации с программными командами.

[0205] Термин «носители данных» в данном контексте относится к любым постоянным носителям, которые хранят данные и/или команды, которые приводят к работе машины специфическим образом. Данные носители данных могут содержать энергонезависимые носители и/или энергозависимые носители. Энергонезависимые носители включают, например, оптические или магнитные диски, такие как запоминающее устройство 510. Энергозависимые носители включают динамическую память, такую как основная память 506. Общие формы носителей данных включают, например, дискету, гибкий диск, жесткий диск, твердотельный накопитель, магнитную ленту или любой другой магнитный носитель данных, CD-ROM, любой другой оптический носитель данных, любой физический носитель со схемами из отверстий, RAM, PROM и EPROM, FLASH-EPROM, NVRAM, любые другие интегральную схему или картридж памяти.

[0206] Носители данных отличаются от средств передачи данных, но могут быть использованы совместно с ними. Средство передачи данных участвует в передаче информации между носителями данных. Например, средства передачи данных включают коаксиальные кабели, медный провод и оптоволоконные кабели, включая провода, которые содержат шину 502. Средства передачи данных могут также принимать форму акустических или световых волн, таких как генерируются во время радиоволновой и инфракрасной передач данных.

[0207] Различные формы носителей могут быть вовлечены в передачу одной или более последовательностей из одной или более команд на процессор 504 для исполнения. Например, команды могут сначала переноситься на магнитном диске или твердотельном накопителе удаленного компьютера. Удаленный компьютер может загружать команды в свою динамическую память и отправлять команды по телефонной линии с использованием модема. Модем, установленный локально с компьютерной системой 500, может принимать данные по телефонной линии и использовать инфракрасный передатчик для преобразования данных в инфракрасный сигнал. Инфракрасный детектор может принимать данные, переносимые в инфракрасном сигнале, и соответствующая схема может помещать данные на шину 502. Шина 502 переносит данные в основную память 506, из которой процессор 504 извлекает и исполняет команды. Команды, принятые основной памятью 506, могут быть необязательно сохранены на запоминающем устройстве 510 либо перед исполнением процессором 504, либо после него.

[0208] Компьютерная система 500 также включает интерфейс 518 связи, соединенный с шиной 502. Интерфейс 518 связи предоставляет соединение для двухсторонней передачи данных с сетевой линией 520 связи, которая подключена к локальной сети 522. Например, интерфейс 518 связи может являться картой цифровой сети (ISDN) с интегрированными службами, кабельным модемом, спутниковым модемом или модемом для предоставления соединения передачи данных с соответствующим типом телефонной линии. В качестве еще одного примера интерфейс 518 связи может являться картой локальной сети (LAN) для предоставления соединения передачи данных с совместимой LAN. Также могут быть реализованы беспроводные линии связи. В любой такой реализации интерфейс 518 связи отправляет и принимает электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных, представляющие различные типы информации.

[0209] Сетевая линия 520 связи, как правило, обеспечивает передачу данных через одну или более сетей на другие устройства обработки данных. Например, сетевая линия 520 связи может обеспечивать соединение через локальную сеть 522 с главным компьютером 524 или с оборудованием обработки данных, находящимся под управлением провайдера 526 Интернет-услуг (ISP). ISP 526 в свою очередь предоставляет услуги передачи данных через всемирную сеть передачи пакетных данных, теперь обычно называемую Интернетом 528. Как локальная сеть 522, так и сеть Интернет 528 используют электрические, электромагнитные или оптические сигналы, которые переносят потоки цифровых данных. Сигналы в различных сетях и сигналы в сетевой линии 520 связи и в интерфейсе 518 связи, которые переносят цифровые данные в компьютерную систему 500 и из нее, являются примерными формами средств передачи данных.

[0210] Компьютерная система 500 может отправлять сообщения и принимать данные, включая программный код, через сеть (сети), сетевую линию 520 связи и интерфейс 518 связи. На примере Интернета, сервер 530 может передавать запрашиваемый код для прикладной программы через Интернет 528, ISP 526, локальную сеть 522 и интерфейс 518 связи.

[0211] Принятый код может быть исполнен процессором 504 после его приема и/или сохранен на запоминающем устройстве 510 или другом энергонезависимом запоминающем устройстве для последующего исполнения.

Эквиваленты, расширения, альтернативы и прочее

[0212] В вышеизложенном описании варианты осуществления настоящего изобретения были описаны со ссылкой на многочисленные специфические подробности, которые могут изменяться от реализации к реализации. Таким образом, единственным и исключительным показателем того, чем являются заявленные варианты осуществления настоящего изобретения, и того, чем должны являться заявленные варианты осуществления настоящего изобретения по мнению заявителей, является формула изобретения, которая вытекает из данной заявки, в конкретной форме, в которой представлена данная формула изобретения, включая любое последующее исправление. Любые определения, ясно изложенные в данном документе для терминов, содержащихся в такой формуле изобретения, должны обуславливать значение, в котором данные термины используются в формуле изобретения. Следовательно, никакие ограничение, элемент, свойство, признак, преимущество или атрибут, которые не указаны явно в формуле изобретения, никоим образом не должны ограничивать объем такой формулы изобретения. Соответственно, описание и графические материалы следует рассматривать в иллюстративном, а не в ограничивающем смысле.

Пронумерованные примеры вариантов осуществления

[0213] Настоящее изобретение может быть воплощено в любой из форм, описанных в данном документе, в том числе, но без ограничения, в следующих пронумерованных примерах вариантов осуществления (ППВО), которые описывают структуру, признаки и функции некоторых частей вариантов осуществления настоящего изобретения.

[0214] ППВО1. Способ, включающий:

определение набора базисных функций B-сплайнов тензорного произведения (TPB);

генерирование набора выбранных параметров предсказания TPB для использования с набором базисных функций TPB для генерирования предсказываемых данных изображения в одном или более отображенных изображениях из данных исходного изображения в одном или более исходных изображениях исходной цветовой схемы, при этом набор выбранных параметров предсказания TPB генерируют путем сведения к минимуму разниц между предсказываемыми данными изображения в одном или более отображенных изображениях и данными эталонного изображения в одном или более эталонных изображениях эталонной цветовой схемы, при этом одно или более эталонных изображений соответствуют одному или более исходным изображениям и изображают то же визуальное содержимое, которое изображено на одном или более исходных изображениях;

кодирование в видеосигнале набора выбранных параметров предсказания TPB как части метаданных изображения вместе с данными исходного изображения в одном или более исходных изображениях;

обеспечение восстановления и воспроизведения одного или более отображенных изображений устройством-получателем видеосигнала.

[0215] ППВО2. Способ согласно ППВО1, в котором по меньшей мере одни из данных исходного изображения или данных эталонного изображения представлены в формате субдискретизации цветового пространства.

[0216] ППВО3. Способ согласно ППВО1 или 2, в котором одно или более исходных изображений представляют одно из: изображений, составляющих визуальную сцену в медиапрограмме; изображений, выбранных в скользящем окне; или изображений, выбранных в линейном сегменте.

[0217] ППВО4. Способ согласно любому из ППВО1-3, в котором набор базисных функций TPB генерируют посредством тензорных произведений одного или более наборов базисных функции B-сплайнов; и при этом каждый набор базисных функций B-сплайнов в одном или более наборах базисных функций B-сплайнов соответствует соответствующему цветовому каналу в одном или более цветовых каналах цветового пространства.

[0218] ППВО5. Способ согласно ППВО4, в котором по меньшей мере один набор базисных функций B-сплайнов в одном или более наборах базисных функций B-сплайнов представляет полный набор базисных функций B-сплайнов определенного порядка.

[0219] ППВО6. Способ согласно ППВО4 или 5, в котором один или более наборов базисных функций B-сплайнов содержат набор базисных функций B-сплайнов, сгенерированный посредством усеченных полиномов и набора равномерно распределенных узловых точек.

[0220] ППВО7. Способ согласно любому из ППВО1-6, в котором комбинация набора выбранных параметров предсказания TPB и набора базисных функций TPB представляет межканальный предсказатель для генерирования предсказываемых данных изображения в одном или более отображенных изображениях.

[0221] ППВО8. Способ согласно любому из ППВО1-7, в котором набор параметров предсказания TPB генерируют с использованием множества пар отображения, каждая из которых содержит первый массив одного или более исходных кодовых слов, сгенерированных из данных исходного изображения, и второй массив одного или более эталонных кодовых слов, сгенерированных из данных эталонного изображения.

[0222] ППВО9. Способ согласно ППВО8, в котором множество пар отображения генерируют на основе трехмерной таблицы отображения (3DMT).

[0223] ППВО10. Способ, включающий:

декодирование из видеосигнала одного или более первых изображений первой цветовой схемы;

декодирование из видеосигнала метаданных изображения, содержащих набор выбранных параметров предсказания TPB для умножения на набор базисных функций B-сплайнов тензорного произведения (TPB);

использование набора параметров предсказания TPB с набором базисных функций TPB для генерирования одного или более отображенных изображений из одного или более первых изображений;

обеспечение воспроизведения одного или более выводимых изображений, полученных на основе одного или более отображенных изображений, устройством отображения.

[0224] ППВО11. Способ согласно ППВО10, в котором набор выбранных параметров предсказания TPB был сгенерирован находящимся выше по потоку процессором видеосодержимого, при этом набор выбранных параметров предсказания TPB подлежит использованию с набором базисных функций TPB для генерирования предсказываемых данных изображения в одном или более отображенных изображениях из данных первого изображения в одном или более первых изображениях первой цветовой схемы, при этом находящийся выше по потоку процессор видеосодержимого сгенерировал набор выбранных параметров предсказания TPB путем сведения к минимуму разниц между предсказываемыми данными изображения в одном или более отображенных изображениях и данными эталонного изображения в одном или более эталонных изображениях эталонной цветовой схемы, при этом одно или более эталонных изображений соответствуют одному или более первым изображениям и изображают то же визуальное содержимое, которое изображено на одном или более первых изображениях.

[0225] ППВО12. Способ согласно ППВО10, дополнительно включающий:

генерирование множества выходных значений базисных функций B-сплайнов;

применение операций перекрестного произведения к множеству выходных значений базисных функций B-сплайнов для генерирования множества выходных значений базисных функций TPB с генерированием таким образом набора множества выходных значений базисных функций TPB;

умножение набора параметров предсказания TPB, декодированных из видеосигнала, на набор множества выходных значений базисных функций TPB для генерирования набора предсказанных кодовых слов.

[0226] ППВО13. Способ согласно ППВО 12, где генерирование множества выходных значений базисных функций B-сплайнов включает:

для каждой базисной функции B-сплайна в множестве базисных функций B-сплайнов определение узловых точек и соответствующих множителей для использования в усеченном полиноме для представления каждой такой базисной функции B-сплайна;

использование декодированного кодового слова в одном или более первых изображениях в качестве входных данных для усеченного полинома для генерирования выходного значения для каждой такой базисной функции B-сплайна.

[0227] ППВО14. Способ согласно ППВО 12, дополнительно включающий:

сохранение множества выходных значений базисных функций B-сплайнов в локальных регистрах;

для каждой базисной функции TPB в базисных функциях TPB идентификацию (n+1) ненулевых выходных значений базисных функций B-сплайнов в каждом канале цветового пространства среди множества выходных значений базисных функций B-сплайнов, где n указывает порядок множества базисных функций B-сплайнов;

использование (n+1) ненулевых выходных значений базисных функций B-сплайнов в качестве части входных данных для генерирования выходного значения для каждой такой базисной функции TPB из декодированного кодового слова в одном или более первых изображениях.

[0228] ППВО15. Способ согласно ППВО12, дополнительно включающий:

для каждого декодированного кодового слова в одном или более первых изображениях генерирование выходного кодового слова в одном или более отображенных изображениях путем выполнения:

инициализации выходного кодового слова в нулевое значение;

для каждой базисной функции TPB в базисных функциях TPB, выполнения:

генерирования (n+1) ненулевых выходных значений базисных функций B-сплайнов для каждого канала в трех каналах цветового пространства с генерированием таким образом трех наборов (n+1) ненулевых выходных значений базисных функций B-сплайнов, где n указывает порядок множества базисных функций B-сплайнов;

применения операций перекрестного произведения к трем наборам (n+1) ненулевых выходных значений базисных функций B-сплайнов для генерирования выходного значения базисной функции TPB из декодированного кодового слова в одном или более первых изображениях;

генерирования произведения путем умножения выходного значения базисной функции TPB на соответствующий параметр предсказания в наборе параметров предсказания TPB;

добавления произведения к выходному кодовому слову.

[0229] ППВО16. Способ согласно любому из ППВО10-15, в котором набор выбранных параметров предсказания TPB кодируют как множество весовых коэффициентов в синтаксисе кодирования, который поддерживает наличие соответствующего весового коэффициента в множестве весовых коэффициентов для соответствующей базисной функции TPB в наборе базисных функций TPB.

[0230] ППВО17. Компьютерная система, приспособленная для выполнения любого из способов, указанных в ППВО1-ППВО16.

[0231] ППВО18. Устройство, содержащее процессор и приспособленное для выполнения любого из способов, указанных в ППВО1-ППВО16.

[0232] ППВО19. Постоянный машиночитаемый носитель данных, на котором хранятся исполняемые компьютером команды для исполнения способа согласно любому из способов, указанных в ППВО1-ППВО16.