СПОСОБ И УСТРОЙСТВО ДЛЯ АДАПТАЦИИ ВИДЕОКОНТЕНТА, ДЕКОДИРОВАННОГО ИЗ ЭЛЕМЕНТАРНЫХ ПОТОКОВ, ПОД ХАРАКТЕРИСТИКИ УСТРОЙСТВА ОТОБРАЖЕНИЯ

1. Область техники

Настоящее изобретение в целом относится к кодированию и декодированию кинокадров/видеоданных. В частности, но не исключительно, область техники настоящего изобретения относится к выдаче контента расширенного динамического диапазона (HDR) на устройствах отображения с разными возможностями.

2. Уровень техники

Данный раздел предназначен для знакомства читателя с различными аспектами данной области техники, которые могут иметь отношение к различным аспектам настоящих принципов, которые описаны и/или заявлены формулой изобретения, приведенной ниже. Это всестороннее рассмотрение предполагается полезным при снабжении читателя информацией об уровне техники для содействия лучшему пониманию различных аспектов настоящих принципов. Соответственно, следует понимать, что эти формулировки должны толковаться в этом свете, а не в качестве признания правильным предшествующего уровня техники.

Съемка и отображение контента изображений, статических изображений или видеоданных, с динамическим диапазоном, который приближается к реальным сценам, были долгосрочной сложной задачей.

Фактически, человеческое зрение имеет широкие возможности по яркости сцены, и имеет многочисленные механизмы адаптации, которые наделяют зрительную систему человека автоматическим коэффициентом передачи. В особенности, диапазон яркости, который могут видеть люди, гораздо больше имеющегося в распоряжении диапазона контрастности самых современных существующих устройств отображения.

В попытке предложить отображение контента, удовлетворяющее требованиям человеческого зрения, недавно были заданы и определены изображения расширенного динамического диапазона (HDR), которые включают в себя более высокую пиковую яркость, более низкую минимальную яркость, больший диапазон контрастности по сравнению с изображениями стандартного динамического диапазона (SDR). Другими словами, изображения HDR предлагают повышенную детализацию теней и светлых участков над изображениями SDR, а именно, более яркие белые, более темные черные и более яркие цвета, которые лучше соответствуют изображениям, которые мы видим в реальном мире.

Как хорошо известно, кинокадр, типа HDR или SDR, может быть представлен одним или несколькими массивами отсчетов (также известных как значения пикселей) в конкретном формате кодирования, который задает всю информацию относительно этих значений пикселей и всю информацию, которая может использоваться устройством отображения и/или любым другим устройством для декодирования и/или отображения этого кинокадра. То же самое применяется к видеоконтенту. В последующем, термин «контент изображений» будет использоваться, чтобы охватывать как кинокадры, так и видеоконтент.

Контент изображений обычно содержит по меньшей мере одну компоненту, в виде первого массива отсчетов, обычно компоненту сигнала яркости (или яркости), и, возможно, по меньшей мере одну другую компоненту, в виде по меньшей мере одного другого массива отсчетов, обычно, цветовую компоненту. Или, эквивалентно, та же самая информация также может представляться набором массивов цветовых отсчетов, таких как традиционное трехцветное представление RGB (красным, зеленым и синим цветами).

Значение пикселя представляется вектором из C значений, где C - количество компонентов. Каждое значение вектора представлено некоторым количеством битов, которое определяет максимальный динамический диапазон значений пикселей.

Ожидается, что вещательным компаниям и распространителям контента изображений часто будет необходимо осуществлять преобразование между контентом SDR и HDR, чтобы поддерживать доставку на все возможные средства вывода и устройства. В особенности это может иметь место для преобразования из контента HDR в многоуровневый контент, который предоставляет возможность обратной совместимости с системами распространения и отображения SDR. Это также может иметь место для взаимодействия сигналов HDR с устройствами отображения HDR, имеющими меньшие пиковые возможности белого цвета, чем источник.

Устройства отображения, процессоры изображений, повышающие/понижающие преобразователи цвета все будут нужны для выявления кодирования и колориметрии HDR при использовании для корректной обработки и отображения сигнала.

Для того чтобы облегчить такую обработку, некоторые организации по развитию стандартов (SDO) определили набор информации о метаданных, которая должна быть связана с кодированными видеопотоками HDR (расширенного динамического диапазона). Назначение этих метаданных состоит в том, чтобы содействовать адаптации (например, переназначению из HDR в SDR или из HDR в HDR) или интерпретации реконструированных кинокадров HDR под текущие характеристики устройства отображения.

Такие метаданные HDR главным образом содержат статические метаданные с одной стороны и динамические или зависящие от контента метаданные с другой стороны, последние определяются в качестве метаданных, которые могут динамически меняться по всему исходному контенту (то есть, могут меняться для каждой сцены внутри одной и той же последовательности).

Например, они содержат:

- информацию об объеме цвета устройства отображения для создания оригинала (например, как описано в стандарте SMPTE, ST 2086:2014, «Метаданные объема цвета устройства отображения для создания оригинала, поддерживающие изображения с высокой яркостью и широкой цветовой гаммой», стандарте CEA «Расширения статических метаданных HDR», CEA-861.3, январь 2015 года, и ITU-T H.265 (10/2014)): в такие статические метаданные включен записанный в оригинале контент HDR для передачи объема цвета устройства отображения для создания оригинала и яркости контента. Это описывается цветностью первичных данных отображения красного, зеленого и синего цвета и точкой белого устройства отображения для создания оригинала, плюс его уровнем черного и пиковым уровнем яркости. Другими словами, такие статические метаданные описывают фактический объем цвета HDR устройства отображения для создания оригинала, используемого для создания контента изображений, для того чтобы направлять адаптацию контента (пример: переназначение объема цвета) на характеристики устройства отображения.

- Информацию о переназначении цвета (CRI) (как описано в ITU-T H.265 (10/2014) и стандарте SMPTE, ST 2094-30 в пакете): динамические метаданные, представленные функцией параметрической модели, которая управляет преобразованием с переназначением объема цвета кинокадров HDR для создания кинокадров SDR (представленных стандартизованным форматом). Такие динамические метаданные передают информацию о переназначении цвета кадр за кадром или сцена за сценой, что будет давать возможность, чтобы преобразование цвета было переменным в продолжение временной последовательности контента.

- Информация об уровне яркости контента (как описано в Стандарте CEA «Расширения статических метаданных HDR», CEA-861.3, январь 2015 года, и ITU-T H.265 (04/2015)): минимальное и усредненное максимальное значения яркости для перемасштабирования контента HDR под возможности устройства отображения HDR (пример: энергопотребление).

- Совместимость с HDR (как описано в ITU-T H.265 (04/2015) и М. Наккари, А. Коттон, С. Шварц, М. Пандория, М. Мрак, Т. Борер (BBC) в «Сообщение SEI с информацией о совместимости с расширенным динамически диапазоном»,): такие метаданные указывают, что контент может отображаться на устройствах отображения HDR или SDR при надлежащей (предопределенной) постобработке.

Эти разные типы связанных с HDR метаданных могут использоваться приемником, ответственным за декодирование принятого кодированного видеоконтента, например, цифровым спутниковым приемником (IRD), для адаптации реконструированных кинокадров HDR под характеристики устройства отображения, например, под устройство отображения, присоединенное к IRD в данный момент.

Фактически, когда исходный контент, записанный в оригинале с HDR, преобразуется для представления на устройстве отображения, имеющем меньший объем цвета, таком как устройство отображения SDR, последовательность операций обработки для преобразования цвета может быть оптимизирована, благодаря использованию этих зависящих от контента динамических метаданных преобразования цвета.

По мере того, как характеристики контента изменяются от сцены к сцене, оптимальная обработка для преобразования, которая лучше всего воспроизводит художественный замысел создателей контента, может изменяться. Например, параметры преобразования объема цвета, используемые для очень темной сцены, могли бы быть совсем не такими, как используемые для очень яркой сцены.

Отсюда преобразования могут быть представлены в виде метаданных, синхронизированных с кадрами одной оригинальной записи. Метаданные могут захватываться или формироваться в виде части последовательности операций создания оригинала, когда изображения творчески одобряются, а позже применяться при переносе с одного носителя на другой во время стадии распространения.

Точнее, IRD, который, например, может быть частью телевизионной абонентской приставки или встроенным в телевизор, может использовать или комбинировать некоторые из этих метаданных для выполнения адаптации декодированных кинокадров HDR под возможности целевого устройства отображения (например, SDR, HDR, WCG (ради широкой цветовой гаммы) …), в зависимости от способа адаптации контента (CA), реализованного в IRD. Фактически, некоторые устройства декодирования будут использовать только статические метаданные, такие как называемая информация об объеме цвета устройства отображения для создания оригинала, чтобы управлять переназначением из контента HDR в контент изображений SDR. Некоторые другие будут использовать одни или несколько динамических метаданных для выполнения более сложного преобразования из объема цвета HDR в объем цвета, адаптированный под характеристики устройства отображения.

Более того, несмотря на то, что некоторые устройства декодирования поддерживают несколько способов адаптации контента и могут выбирать наиболее уместный в зависимости от имеющихся в распоряжении метаданных, некоторые другие могут поддерживать только один из них.

Как следствие, если метаданные, соответствующие реализуемому способу и нужные устройству декодирования, отсутствуют в элементарных потоках, связанных с контентом изображений, то адаптация декодированных изображений под признаки устройства отображения невозможна или может быть некорректна.

Более того, до некоторого времени, и как упомянуто выше, такие метаданные встроены в элементарные потоки (ES), связанные с кодированным контентом изображений. Фактически, необходимо вспомнить, что изображения кодируются кодеком (например, как определенный в стандарте MPEG-AVC/H.264 или стандарте MPEG-HEVC/H. 265) в элементарный поток (ES). Этот элементарный поток затем инкапсулируется в транспортный уровень, для того чтобы широковещательно передаваться или распространяться. Есть несколько способов инкапсуляции ES в транспортный уровень, зависящих от целевого применения и соответствующего стандарта:

- транспорт MPEG-2, для вещательных применений (традиционного ТВ (телевидения, TV), мобильного, сетевого IPTV);

- RTP, для применений потокового видео в сети Интернет (Интернет-протоколе);

- MPEG-DASH, который полагается на стандарт базового формата медиафайлов ISO, и который может использоваться для диалоговых услуг, IPTV, или применений видео по запросу;

- системы MPEG-2, для применений хранения и загрузки, таких как запись контента изображений на диске DVD (цифровом многофункциональном диске) или Blu-ray.

Для осуществления доступа к информации о наличии метаданных HDR или признаков HDR, закодированных в элементарный поток (ES, уровень кодированных видеоданных), устройство декодирования, такое как IRD, отсюда, сначала должно выбрать правильный мультиплекс, затем декодировать транспортный уровень (TS), а затем, начать декодирование элементарных потоков, не зная, присутствуют или нет метаданные, которые ему требуются для адаптации декодированного контента под характеристики устройства отображения, в ES. Это является как отнимающим много времени, так и энергозатратным.

Еще один недостаток этой технологии предшествующего уровня техники состоит в том, что нет гарантии, что, если имеются в распоряжении, метаданные будут присутствовать в течение всей последовательности или программы.

Фактически, некоторые видеопрограммы строятся благодаря технологиям видеомонтажа, которые, например, могут состоять в вырезании некоторых видеопоследовательностей из кинофильма и во вставке между двумя разрезанными частями видеопоследовательности, соответствующей какой-нибудь рекламе. Возможно, что соответствующий поток будет содержать метаданные в частях, соответствующих некоторым сценам кинофильма, но не в видеопоследовательности рекламного ролика.

Нет способа, чтобы устройство декодирования узнавало, будут или нет метаданные имеющимися в распоряжении в течение всей длительности видеопрограммы или только в течение ее частей.

Поэтому, есть необходимость в технологии, предоставляющей возможность преодолеть по меньшей мере некоторые из этих недостатков.

3. Сущность изобретения

Нижеследующее представляет упрощенное краткое изложение настоящего изобретения, для того чтобы обеспечить базовое понимание некоторых его аспектов. Это краткое изложение не является исчерпывающим общим представлением настоящего изобретения. Оно не предназначено для идентификации ключевых или критически важных элементов настоящего изобретения. Нижеследующая сущность изобретения представляет всего лишь некоторые аспекты настоящего изобретения в упрощенной форме в качестве вступления к более подробному описанию, приведенному ниже.

Согласно аспекту настоящего изобретения, предусмотрен сигнал, имеющий по меньшей мере один тип метаданных, дающих информацию касательно элементарных потоков кодированного видеоконтента. Такой сигнал форматирован, чтобы содержать дополнительную информацию, указывающую наличие по меньшей мере одного конкретного типа упомянутых метаданных.

Отсюда настоящее изобретение полагается на новейший и обладающий признаками изобретения подход к кодированию видеосигналов, который содержит добавление дополнительной информации в сигнале, представляющем собой видеоконтент, для того чтобы информировать приемник о наличии одного или нескольких типов метаданных в сигнале. Больше не нужно, чтобы приемник начинал декодирование элементарных потоков, для того чтобы определить, имеются или нет в распоряжении некоторые типы метаданных в этих потоках. Более того, приемник может сразу узнавать, будет он или нет способен адаптировать декодированный видеоконтент под характеристики устройства отображения, к которому он присоединен, в качестве функции имеющихся в распоряжении типов метаданных, которые указываются этой дополнительной информацией.

Такая технология предоставляет возможность экономии как времени, так и потребляемой энергии по сравнению с технологиями предшествующего уровня техники.

Согласно еще одному аспекту, упомянутая дополнительная информация также указывает является ли упомянутый по меньшей мере один конкретный тип метаданных присутствующим в упомянутом сигнале в течение всей длительности упомянутого кодированного видеоконтента.

Приемник упомянутого сигнала отсюда может сразу узнавать, будут ли метаданные, необходимые для адаптации декодированного видеоконтента под характеристики устройства отображения, к которому он присоединен, имеющимися в распоряжении в течение всей длительности видеопоследовательности или программы, или будет ли он должен модифицировать или прекращать такую адаптацию в течение видеопоследовательности.

Согласно еще одному другому аспекту, упомянутая дополнительная информация также содержит по меньшей мере часть упомянутых метаданных. Это особенно полезно для статических метаданных, для которых частичная или полная информация о метаданных может быть непосредственно имеющейся в распоряжении в пределах дополнительной информации, для того чтобы помогать приемнику выбирать, какой способ адаптации контента использовать.

Согласно дополнительному аспекту, когда упомянутый по меньшей мере один конкретный тип упомянутых метаданных принадлежит к набору динамических метаданных, упомянутая дополнительная информация содержит первую информацию об обновлении, принадлежащую к группе, содержащей:

- максимальную частоту обновления динамически метаданных;

- минимальный временной интервал, после которого упомянутые динамические метаданные будут обновлены.

Согласно дополнительному аспекту, когда упомянутый по меньшей мере один конкретный тип упомянутых метаданных принадлежит к набору динамических метаданных, упомянутая дополнительная информация содержит вторую информацию об обновлении, принадлежащую к группе, содержащей:

- минимальную частоту обновления динамически метаданных;

- максимальный временной интервал, после которого упомянутые динамические метаданные будут обновлены.

Информация о частоте обновления метаданных полезна приемнику упомянутого сигнала, для того чтобы узнавать, когда он будет способен начинать декодирование видеоконтента, на основе обновленных метаданных. Это, например, может быть интересно для широковещательно передаваемого видеоконтента, когда пользователь решает переключиться с телевизионного канала на другой канал.

Согласно аспекту настоящего изобретения, упомянутая дополнительная информация присутствует в транспортном потоке упомянутого сигнала.

Отсюда, приемник может осуществлять доступ к информации сразу, без вынуждения декодировать элементарные потоки, которые инкапсулированы в упомянутом транспортном потоке.

Согласно дополнительному аспекту, упомянутый кодированный видеоконтент является видеоконтентом расширенного динамического диапазона, и упомянутые метаданные являются метаданными расширенного динамического диапазона.

Согласно еще одному аспекту настоящего изобретения, предусмотрен способ для адаптации видеоконтента, декодированного из элементарных потоков, под характеристики устройства отображения по меньшей мере по одному типу метаданных, дающих информацию касательно упомянутых элементарных потоков. Такой способ содержит:

- получение дополнительной информации, указывающей наличие одного конкретного типа метаданных;

- определение, является ли упомянутый видеоконтент, декодированный из элементарных потоков, допускающим отображение на упомянутом устройстве отображения, по упомянутой дополнительной информации и характеристикам устройства отображения; и

- если упомянутый видеоконтент, декодированный из элементарных потоков, определен в качестве являющегося допускающим отображение, выбор последовательности операций обработки по упомянутой дополнительной информации и характеристикам устройства отображения, и адаптацию видеоконтента согласно выбранной последовательности операций обработки.

Отсюда, приемник кодированных элементарных потоков видеоданных может быстро и легко определять, будет ли принятый контент допускающим отображение, в зависимости от характеристик устройства отображения и от имеющихся в распоряжении метаданных, и может выбирать надлежащую последовательность операций адаптации контента, например, для переназначения контента HDR в качестве функции колориметрических признаков, поддерживаемых устройством отображения.

Согласно еще одному аспекту, упомянутая дополнительная информация также указывает, присутствует ли упомянутый по меньшей мере один конкретный тип метаданных в упомянутом сигнале в течение всей длительности упомянутых элементарных потоков видеоданных.

Согласно другому из своих аспектов, настоящее изобретение относится к устройству, содержащему процессор, выполненный с возможностью реализовывать вышеприведенный способ, компьютерный программный продукт, содержащий инструкции программного кода, для выполнения этапов вышеприведенного способа, когда эта программа приводится в исполнение на компьютере. читаемый процессором носитель, хранящий инструкции для побуждения процессора выполнять по меньшей мере этапы вышеприведенного способа, и долговременный запоминающий носитель, несущий инструкции программного кода для выполнения этапов вышеприведенного способа, когда упомянутая программа приводится в исполнение на вычислительном устройстве.

Специфика настоящих принципов, а также другие цели, преимущества, признаки и применения настоящих принципов станут очевидными из нижеследующего описания примеров, взятых совместно с прилагаемыми чертежами.

4. Краткое описание чертежей

Настоящее изобретение может быть лучше понятно со ссылкой на нижеследующие описание и чертежи, приведенные в качестве примера, а не ограничения объема защиты, и на которых:

- фиг. 1 показывает схему этапов способа для адаптации контента элементарных потоков видеоданных в соответствии с вариантом осуществления настоящего изобретения;

- фиг. 2 показывает пример архитектуры устройства в соответствии с вариантом осуществления настоящего изобретения;

- фиг. 3 показывает синтаксис сигнала в соответствии с вариантом осуществления настоящего изобретения; и

- фиг. 4 иллюстрирует древовидную структуру мультиплексного потока, несущего элементарные потоки видеоданных, адаптированные согласно способу по фиг. 1.

Подобные или одинаковые элементы указываются идентичными номерами ссылки.

5. Описание примера настоящих принципов

Настоящие принципы будут полнее описаны в дальнейшем со ссылкой на прилагаемые фигуры, на которых показаны примеры настоящих принципов. Однако, настоящие принципы могут быть воплощены во многих альтернативных формах и не должны интерпретироваться в качестве ограниченных примерами, изложенными в материалах настоящей заявки. Соответственно, несмотря на то, что настоящие принципы восприимчивы к различным модификациям и альтернативным формам, его отдельные примеры показаны в качестве примеров на чертежах и будут подробно описаны в материалах настоящей заявки. Тем не менее, следует понимать, что нет намерения ограничить настоящие принципы конкретными раскрытыми формами, но, в противоположность, изобретение должно покрывать все модификации, эквиваленты и альтернативные варианты, подпадающие под сущность и объем настоящих принципов, как определено формулой изобретения.

Терминология, используемая в материалах настоящей заявки, предназначена только для целей описания конкретных примеров и не подразумевается ограничивающей настоящие принципы. В качестве используемых в материалах настоящей заявки, формы единственного числа также подразумеваются включающими в себя формы множественного числа, пока контекст ясно не указывает иное. Кроме того, должно быть понятно, что термины «содержит», «содержащий», «включает в себя» и/или «включающий в себя», когда используются в данном описании изобретения, определяют наличие изложенных признаков, целых частей, этапов, операций, элементов и/или компонентов, но не исключают наличия или добавления одного или более других признаков, целых частей, этапов, операций, элементов, компонентов и/или их групп. Более того, когда элемент упоминается в качестве являющегося «зависимым» от или «связанным» с другим элементом, он может быть непосредственно зависимым от или связанным с другим элементом, или могут присутствовать промежуточные элементы. В противоположность, когда элемент упомянут в качестве являющегося «непосредственно зависимого» от или «непосредственно связанного» с другим элементом, промежуточные элементы отсутствуют. В качестве используемого в материалах настоящей заявки, термин «и/или» включает в себя любые и все комбинации одного или более из связанных перечисленных отдельных предметов и может быть кратко обозначен в виде «/».

Будет понятно, что, хотя термины первый, второй, и т. д., могут использоваться в материалах настоящей заявки для описания различных элементов, эти элементы не должны ограничиваться данными терминами. Эти термины используются только для проведения различия одного элемента от другого. Например, первый элемент мог бы быть назван вторым элементом, и, аналогично, второй элемент мог бы быть назван первым элементом, не отходя от доктрин настоящих принципов.

Хотя некоторые из схем включают в себя стрелки на каналах связи, чтобы показывать основное направление передачи, должно быть понятно, что передача может происходить в направлении, противоположном изображенным стрелкам.

Некоторые примеры описаны в отношении структурных схем и блок-схем последовательности операций способа, в которых каждый структурный элемент представляет собой элемент схемы, модуль или порцию кода, который содержит одну или более исполняемых команд для реализации заданной логической функции(ий). Также следует отметить, что, в других реализациях, функция(и), отмеченная в структурных элементах блок-схемы, может происходить вне отмеченного порядка. Например, два структурных элемента, показанные подряд, фактически, могут выполняться по существу параллельно, или структурные элементы иногда могут выполняться в обратном порядке, в зависимости от вовлеченных функциональных возможностей.

Ссылка в материалах настоящей заявки на «в соответствии с примером» или «в примере» означает, что конкретные признак, конструкция или характеристика, описанные в связи с примером, могут быть включены в по меньшей мере одну реализацию настоящих принципов. Появления фразы «в соответствии с примером» или «в примере» в различных местах в описании изобретения, не обязательно все являются указывающими ссылкой на один и тот же пример, и не являются отдельными или альтернативными примерами, обязательно взаимоисключающими другие примеры.

Номера ссылок, появляющиеся в формуле изобретения, служат только в качестве иллюстрации и не будут оказывать ограничивающего действия на объем формулы изобретения.

Несмотря на то, что описаны в прямой форме, настоящие примеры и варианты могут применяться в любой комбинации или подкомбинации.

Настоящие принципы описаны для кодирования/декодирования/адаптации элементарных потоков видеоданных, представляющих собой кинокадр или группу кинокадров, или всю последовательность кинокадров.

В нижеследующем, настоящее изобретение будет подробнее описано в отношении конкретного варианта осуществления, в котором признаки настоящего изобретения применяются к последовательности операций выбора адаптации контента расширенного динамического диапазона (HDR) и сигнализированию метаданных HDR для транспортных потоков (TS).

Как описано ранее в отношении известных технологий предшествующего уровня техники, в транспортном потоке, связанном с кодированным видеоконтентом, нет информации, относящейся к наличию метаданных HDR, которые могли бы быть полезны для приемников. Как следствие, приемнику/декодеру требуется синтаксически анализировать кодированный поток HDR перед принятием решения о том, должен ли декодированный контент быть адаптирован под целевые характеристики устройства отображения, перед переносом на целевое устройство отображение. Эти этапы предполагают потребление ресурсов (декодирование фрагментов элементарных потоков) и предварительный просмотр (обследование, что находится в потоке).

Настоящее изобретение состоит в задании описателя метаданных расширенного динамического диапазона (HDR), который делает возможным узнавание доступных специфичных HDR признаков внутри элементарного потока (ES) HDR. Это имеет важность для адаптации или интерпретации кодированных видеоданных при рассмотрении всей цепочки потребительской стороны, такой как элементы приемника, декодера, средства визуализации.

Например, оно предоставляет возможность обладания информацией о наличии в ES метаданных переназначения HDR в SDR, в течение полной его продолжительности. Оно содействует и упрощает извлечение этой информации, не требуя синтаксически анализировать сам ES. Таким образом, приемник, например, IRD, может заблаговременно узнавать, будет ли поток декодируемым и допускающим отображение (возможно с учетом возможностей адаптации приемника) устройством отображения, присоединенным к цифровому спутниковому приемнику (IRD), например, ТАП (телевизионной абонентской приставке, STB). Более того, приемник также может выбирать, какую модель адаптации контента следует использовать для адаптации декодированного видеоконтента под характеристики устройства отображения.

Фиг. 1 иллюстрирует основные этапы способа для адаптации видеоконтента, декодированного из элементарных потоков видеоданных, под характеристики устройства отображения согласно варианту осуществления настоящего изобретения.

RX 10 приемника присоединен к устройству 11 отображения. Например, RX 10 приемника является IRD, встроенным в телевизор 11, или является частью телевизионной абонентской приставки, присоединенной через линию связи HDMI к устройству 11 отображения.

RX 10 приемника принимает мультиплексный поток MX 1, соответствующий модуляции канала, например, как проиллюстрировано посредством фиг. 4. Такой мультиплексный поток MX 1 имеет древовидную структуру 43 с транспортным уровнем 41 на первом уровне, на котором инкапсулированы элементарные потоки 42, соответствующие кодированному видеоконтенту. Каждый элементарный поток связан с идентификатором, который, например, может соответствовать телевизионному каналу. Отсюда, в примере по фиг. 4, первый сигнал Мультиплекс 0 несет элементарные потоки, связанные с идентификаторами pid_0, pid_1 и pid_2, тем временем, второй сигнал Мультиплекс 1 несет элементарные потоки, связанные с идентификаторами pid_3 и pid_4.

MX 1 приемника демультиплексирует мультиплексный поток MX 1 на этапе 101, а затем, синтаксически анализирует транспортный поток TS 41 на этапе 102. Отсюда, он получает дополнительную информацию HDR DESCR., указывающую наличие одного или нескольких конкретных типов метаданных в транспортном потоке TS 41. Такая дополнительная информация HDR DESCR. используется вместе с информацией EDID, относящейся к характеристикам устройства 11 отображения, для определения, являются ли декодированные кинокадры из принятых элементарных потоков видеоданных допускающими отображение на устройстве 11 отображения, на этапе 105, CA SELEC. Информация EDID принимается из модуля 111 управления отображением, DISP.CTRL, и в особенности содержит поддерживаемые устройством отображения форматы и характеристики устройства отображения. Посредством сравнения такой информации EDID с метаданными, имеющимися в распоряжении в мультиплексном потоке MX 1, RX 10 приемник может делать выбор, на этапе 105, какой способ адаптации контента он должен использовать для адаптации декодированного видеоконтента под характеристики устройства отображения, если элементарные потоки видеоданных действительно определены в качестве являющихся допускающими отображение.

Как только выбрана последовательность операций адаптации контента, RX 10 приемника адаптирует видеоконтент, декодированный из элементарных потоков, согласно выбранной последовательности операций на этапе CA 106. Видеоконтент, декодированный из элементарных потоков DEC. PIC., получается после этапа 104 декодирования ES видеоданных, получающихся в результате этапа 103, на котором были синтаксически проанализированы элементарные потоки 42, инкапсулированные в транспортном потоке 41.

Адаптированные или переназначенные кинокадры REMAP. PICT. отправляются на устройство 11 отображения, для того чтобы воспроизводиться на этапе 110 DISP. RENDER.

Таким образом, HDR_descriptor (описатель HDR) используется IRD для:

- определения посредством IRD, являются ли видеоданные HDR допускающими (правильное) отображение на присоединенном устройстве отображения, благодаря информации EDID (поддерживаемым устройством отображения форматам) и информации HDR_descriptor.

- если контент HDR является допускающим отображение, выбора надлежащего способа адаптации контента при данных возможностях устройства отображения.

Должно быть отмечено, что синтаксически анализируется только уровень 41 TS, а не ES 42.

Согласно варианту осуществления настоящего изобретения, добавление описателя на уровне 41 TS (транспортного потока) сигнализирует о наличии одного конкретного типа метаданных или признака HDR. Оно также может сигнализировать, присутствует ли эта информация в течение всей длительности программы или последовательности.

Пример синтаксиса такого описателя DESCR. HDR (также называемого дополнительной информацией в настоящем документе), который переносится сигналом F, представлен в Table1.

Таблица 1: Пример описателя метаданных HDR.

Как может быть обнаружено в Таблице 1, дескриптор содержит флажковые признаки, указывающие наличие четырех разных типа метаданных, а именно:

- информацию о переназначении цвета (CRI);

- информацию об объеме цвета устройства отображения для создания оригинала;

- информацию об уровне яркости контента;

- совместимость с HDR.

Когда значение флажкового признака установлено в «1», оно указывает, что соответствующий тип метаданных присутствует в течение всей длительности кодированного видеопотока или всей программы.

Согласно варианту осуществления, часть или вся информация о статических метаданных могла бы быть имеющейся в распоряжении в дескрипторе, который приведен в примере «информацией об объеме цвета устройства отображения для создания оригинала» в Table2.

Таблица 2: Пример описателя метаданных HDR.

Признаки соответствующих метаданных, а именно, связанные колориметрические первичные данные, точки белого, а также минимальная и максимальная яркость устройства отображения для создания оригинала имеются в распоряжении непосредственно в дескрипторе HDR DESCR. в транспортном потоке 41.

Согласно варианту осуществления, сигнализируются максимальная частота или минимальный период обновления динамических метаданных. Он указывает минимальный интервал, с которым обновляются динамические метаданные (пример в Table3). Эта информация может количественно выражаться числом тактовой частоты опорного генератора тактовых импульсов или количеством тиков (например: 90 кГц).

Таблица 3: Пример описателя метаданных HDR с частотой обновления динамических метаданных.

Согласно варианту осуществления, сигнализируются минимальная частота или максимальный период обновления динамических метаданных. Он указывает максимальный интервал, с которым обновляются динамические метаданные (пример в Table4). Эта информация может количественно выражаться числом тактовой частоты опорного генератора тактовых импульсов или количеством тиков (например: 90 кГц) или числом частоты видеокадров ES.

Таблица 4: Пример описателя метаданных HDR с частотой обновления динамических метаданных.

Согласно варианту осуществления, сигнализируются переназначенные характеристики сигнала (colour_remapping_info). Они будут использоваться IRD, чтобы узнавать (выбирать), какой формат должен отправляться на устройство отображения, и/или узнавать, поддерживается ли он устройством отображения.

Таблица 5: Пример описателя метаданных HDR с частотой обновления динамических метаданных.

Вариант примера по таблице 5 приведен ниже:

Настоящее изобретение, таким образом, дает несколько преимуществ над технологиями предшествующего уровня техники:

- RX 10 IRD имеет доступ к информации о наличии некоторого конкретного типа статических или динамических метаданных HDR на верхнем уровне (TS 41).

- RX 10 IRD обладает осведомленностью о том, будут ли метаданные присутствовать в течение всей длительности программы/последовательности.

- RX 10 IRD больше не нужно синтаксически анализировать ES (42), а только TS (41), чтобы узнавать, может ли он правильно отображать кинокадры HDR.

Таким образом, RX 10 IRD может выдавать эту информацию на пользовательский интерфейс (или в модуль выбора адаптации контента), чтобы оповещать о возможно полной поддержке (или нет) воспроизведения HDR, в зависимости от своей реализуемой постобработки (пример: отображения объема цвета) и в зависимости от характеристик присоединенного устройства отображения, с помощью EDID.

Дополнительно, он может выбирать надлежащую (среди реализуемых в RX 10 IRD) модель адаптации контента.

На фиг. 1, модули являются функциональными блоками, которые могут быть или не быть в отношениях с отличимыми физическими блоками. Например, эти модули или некоторые из них могут быть сведены воедино в уникальных компоненте или схеме, или вносить вклад в функциональные возможности программного обеспечения. Наоборот, некоторые модули возможно могут состоять из отдельных физических сущностей. Устройства, которые совместимы с настоящими принципами, реализуются с использованием чисто аппаратных средств, например, с использованием специализированных аппаратных средств, таких как ASIC или FPGA, или VLSI, соответственно, «специализированная интегральная схема», «программируемая пользователем вентильная матрица», «сверхбольшая интегральная схема», или из нескольких интегральных электронных компонентов, воплощенных в устройстве, или из смеси аппаратных и программных компонентов.

Фиг. 2 представляет собой примерную архитектуру устройства 20, которое может быть выполнено с возможностью реализовывать способ, описанный в соответствии с фиг. 1.

Устройство 20 содержит следующие элементы, которые связаны друг с другом шиной 21 данных и адреса:

- микропроцессор 22 (или ЦПУ (центральное процессорное устройство, CPU)), которым, например, является ЦСП (или цифровой сигнальный процессор, DSP);

- ПЗУ 23 (или постоянное запоминающее устройство, ROM);

- ОЗУ 24 (или оперативное запоминающее устройство, RAM);

- интерфейс 25 ввода/вывода (I/O) для приема данных для передачи, из приложения; и

- аккумуляторная батарея 26.

В соответствии с примером, аккумуляторная батарея 26 является внешней по отношению к устройству. В каждой из упомянутой памяти, слово «регистр», используемое в описании изобретения, может соответствовать области небольшой емкости (несколько бит) или очень большой области (например, всей программе или большому количеству принятых или декодированных данных). ПЗУ 23 содержит по меньшей мере программу и параметры. ПЗУ 23 может хранить алгоритмы и команды для выполнения технологий в соответствии с настоящими принципами. Когда включен, ЦПУ 22 выгружает программу в ОЗУ и приводит в исполнение соответствующие команды.

ОЗУ 24 содержит, в регистре, программу, исполняемую ЦПУ 22 и загружаемую после включения устройства 20, входные данные в регистре, промежуточные данные в разных состояниях способа в регистре, и другие переменные, используемые для исполнения способа, в регистре.

Реализации, описанные в материалах настоящей заявки, например, могут быть реализованы в способе или последовательности операций обработки, устройстве, программно реализованной программе, потоке данных или сигнале. Даже если обсуждена только в контексте одиночной формы реализации (например, обсужденной исключительно в качестве способа или устройства), реализация обсужденных признаков также может быть реализована в других формах (например, программе). Устройство, например, может быть реализовано в надлежащих аппаратных средствах, программном обеспечении и зашитых программах. Способы, например, могут быть реализованы в устройстве, например, таком как процессор, которое указывает ссылкой на устройства обработки вообще, в том числе, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, например, такие как компьютеры, сотовые телефоны, портативные/персональные цифровые секретари («PDA») и другие устройства, которые содействуют передаче информации между конечными пользователями.

В соответствии с примером устройства, мультиплексный поток MX 1 (фиг. 1) получается из источника. Например, источник принадлежит к набору, содержащему:

- локальную память (23 или 24), например, видеопамять или ОЗУ (или оперативное запоминающее устройство, RAM), флэш-память, ПЗУ (или постоянное запоминающее устройство, ROM), жесткий диск;

- интерфейс (25) хранилища, например, интерфейс с запоминающим устройством большой емкости, ОЗУ, флэш-памятью, ОЗУ, оптическим диском или магнитной опорой;

- интерфейс (25) связи, например, проводной интерфейс (например, интерфейс шины, интерфейс глобальной сети, интерфейс локальной сети) или беспроводный интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth®); и

- схему захвата кинокадра (например, датчик, например, такой как CCD (или прибор с зарядовой связью) или CMOS (или комплементарный маталлооксидный полупроводник)).

В соответствии с примером устройства, переназначенный кинокадр REMAP.PICT. (фиг. 1), отправляется в пункт назначения; более точно, пункт назначения принадлежит к набору, содержащему:

- локальную память (23 или 24), например, видеопамять или ОЗУ, флэш-память, ПЗУ, жесткий диск;

- интерфейс (25) хранилища, например, интерфейс с запоминающим устройством большой емкости, ОЗУ, флэш-памятью, ОЗУ, оптическим диском или магнитной опорой;

- интерфейс (25) связи, например, проводной интерфейс (например, интерфейс шины (например, USB (или универсальной последовательной шины)), интерфейс глобальной сети, интерфейс локальной сети, интерфейс HDMI (мультимедийный интерфейс высокого разрешения)) или беспроводный интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth®); и

- устройство 11 отображения; и

- IRD 10.

В соответствии с примерами устройства, сигнал F, несущий описатель HDR DESCR., получается из источника. Для примера, сигнал F считывается из локальной памяти, например, видеопамяти (24), ОЗУ (24), ПЗУ (23), флэш-памяти (23) или с жесткого диска (23). В варианте, битовый поток принимается из интерфейса (25) хранилища, например, интерфейса с запоминающим устройством большой емкости, ОЗУ, ПЗУ, флэш-памятью, оптическим диском или магнитной опорой, и/или принимается из интерфейса (25) связи, например, интерфейса с соединением «точка-точка», шиной, соединением «точка-многоточка» или широковещательной сетью.

В соответствии с примерами, устройство 20 является выполненным с возможностью реализовывать способ, описанный применительно к фиг. 1, принадлежит к набору, содержащему:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- планшет (или планшетный компьютер);

- дорожный компьютер;

- фотоаппарат;

- видеокамеру;

- микросхему кодирования;

- сервер фотоснимков; и

- видеосервер (например, телевещательный сервер, сервер видео по запросу или интернет-сервер).

Фиг. 3 показывает пример синтаксиса такого сигнала F, когда используется пакетный протокол передачи. Каждый переданный пакет P содержит заголовок H и полезную нагрузку PAYLOAD. Бит заголовка H, например, представляет собой дополнительную информацию, указывающую наличие одного конкретного типа упомянутых метаданных, и, если эта дополнительная информация присутствует в течение всей длительности видеопотоков (полезной нагрузки PAYLOAD).

Точнее, согласно варианту осуществления, и как описано в примере по таблице 1, некоторые биты могут быть зарезервированы и формировать описатель метаданных HDR в пакете транспортного потока TS мультиплекса по фиг. 4 (Мультиплекса 0 или Мультиплекса 1). Эти биты являются флажковыми признаками, указывающими наличие разных типов метаданных HDR и указывающими, присутствуют ли они в течение всей длительности элементарных потоков 42.

Реализации различных последовательностей операций обработки и признаков, описанных в материалах настоящей заявки, могут быть воплощены в многообразии разных оборудования или приложений. Примеры такого оборудования включают в себя кодировщик, декодер, постпроцессор, обрабатывающий выходные данные из декодера, препроцессор, выдающий входные данные в кодировщик, видеокодер, видеодекодер, видеокодек, интернет-сервер, телевизионную абонентскую приставку, дорожный компьютер, персональный компьютер, сотовый телефон, PDA и любое другое устройство для обработки кинокадра или видеоданных, или другие устройства связи. Как должно быть ясно, оборудование может быть мобильным или даже установленным на движущемся транспортном средстве.

Дополнительно, способы могут реализовываться командами, выполняемыми процессором, и такие команды (и/или значения данных, сформированные реализацией) могут храниться на машинно-читаемом запоминающем носителе. Машинно-читаемый запоминающий носитель может принимать форму машинно-читаемого программного продукта, воплощенного на одном или более машинно-читаемых носителей и имеющего машинно-читаемую управляющую программу, воплощенную в нем, которая является исполняемой компьютером. Машинно-читаемый запоминающий носитель, в качестве используемого в материалах настоящей заявки, считается долговременным запоминающим носителем, наделенным присущей способностью хранить информацию на нем, а также присущей способностью обеспечивать извлечение информации с него. Машинно-читаемый запоминающий носитель, например, но не в качестве ограничения, может быть электронными, магнитными, оптическими, электромагнитными, инфракрасными или полупроводниковыми системой, устройством или приспособлением, или любой пригодной комбинацией вышеизложенного. Следует принимать во внимание, что нижеследующее, несмотря на предоставление дополнительных конкретных примеров машинно-читаемых запоминающих носителей, к которым применимы настоящие принципы, является всего лишь иллюстративным и неисключительным перечислением, как без труда принимается во внимание рядовым специалистом в данной области техники: съемная компьютерная дискета; жесткий диск; постоянное запоминающее устройство (ПЗУ, ROM); стираемое программируемое постоянное запоминающее устройство (ЭСПЗУ (EPROM) или флэш-память); съемное постоянное запоминающее устройство на компакт-диске (CD-ROM); оптическое запоминающее устройство; магнитное запоминающее устройство; или любая пригодная комбинация вышеизложенного.

Команды могут формировать прикладную программу, реально воплощенную на читаемом процессором носителе.

Команды, например, могут быть в виде аппаратных средств, зашитых программ, программного обеспечения или комбинации. Команды, например, могут быть найдены в операционной системе, отдельном приложении или комбинации этих двух. Процессор, поэтому, например, может характеризоваться как устройство, выполненное с возможностью выполнять последовательность операций обработки, и как устройство, которое включает в себя машинно-читаемый носитель (такой как запоминающее устройство), имеющий команды для выполнения последовательности операций обработки. Кроме того, машинно-читаемый носитель, в дополнение к или вместо команд, может хранить значения данных, сформированные реализацией.

Как будет очевидно специалисту в данной области техники, реализации могут вырабатывать многообразие сигналов, форматированных, чтобы нести информацию, которая, например, может сохраняться или передаваться. Информация, например, может включать в себя команды для выполнения способа или данные, порожденные одной из описанных реализаций. Например, сигнал может быть форматирован, чтобы нести, в виде данных, правила для написания или прочтения синтаксиса описанного примера настоящих принципов, или чтобы нести, в виде данных, реальные синтаксические значения, записанные согласно описанному примеру настоящих принципов. Такой сигнал, например, может быть форматирован в виде электромагнитной волны (например, с использованием радиочастотного участка спектра) или в виде основнополосного сигнала. Форматирование, например, может включать в себя кодирование потока данных и модулирование несущей кодированным потоком данных. Информация, которую несет сигнал, например, может быть аналоговой или цифровой информацией. Сигнал, как известно, может передаваться через многообразие разных проводных или беспроводных линий связи. Сигнал может храниться на машинно-читаемом носителе.

Было описано некоторое количество реализаций. Тем не менее, будет понятно, что могут быть произведены различные модификации. Например, элементы разных реализаций могут быть комбинированы, дополнены, модифицированы или удалены для создания других реализаций. Дополнительно, рядовой специалист будет понимать, что другие конструкции и последовательности операций могут быть использованы вместо раскрытых, и получающиеся в результате реализации будут выполнять по меньшей мере по существу такую же функцию(ии), по меньшей мере по существу таким же образом, для достижения по меньшей мере по существу такого же результата(ов), как раскрытые реализации. Соответственно, эти и другие реализации предполагаются данной заявкой.