ПЕРЕДАЮЩЕЕ УСТРОЙСТВО, СПОСОБ ПЕРЕДАЧИ, ПРИЕМНОЕ УСТРОЙСТВО И СПОСОБ ПРИЕМА

Область техники, к которой относится изобретение

Настоящая технология относится к передающему устройству, способам передачи, приемным устройствам и способам приема и, более конкретно, к передающему устройству и т.п., которые передают информацию субтитров, а также данные изображения.

Уровень техники

В традиционном цифровом видеовещании (DVB) и т.п. информация субтитров передается в форме растровых данных. В последнее время была предложена передача информации субтитров в форме кода текстовых символов или информация субтитров на текстовой основе (смотрите патентный документ 1).

Перечень литературы

Патентный документ

Патентный документ 1: Японская выложенная патентная заявка № 2012-169885.

Сущность изобретения

Проблемы, решаемые изобретением

В случае, когда изображение (фоновое изображение), на которое должен накладываться субтитр, является изображением с высоким динамическим диапазоном (high dynamic range, HDR), имеющим, например, очень высокую степень контрастности, уровень яркости субтитров необходимо регулировать должным образом в соответствии с контентом изображения, с тем, чтобы снижать зрительное утомление и т.д.

Настоящая технология помогает позволить приемной стороне предпочтительным образом выполнять регулировку уровня яркости субтитров.

Решения проблем

Концепция настоящей технологии заключается в передающем устройстве, содержащем:

видеокодер, формирующий видеопоток, содержащий данные изображения;

кодер субтитров, формирующий поток субтитров, содержащий информацию субтитров;

блок вставки информации для регулирования, вставляющий информацию для регулирования уровня яркости в видеопоток и/или поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитров; и

передающий блок, передающий контейнер в заданном формате, причем контейнер содержит видеопоток и поток сибтитров.

В настоящей технологии видеопоток, содержащий данные изображения, формируется видеокодером. Например, формируется видеопоток, содержащий видеоданные передачи, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном, выполняемого для данных изображения с высоким динамическим диапазоном. Поток субтитров, содержащий информацию субтитров, формируется кодером субтитров. Например, формируется поток субтитров, имеющий сегменты в качестве компонентов, содержащих текстовую информацию субтитров.

Информация для регулирования уровня яркости, чтобы регулировать уровень яркости субтитра вставляется в видеопоток и/или поток субтитров, используя блок вставки информации для регулирования. Например, информация для регулирования уровня яркости может быть информацией для регулирования уровня яркости, соответствующей всему экрану, и/или информацией для регулирования уровня яркости, соответствующей отдельным участкам деления, полученным делением экрана на заданное количество участков.

Например, информация для регулирования уровня яркости, которая должна быть вставлена в видеопоток, может содержать максимальное значение яркости, минимальное значение яркости и среднее значение яркости, которые формируются в соответствии с данными изображения. В этом случае, информация для регулирования уровня яркости, которая должна вставляться в видеопоток, может дополнительно содержать верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются, например, в соответствии с характеристиками функции электрооптического преобразования.

Например, информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, может содержать информацию об ограничении диапазона яркости субтитров. В этом случае, информация для регулирования уровня яркости, которая должна вставляться в видеопоток, может дополнительно содержать верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются, например, в соответствии с характеристиками функции электрооптического преобразования. Кроме того, в этом случае информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, может дополнительно содержать, например, информацию о цветовом пространстве.

Например, кодер субтитров может формировать поток субтитров в соответствии с текстовой информацией субтитров в структуре TTML или в структуре, подобной структуре TTML, и блок вставки информации для регулирования может вставлять в заголовок соответствующей структуры информацию для регулирования уровня яркости, используя элементы метаданных или элементы расширения стиля. Кроме того, кодер субтитров может формировать поток субтитров, имеющий в качестве компонентов сегменты, и блок вставки информации для регулирования может, например, вставлять в поток субтитров сегмент, содержащий информацию для регулирования уровня яркости.

Контейнер в заданном формате, содержащий видеопоток и поток субтитров, передается передающим блоком. Например, контейнер может быть транспортным потоком (MPEG-2 TS), который используется в стандартах цифрового вещания. Кроме того, например, контейнер может быть контейнером в формате МР4, используемом для передачи по Интернету, или контейнер может быть каком-либо другом формате.

В настоящей технологии информация для регулирования уровня яркости, чтобы регулировать уровень яркости субтитра, вставляется в видеопоток и/или в поток субтитров. Таким образом, приемная сторона может выполнять регулирование уровня яркости субтитра предпочтительным способом.

Следует заметить, что в настоящей технологии, например, передающее устройство может дополнительно содержать блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в видеопоток. В этом случае, приемная сторона, исходя из идентификационной информации, может легко распознать, существует ли вставленная в видеопоток информация для регулирования уровня яркости.

Кроме того, в настоящей технологии, например, передающее устройство может дополнительно содержать блок вставки информации, который вставляет информацию в контейнер, причем идентификационная информация указывает, что существует вставленная в видеопоток информация для регулирования уровня яркости. В этом случае, например, информация, указывающая положение вставки информации для регулирования уровня яркости в поток субтитров, может быть добавлена в идентификационную информацию. В этом случае, приемная сторона, исходя из идентификационной информации, может легко распознать, существует ли вставленная в поток субтитров информация для регулирования уровня яркости.

Кроме того, другая концепция настоящей технологии заключается в приемном устройстве, содержащем:

приемный блок, который принимает контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров;

блок видеодекодирования, получающий данные изображения, выполняя процесс декодирования видеопотока;

блок декодирования субтитров, получающий растровые данные субтитров, выполняя процесс декодирования потока субтитров;

блок регулирования уровня яркости, выполняющий процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и

блок видеоналожения, который накладывает растровые данные, полученные после регулирования уровня яркости блоком регулирования уровня яркости , на данные изображения, полученные блоком видеодекодирования.

В настоящей технологии контейнер в заданном формате, содержащий видеопоток, в котором присутствуют данные изображения, и поток субтитров, содержащий информацию субтитров, принимается приемным блоком. Например, видеопоток содержит видеоданные передачи, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном, выполняемого для данных изображения с высоким динамическим диапазоном. Поток субтитров содержит в качестве информации о субтитрах , например, растровые данные или текстовую информацию субтитров.

Процесс декодирования выполняется для видеопотока и с помощью блока видеодекодирования получают данные изображения. Процесс декодирования выполняется для потока субтитров и с помощью блока декодирования субтитров получают растровые данные субтитров. Процесс регулирования уровня яркости растровых данных выполняется для растровых данных блоком регулирования уровня яркости в соответствии с информацией для регулирования уровня яркости. Затем растровые данные после регулирования уровня яркости накладываются блоком видеоналожения на данные изображения.

Например, блок регулирования уровня яркости может выполнять регулирование уровня яркости, используя информацию для регулирования уровня яркости, вставленную в видеопоток и/или поток субтитров. Кроме того, приемное устройство может дополнительно содержать блок формирования информации для регулирования уровня яркости, например, формирующий информацию для регулирования уровня яркости, и блок регулирования уровня яркости может выполнять регулирование уровня яркости, используя информацию для регулирования уровня яркости, формируемую блоком формирования информации для регулирования уровня яркости

Как описано выше, в настоящей технологии процесс регулирования уровня яркости выполняется для растровых данных субтитров, которые должны накладываться на данные изображения в соответствии с информацией для регулирования уровня яркости. Соответственно, яркость субтитров становится подходящей для фонового изображения. Таким образом, зрительное утомление за счет разницы в яркости между фоновым изображением и субтитрами может быть уменьшено и можно предотвратить ухудшение атмосферы фонового изображения.

Еще одна, другая концепция настоящей технологии заключается в передающем устройстве, содержащем:

передающий блок, который передает видеопоток в контейнере в заданном формате, причем видеопоток содержит передаваемые видеоданные, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном для данных изображения с высоким динамическим диапазоном; и

блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что видеопоток совместим с высоким динамическим диапазоном.

В настоящей технологии видеопоток, содержащий передаваемые видеоданные, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном, выполненного для данных изображения с высоким динамическим диапазоном, передается передающим блоком в контейнере в заданном формате. Идентификационная информация, указывающая, что видеопоток совместим с высоким динамическим диапазоном, вставляется в контейнер блоком вставки идентификационной информации.

Как описано выше, в настоящей технологии идентификационная иинформация, указывающая, что видеопоток совместим с высоким динамическим диапазоном, вставляется в контейнер. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, совместим ли видеопоток с высоким динамическим диапазоном.

Еще одна, другая концепция настоящей технологии заключается в передающем устройстве, содержащем:

передающий блок, который передает видеопоток и поток субтитров в контейнере в заданном формате, причем видеопоток содержит данные изображения, а поток субтитров содержит текстовую информацию субтитров; и

блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что субтитры передаются в форме текстового кода.

В настоящей технологии видеопоток, содержащий данные изображения, и поток субтитров, содержащий текстовую информацию субтитров, передаются передающим блоком в контейнере в заданном формате. Идентификационная информация, указывающая, что субтитры передаются в форме текстового кода, вставляется в контейнер блоком вставки идентификационной информации.

Как описано выше, в настоящей технологии идентификационная информация, указывающая, что субтитры передаются в форме текстового кода, вставляется в контейнер. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, что субтитры передаются в форме текстового кода.

Предпочтительные результаты изобретения

В соответствии с настоящей технологией, приемная сторона может предпочтительным способом выполнять регулирование уровня яркости субтитров. Следует заметить, что предпочтительные результаты, представленные в настоящем описании, являются просто примерами и предпочтительные результаты настоящей технологии ими не ограничиваются и могут содержать дополнительные результаты.

Краткое описание чертежей

Фиг. 1 - блок-схема примера конфигурации передающей/приемной системы в качестве варианта осуществления.

Фиг. 2(a) и 2(b) - общее представление регулирования уровня яркости субтитров.

Фиг. 3(а) и 3(b) - информация о регулировании уровня яркости, которая должна передаваться передающей стороной (информация о регулировании уровня яркости, соответствующая всему экрану и информация о регулировании уровня яркости, соответствующая отдельным участкам деления, полученным делением экрана на заданное количество участков).

Фиг. 4 - график, поясняющий установку пороговых значений (верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости) для объединения.

Фиг. 5(a) и 5(b) - временные положения для вставки информации для регулирования уровня яркости в видеопоток и в поток субтитров.

Фиг. 6(a-1)-6(b-2) - регулирование уровня яркости субтитров (в светлой сцене и в темной сцене) на приемной стороне.

Фиг. 7(a-1)-7(d-2) - регулирование уровня яркости субтитров (в темной сцене с участком высокой яркости и в светлой сцене с участком низкой яркости) на стороне приема.

Фиг. 8 - регулирование уровня яркости субтитров с использованием глобальных параметров для экрана.

Фиг. 9(a) и 9(b) - назначение цветов посредством способа передачи информации субтитров в форме текста.

Фиг. 10(a-1)-10(b-2) - регулирование уровня яркости субтитров в светлой сцене и в темной сцене.

Фиг. 11(с-1)-11(d-2) - регулирование уровня яркости субтитров в темной сцене с участком высокой яркости и в светлой сцене с участком низкой яркости.

Фиг. 12 - регулирование уровня яркости субтитров с использованием параметров для соответствующих участков.

Фиг. 13 - регулирование уровня яркости субтитров с использованием параметров для соответствующих участков.

Фиг. 14 - блок-схема примера конфигурации передающего устройства передающей/приемной системы.

Фиг 15 – блок-схема примерной конфигурации блока вычисления уровня яркости.

Фиг. 16 - блок верхнего доступа для GOP в случае, когда способом кодирования является HEVC.

Фиг. 17 - блок доступа, отличный от блока верхнего доступа для GOP в случае, когда способом кодирования является HEVC.

Фиг. 18 – таблица примерной структуры сообщения SEI динамического диапазона яркости (1/2).

Фиг. 19 – таблица примерной структуры сообщения SEI динамического диапазона яркости (2/2).

Фиг. 20 – карта контента основной информации в примерной структуре сообщения SEI динамического диапазона яркости.

Фиг. 21 – карта структуры TTML.

Фиг. 22(a)-22(c) – карты примерных структур соответствующих элементов метаданных "metadata", стиля "styling" и планировки "layout" в заголовке "head" структуры TTML.

Фиг. 23 - карта примерной конфигурации основы "body" структуры TTML.

Фиг. 24 – карта примерной структуры метаданных (TTM: TTML Metadata) в случае, когда информация для регулирования уровня яркости вставляется в заголовок структуры TTML с использованием элементов метаданных "metadata".

Фиг. 25 – карта примерной структуры расширения стиля (TTM: Styling Extension) в случае, когда информация для регулирования уровня яркости вставляется в заголовок структуры TTML с использованием элементов расширения стиля "styling extension".

Фиг. 26 - таблица примерной структуры сегмента управления визуализацией субтитров, содержащего информацию для регулирования уровня яркости.

Фиг. 27(a) - таблица примерной структуры дескриптора поддержки визуализации HDR, и фиг. 27(b) - карта контента основной информации в примерной структуре.

Фиг. 28(a) - таблица примерной структуры дескриптора метаданных визуализации субтитров, и фиг. 28(b) - карта контента основной информации в примерной структуре.

Фиг 29 – карта примерной структуры транспортного потока TS.

Фиг. 30 - блок-схема примерной конфигурации приемного устройства передающей/приемной системы.

Фиг. 31 - блок-схема последовательности выполнения операций примера процедур управления в процессе наложения субтитров в приемном устройстве (1/2).

Фиг. 32 - блок-схема последовательности выполнения операций примера процедур управления в процессе наложения субтитров в приемном устройстве (2/2).

Фиг. 33 - блок-схема последовательности выполнения примера глобального процесса регулирования процедур управления уровнем яркости в приемном устройстве.

Способ осуществления изобретения

Ниже приводится описание способа осуществления настоящей технологии (здесь далее способ упоминается как "вариант осуществления"). Объяснения будут даны в следующем порядке.

1. Вариант осуществления

2. Модификации

1. Вариант осуществления

Примерная конфигурация передающей/приемной системы

На фиг. 1 в качестве варианта осуществления представлена блок-схема примера передающей/приемной системы 10. Эта передающая/приемная система 10 содержит передающее устройство 100 и приемное устройство 200.

Передающее устройство 100 формирует транспортный поток (transport stream, TS) MPEG2 в качестве контейнера и передает этот транспортный поток TS в форме вещательного радиосигнала или сетевого пакета. Этот транспортный поток TS несет видеопоток, содержащий данные изображения. Этот транспортный поток TS также несет поток субтитров, содержащий информацию субтитров. Информация для регулирования уровня яркости, чтобы регулировать уровень яркости субтитров, вставляется в видеопоток и/или в поток субтитров.

Приемное устройство 200 принимает транспортный поток TS, передаваемый передающим устройством 100. Приемное устройство 200, выполняя процесс декодирования видеопотока, получает данные изображения и, выполняя процесс декодирования потока субтитров, получает растровые данные субтитров. Дополнительно, в соответствии с информацией для регулирования уровня яркости, вставленной в видеопоток и/или в поток субтитров, приемное устройство 200 выполняет процесс регулирования уровня яркости для растровых данных субтитров и накладывает отрегулированные растровые данные на данные изображения. Следует заметить, что если видеопоток и/или поток субтитров не имеют вставленной в них информации для регулирования уровня яркости, приемное устройство 200 формирует информацию для регулирования уровня яркости и использует эту информацию для регулирования уровня яркости.

На фиг. 2(a) и 2(b) приведено общее представление регулирования уровня яркости субтитров. На фиг. 2(a) и 2(b) по оси абсцисс указывается время, а по оси ординат указывается уровень яркости фонового изображения (изображения, основанного на данных изображения). Максимальная яркость и минимальная яркость в фоновом изображении со временем меняются. В случае изображения с HDR, диапазон яркости D от минимальной яркости до максимальной яркости является очень широким.

При регулировании уровня яркости субтитров уровень яркости всего субтитра регулируется в соответствии с яркостью (максимальной яркостью, минимальной яркостью, средней яркостью) фонового изображения и диапазон яркости субтитров ограничивается диапазоном R. Окаймляющие субтитры обычно используются как субтитры. Окаймляющий субтитр имеет прямоугольный граничный участок, окружающий текстовый участок. Диапазон яркости субтитров в этом случае означает диапазон яркости всей области, в которую входят как текстовый участок, так и окаймляющий участок.

Следует заметить, что края субтитра также могут использоваться в качестве субтитра и подчиняются регулированию уровня яркости аналогично окаймляющему субтитру. В этом случае, участок края эквивалентен окаймляющему участку. В этом варианте осуществления в качестве примера рассматривается окаймленный субтитр и он будет описан ниже.

В случае, когда все изображение является светлым, как показано на фиг. 2(а), уровень яркости всего субтитра (имеющего текстовый участок "АВС") регулируется на высокий уровень. На этом этапе диапазон яркости субтитра ограничивается до диапазона R1, который заранее связывается с этим субтитром. С другой стороны, в случае, когда все изображение является темным, как показано на фиг. 2(b), уровень яркости всего субтитра (имеющего текстовый участок "DEF") регулируется на низкий уровень. На этом этапе диапазон яркости субтитра ограничивается до диапазона R2, который заранее связывается с этим субтитром.

Информация для регулирования уровня яркости

Далее описывается информация для регулирования уровня яркости, которая должна передаваться с передающей стороны. Информация для регулирования уровня яркости содержит информацию для регулирования уровня яркости, соответствующую всему экрану, как показано на фиг. 3(а), или информацию для регулирования уровня яркости, соответствующую отдельным участкам деления (здесь далее упоминаемым, соответственно, как "участки"), полученным делением экрана на заданное количество участков, как показано на фиг. 3(b). Следует заметить, что на фиг. 3(b) показан примерный случай, где экран делится на 24, чтобы сформировать 24 участка Р0-Р23.

Максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", которые соответствуют всему экрану, вставляются в видеопоток, и максимальные значения яркости "partition_content_level_max", минимальные значение яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным участкам, также вставляются в видеопоток. Эти значения получаются в соответствии с данными изображения. Следует заметить, что значения, соответствующие полному экрану и соответствующим участкам, вместе вставляются не обязательно, а могут вставляться значения, соответствующие полному экрану или соответствующим участкам.

Дополнительно, для определения того, как должна регулироваться яркость субтитров на приемной стороне, в видеопоток вставляются верхнее пороговое значение "Th_max" яркости, нижнее пороговое значение "Th_min" яркости и среднее пороговое значение "Th_ave" яркости. Эти значения получают в соответствии с характеристиками функции электрооптического преобразования (характеристиками EOTF).

Приведенная на фиг. 4 кривая представляет характеристики EOTF. Пороговые значения, рекомендуемые при услугах вещания/распространения, или подходящие значения яркости, соответствующие пороговому значению темного, среднему пороговому значению и пороговому значению светлого, устанавливаются равными "Th_min", "Th_ave" и "Th_max". Следует заметить, что эти значения могут не вставляться в видеопоток, если они вставляются в поток субтитров.

Верхнее пороговое значение "Th_max" яркости, пороговое нижнее пороговое значение "Th_min" яркости и среднее пороговое значение "Th_ave" яркости, которые были описаны выше, вставляются в поток субтитров. Следует заметить, что эти значения могут не вставляться в поток субтитров, если они вставляются в видеопоток. Информация "renderingdrange" об ограничении диапазона яркости субтитров также вставляется в поток субтитров. Информация "colorspace" о цветовом пространстве дополнительно вставляется в поток субтитров.

Информация для регулирования уровня яркости, описанная выше, вставляется в качестве сообщения SEI, например, в видеопоток. Поэтому информация для регулирования уровня яркости вставляется в видеопоток, например, на покадровой основе, как показано на фиг. 5(а). Следует заметить, что информация для регулирования уровня яркости может вставляться на основе GOP-GOP или на какой-то другой основе. Информация для регулирования уровня яркости, описанная выше, также вставляется в поток субтитров, например, на основе отображения субтитров.

Регулирование уровня яркости субтитров

Теперь будет описано регулирование уровня яркости субтитров на приемной стороне. В случае, когда субтитры накладываются на изображение с HDR, играющее роль фонового изображения, контраст яркости между фоновым изображением и субтитрами на дисплее большой и объекты с большой разностью яркости совместно существуют на экране, приводя к утомлению зрения. Для предотвращения этого, уровень яркости субтитров регулируется, в то время, как эффект фонового изображения с HDR сохраняется. В этом случае, область переднего плана на текстовом участке субтитров и область фона на обрамляющем участке управляются отдельно друг от друга в соответствии с яркостью фонового изображения.

Как показано на фиг. 6(a-1) и 6(a-2) регулирование уровня яркости субтитров в случае "светлой сцены" описывается как тип "а". В этом случае, в фоновом изображении существует область с высокой яркостью. Если субтитр накладывается непосредственно на такое фоновое изображение, как показано на фиг. 6(а-1), результирующее изображение трудно рассматривать и это вызывает зрительное утомление, поскольку разница яркостей между фоновой областью с низкой яркостью и соседней областью с высокой яркостью в фоновом изображении является большой. Кроме того, фоновая область с низкой яркостью выделяется и засвечивает собой светлую атмосферу. Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы увеличить уровень яркости фоновой области от низкой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 6(а-2).

Как показано на фиг. 6(b-1) и 6(b-2) регулирование уровня яркости субтитров в случае "темной сцены" описывается как тип "b". В этом случае, в фоновом изображении существует область с низкой яркостью. Если субтитры накладываются непосредственно на такое фоновое изображение, область переднего плана выделяется и засвечивает собой темную атмосферу, как показано на фиг. 6(b-1). Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы уменьшать уровень яркости области переднего плана от высокой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 6(b-2).

Как показано на фиг. 7(с-1) и 7(с-2) регулирование уровня яркости субтитров в случае "темной сцены с участком высокой яркости" описывается как тип "с". В этом случае, в фоновом изображении существует область высокой яркости, которая создает общее темное впечатление, и фоновое изображение имеет высокую степень контрастности. Если субтитры накладываются непосредственно на такое фоновое изображение, область переднего плана с высокой яркостью выделяется и засвечивает собой темную атмосферу, как показано на фиг. 7(с-1). Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы уменьшать уровень яркости области переднего плана от высокой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 7(с-2).

Как показано на фиг. 7(d-1) и 7(d-2) регулирование уровня яркости субтитров в случае "светлой сцены с участком низкой яркости" описывается как тип "d". В этом случае, в фоновом изображении существует область низкой яркости, которая создает общее светлое впечатление, и фоновое изображение имеет высокую степень контрастности. Если субтитр накладывается непосредственно на такое фоновое изображение, как показано на фиг. 7(d-1), результирующее изображение трудно рассматривать и это вызывает зрительное утомление, поскольку разница яркостей между фоновой областью с низкой яркостью и соседней областью с высокой яркостью в фоновом изображении является большой. Кроме того, фоновая область с низкой яркостью выделяется и засвечивает собой светлую атмосферу. Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы увеличивать уровень яркости фоновой области от низкой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 7(d-2).

Регулирование уровня яркости субтитров в некоторых случаях выполняется с использованием глобальных параметров для экрана, а в некоторых других случаях выполняется с использованием параметров для соответствующих участков. Сначала описывается регулирование уровня яркости с использованием глобальных параметров для всего экрана. Как показано на фиг. 8, в этом случае используются значение максимальной яркости "global_content_level_max", значение минимальной яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", которые соответствуют всему экрану. Кроме того, в этом случае для управления регулированием используются верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "Th_ave". Дополнительно, в этом случае используются яркость "Lf" в области переднего фона субтитра и яркость "Lb" в фоновой области субтитра.

Здесь описывается, как определяются яркости Lf и Lb. При традиционном способе передачи информации субтитров в форме текста назначение цветов осуществляется с помощью шестизначных цветовых кодов или названий цветов, таких как "Красный", "Зеленый", "Синий" и "Белый". На фиг. 9(а) показан пример языка временной разметки текстов (Timed Text Markup Language, TTML). Шестизначные цветовые коды основываются на таблице, приведенной на фиг. 9(а).

В примере TTML "color" указывает цвет области переднего плана, которая является текстовым участком субтитров, а "backgroundColor" указывает цвет фоновой области, которая является окаймляющим участком субтитров. Пример, показанный на фиг. 9(a), указывает, что цветом области переднего плана субтитра является "#ffff00", который соответствует "Желтому", а цветом фоновой области является "#000000", который соответствует "Черному". Пример, показанный на фиг. 9(a), также указывает, что цветом области переднего плана другого субтитра является "#ffffff", который соответствует "Белому", а цветом фоновой области является "#000000", который соответствует "Черному".

Как описано выше, передача цветовой информации субтитров проводится для области переднего плана и фоновой области раздельно друг от друга, но часто выполняется в домене RGB для любой из областей. В домене RGB соотношение между видимостью и яркостью не является линейным соотношением. Поэтому регулирование уровня яркости выполняется посредством перевода из домена RGB в домен YCbCr (домен яркости/цветности) посредством преобразования, описанного ниже.

Преобразование цветов зависит от цветовых пространств и выражения для преобразования значений хроматичности R, G и B в яркость Y в соответствующих цветовых пространствах "Bt.709" и "Bt.2020", например, как показано ниже.

Y = 0,212R + 0,715G + 0Ю072B (в случае Bt.709)

Y = 0,262R + 0,678G + 0,059B (в случае Bt.2020)

На приемной стороне преобразование цветов выполняется для цветовой информации (R, G, B) вокруг области переднего плана и фоновой области субтитров, с тем, чтобы определить яркости Lf и Lb. Как описано выше, преобразование цветов зависит от цветового пространства. По этой причине, в этом варианте осуществления информация о цветовом пространстве "colorspace" вставляется в поток субтитров.

Следует заметить, что информация субтитров вместо текста может быть передана в растровой форме. В этом случае, яркости Lf и Lb могут быть получены из выходных сигналов CLUT на приемной стороне.

Далее описывается регулирование уровня яркости субтитров в случае "светлой сцены" типа "а", показанной на фиг. 6(a-1) и 6(a-2). Схема на фиг. 10(a-1) соответствует фиг. 6(a-1). В приведенном ниже описании максимальное значение яркости представляется как "max”, минимальное значение яркости представляется как "min" и среднее значение яркости представляется как "ave". Поскольку Th_max<max, принимается решение, что в фоновой области существует область с очень высокой яркостью. Кроме того, поскольку Th_ave < ave, фоновое изображение определяется как полностью светлое. Дополнительно, поскольку Th_min < min, принимается решение, что в фоновой области не существует никакой области с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.

В этом случае, как показано на фиг. 10(a-2), яркость Lb в фоновой области субтитров регулируется и увеличивается до яркости Lb’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. "Renderingdrange" указывает отношение между яркостью на переднем плане и яркостью в фоновой области и уровень яркости Lb’ регулируется так, чтобы Lf/Lb’ стало равным или ниже упомянутого отношения.

Далее описывается регулировка уровня яркости субтитров в "темной сцене" типа "b", показанной на фиг. 6(b-1) и 6(b-2). Схема на фиг. 10(b-1) соответствует фиг. 6(b-1). Поскольку Th_max>max, принимается решение, что в фоновой области не существует никакой области с очень высокой яркостью. Кроме того, поскольку Th_ave>ave, фоновое изображение определяется как полностью темное. Дополнительно, поскольку Th_min > min, принимается решение, что в фоновой области существует область с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.

В этом случае, как показано на фиг. 10(b-2), яркость Lf в области переднего плана субтитров регулируется и снижается до яркости Lf’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lf’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".

Далее описывается регулировка уровня яркости субтитров в "темной сцене с участком высокой яркости" типа "с", показанной на фиг. 7(с-1) и 7(с-2). Схема на фиг. 11(с-1) соответствует фиг. 11(с-1). Поскольку Th_max<max, принимается решение, что в фоновой области существует область с очень высокой яркостью. Кроме того, поскольку Th_ave>ave, фоновое изображение определяется как полностью темное. Дополнительно, поскольку Th_min > min, принимается решение, что в фоновой области существует область с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.

В этом случае, как показано на фиг. 11(с-2), яркость Lf в области переднего плана субтитров регулируется и снижается до яркости Lf’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lf’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".

Далее описывается регулировка уровня яркости субтитров в "светлой сцене с участком низкой яркости" типа "d", показанной на фиг. 7(d-1) и 7(d-2). Схема на фиг. 11(d-1) соответствует фиг. 11(d-1). Поскольку Th_max<max, принимается решение, что в фоновой области существует область с очень высокой яркостью. Кроме того, поскольку Th_ave < ave, фоновое изображение определяется как полностью светлое. Дополнительно, поскольку Th_min > min, принимается решение, что в фоновой области существует область с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.

В этом случае, как показано на фиг. 11(d-2), яркость Lb в фоновой области субтитров регулируется и увеличивается до яркости Lb’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lb’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".

Далее описывается регулирование уровня яркости с использованием параметров для соответствующих участков. Максимальное значение яркости, минимальное значение яркости и среднее значение яркости на экране не могут представлять локальное распределение яркости. Здесь используются максимальные значения яркости, минимальные значения яркости и средние значения яркости соответствующих участков, с тем, чтобы могло выполняться более точное регулирование уровня яркости субтитров.

В этом случае, экран делится на 24 участка P0-P23 и субтитры накладываются на восемь участков A, B, C, D, E, F, G и H, как показано на фиг. 12. Пунктирный прямоугольник указывает положение и размер субтитра (окаймленный субтитр), который должен накладываться.

Как показано на фиг. 13, в этом случае используются максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие восьми участкам A, B, C, D, E, F, G и H. Следует заметить, что сюда могут включаться участки с большей площадью, чем восемь участков. Кроме того, в этом случае используются верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "Th_ave". Дополнительно, в этом случае используются яркость "Lf" в области переднего фона субтитра и яркость "Lb" в фоновой области субтитра.

В этом случае, выполняются определения, подобные тем, которые используются при регулировании уровня яркости субтитров с описанными выше параметрами, и окончательные определения принимаются, например, с помощью правила большинства или степеней приоритета. В примере, показанном на чертеже, используются, например, определения, сделанные в отношении участка С (смотрите фиг. 11(d-1) и 11(d-2)). В этом случае, как показано на фиг. 11(d-2), яркость Lb в фоновой области субтитров регулируется и увеличивается до яркости Lb’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lb’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".

Пример конфигурации передающего устройства

На фиг. 14 представлен пример конфигурации передающего устройства 100. Это передающее устройство 100 содержит блок 101 управления, камеру 102 с HDR, блок 103 фотоэлектрического преобразования с HDR, блок 104 преобразования RGB/YCbCr, видеокодер 105, блок 106 вычисления уровня яркости, блок 107 установки порогового значения, блок 108 формирования субтитров, блок 109 преобразования текстового формата, кодер 110 субтитров, системный кодер 111 и передающий блок 112.

Блок 101 управления предназначен для работы в качестве центрального процессора (central processing unit, CPU) и управляет операциями соответствующих компонент передающего устройства 100 в соответствии с управляющей программой. Камера 102 с HDR получает изображение объекта и выводит видеоданные (данные изображения) с высоким динамическим диапазоном (high dynamic range, HDR). Эти видеоданные с HDR имеют степень контрастности от 0 до 100%*N (где N - число больше 1), превышающую яркость пика белого для традиционного SDR-изображения, такую как степень контрастности от 0 до 1000%. Здесь, 100-процентный уровень эквивалентен значению яркости белого, которая составляет 100 кд/м².

Основной монитор 103 является монитором для градации видеоданных с HDR, полученных камерой 102 с HDR. Этот основной монитор 103a имеет уровень яркости отображения, соответствующий видеоданным с HDR, или пригодный для градации видеоданных с HDR.

Блок 103 фотоэлектрического преобразования с HDR применяет характеристики функции оптоэлектрической передачи в видеоданные с HDR, полученные камерой 102 с HDR, чтобы получить передаваемые видеоданные V1. Блок 104 преобразования RGB/YCbCr преобразует передаваемые видеоданные V1 из домена RGB в домен YCbCr (яркость/цветность).

В соответствии с передаваемыми видеоданными V1, преобразованными в домен YCbCr, блок 106 вычисления уровня яркости для каждой картинки вычисляет максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану, и максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным участкам деления (участкам), например, полученным делением экрана на заданное число.

На фиг. 15 представлен пример конфигурации блока 106 вычисления уровня яркости. Этот блок 106 вычисления уровня яркости формируется блоками 106а и 106b сравнения значений изображения. Блок 106a сравнения пиксельных значений принимает вводимые передаваемые видеоданные V1 и имеет размер участка экрана, назначенный блоком 101 управления. Следует заметить, что вместо размера участка экрана может назначаться количество участков экрана. Блок 106а сравнения пиксельных значений сравнивает пиксельные значения, чтобы вычислять максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave" для соответствующих участков (областей участков).

Блок 106b сравнения пиксельных значений принимает вводимые соответствующие значения каждого участка, вычисленные блоком 106а сравнения пиксельных значений. Блок 106b сравнения пиксельных значений сравнивает значения соответствующих участков деления, чтобы вычислить максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану.

Возвращаясь обратно к фиг. 14, в соответствии с характеристиками функции электрооптического преобразования (electro-optical transfer function, EOTF), блок 107 установки порогового значения устанавливает верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "h_ave" для определения, как должна регулироваться яркость субтитров на приемной стороне (смотрите фиг. 4).

Видеокодер 105 выполняет такое кодирование, как MPEG4-AVC или HEVC, для передаваемых видеоданных V1, чтобы сформировать видеопоток (поток PES stream) VS, содержащий кодированные данные изображения. Видеокодер 105 также вставляет в видеопоток информацию для регулирования уровня яркости для регулирования уровня яркости субтитров.

Конкретно, максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", которые были вычислены блоком 106 вычисления уровня яркости и соответствуют всему экрану, вставляются в видеопоток, и максимальные значения яркости "partition_content_level_max", минимальные значение яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", которые были вычислены блоком 106 вычисления уровня яркости и соответствуют определенным участкам деления, также вставляются в видеопоток. Верхнее пороговое значение "Th_max" яркости, нижнее пороговое значение "Th_min" яркости и среднее пороговое значение "Th_ave" яркости, которые были установлены блоком установки пороговых значений, вставляются в видеопоток.

В этом варианте осуществления видеокодер 105 вставляет сообщение SEI о динамическом диапазоне яркости "Luma_dynamic_range SEI message", определенное вновь, в участок "SEIs" каждого блока доступа (AU).

На фиг. 16 представлен блок верхнего доступа для группы картинок (group of pictures, GOP) в случае , когда способом кодирования является HEVC. На фиг. 17 представлен блок доступа, отличный от блока верхнего доступа для GOP в случае, когда способом кодирования является HEVC. В случае, когда способом кодирования является HEVC, сообщения SEI "Prefix_SEIs" для декодирования располагаются перед слоями "slices", в которых кодируются пиксельные данные, и сообщения SEI "Suffix_SEIs" для отображения располагаются после слоев "slices". Как показано на фиг. 16 и 17, сообщение SEI о динамическом диапазоне яркости могут располагаться как сообщения SEI "Suffix_SEIs".

На фиг. 18 и 19 представлена примерная структура (синтаксис) сообщения SEI о динамическом диапазоне яркости. На фиг. 20 представлен контент (семантики) основной информации в примерной структуре. Флаговая информация, представленная одним битом флага "Luma_dynamic_range_cancel_flag", указывает, обновлять ли сообщение в "Luma_dynamic_range". Конкретно, "0" указывает, что сообщение в "Luma_dynamic_range" должно быть обновлено. С другой стороны, "1" указывает, что сообщение в "Luma_dynamic_range" не должно обновляться или предыдущее сообщение должно сохраняться таким, как есть.

Когда флаг "Luma_dynamic_range_cancel_flag" равен "0", существуют поля, описанные ниже. 8-мибитовое поле "coded_data_bit_depth" указывает количество битов кодированных пикселей. 8-битовое поле "number_of_partitions" указывает количество областей участков деления (участков) на экране. Если это значение меньше "2", экран не делится. 8-битовое поле "block_size" указывает размер блока или размер областией, полученных делением всего экрана на количество областей деления.

16-битовое поле "global_content_level_max" указывает максимальное значение яркости всего экрана. 16-битовое поле "global_content_level_min" указывает минимальное значение яркости всего экрана. 16-битовое поле "global_content_level_ave" указывает среднее значение яркости всего экрана. 16-битовое поле "content_threshold_max" указывает верхнее пороговое значение яркости. 16-битовое поле "content_threshold_min" указывает нижнее пороговое значение яркости. 16-битовое поле "content_threshold_ave" указывает среднее пороговое значение яркости.

Дополнительно, когда количество делений, указанное полем "number_of_partitions" равно 2 или больше, каждый участок деления содержит описанные выше поля. 16-битовое поле "partition_content_level_max" указывает максимальное значение яркости на участке деления. 16-битовое поле "partition_content_level_min" указывает минимальное значение яркости на участке деления. 16-битовое поле "partition_content_level_ave" указывает среднее значение яркости на участке деления.

Возвращаясь обратно к фиг. 14, блок 108 формирования субтитров формирует текстовые данные (код символов) DT в качестве информации субтитров. Блок 109 преобразования текстового формата принимает вводимые текстовые данные DT и получает текстовую информацию субтитров в заданном формате, имеющем информацию синхронизации отображения. В этом варианте осуществления текстовая информация DT преобразуется в TTML.

На фиг. 21 показана структура TTML. TTML записывается в соответствии с XML. Заголовок "head" содержит соответствующие элементы, такие как метаданные "metadata", стиль "styling" и планировка "layout". На фиг. 22 представлена примерная структура метаданных (TTM: TTML Metadata). Эти метаданные содержат информацию о заголовке метаданных и информацию об авторском праве.

На фиг. 22(b) представлена примерная структура стиля (TTS: TTML Styling). Этот стиль содержит не только идентификатор "id", но также информацию о цвете "color", шрифте "fontFamily", размере "fontSize", выравнивании "textAlign" и т.п. На фиг. . 22(c) показана примерная структура планировки (область: TTML layout). Эта планировка содержит не только идентификатор "id" области, в которой располагается субтитр, но также информацию о размере "extent", заполнении "padding", фоновом цвете "backgroundColor", выравнивании "displayAlign" и т.п.

На фиг. 23 показан пример структуры основы "body". Пример, показанный на чертеже, содержит информацию о трех субтитрах: субтитр 1 "subtitle 1", субтитр 2 "subtitle 2" и субтитр 3 "subtitle 3". Для каждого субтитра записываются текстовые данные, а также момент начала отображения и момент окончания отображения. Для субтитра 1, например, момент начала отображения равен "0,76s", момент окончания отображения равен "3,45s" и текстовыми данными являются "It seems a paradox, dose it not" (это кажется парадоксом, не так ли). Возвращаясь обратно к фиг. 14, кодер 110 субтитров преобразует TTML, полученный посредством блока 109 преобразования текстового формата в различные сегменты, и формирует поток SS субтитров, образуемый PES-пакетом, в котором эти сегменты располагаются в полезной нагрузке.

В настоящем варианте осуществления информация для регулирования уровня яркости, используемая для регулирования уровня яркости субтитров, вставляется в поток SS субтитров. Конкретно, верхнее пороговое значение "Th_max" яркости, нижнее пороговое значение "Th_min" яркости, среднее пороговое значение "Th_ave" яркости, информация об ограничении диапазона яркости субтитров "renderingdrange" и информация о цветовом пространстве субтитров "colorspace" вставляются в поток SS субтитров.

Вставка информации для регулирования уровня яркости выполняется блоком 109 преобразования текстового формата или кодером 110 субтитров. В случае, когда блок 109 преобразования текстового формата выполняет вставку информации для регулирования яркости, используются, например, элементы в метаданных "metadata" в заголовке структуры TTML.

На фиг. 24 представлена примерная структура метаданных (TTM: TTML Metadata) для этого случая. Информация о цветовом пространстве указывается посредством "ttm-ext:colorspace" и "ITUR2020", "ITIUR709" и т.п. и затем записывается. В примере, показанном на чертеже, записано "ITUR2020". Информация о динамическом диапазоне или тип характеристик EOTF с HDR указывается посредством "ttm-ext:dynamicrange" и затем записывается "ITUR202x", "ITIUR709" и т.п. В примере, показанном на чертеже, записано "ITUR202x".

Информация управления визуализацией в качестве информации для регулирования уровня яркости указывается посредством "ttm-ext:renderingcontrol". Верхнее пороговое значение яркости указывается посредством "ttm-ext:lumathmax" и затем в качестве его фактического значения записывается "Th_max". Нижнее пороговое значение яркости указывается посредством "ttm-ext:lumathmin" и затем в качестве его фактического значения записывается "Th_min". Среднее пороговое значение яркости указывается посредством "ttm-ext:lumathave" и затем в качестве его фактического значения записывается "Th_ave".

Информация об ограничении диапазона яркости субтитров указывается посредством "ttm-ext:renderingdrange” и затем записывается "Maxminratio". "Maxminratio" указывает отношение, полученное делением максимальное значения яркости субтитра на минимальное значение яркости субтитра. Когда значение равно, например, "4", максимальное значение яркости субтитра после регулирования яркости равно или меньше четырехкратного минимального значения яркости.

Дополнительно, в случае, когда блок 109 преобразования текстового формата выполняет вставку информации для регулирования уровня яркости, в заголовке структуры TTML используются, например, элементы расширения стиля "styling extension". В этом случае, независимое управление визуализацией (регулирование уровня яркости) может выполняться для каждого "xml:id".

На фиг. 25 показана примерная структура расширения стиля "TTML Styling Extension" для этого случая. Информация о цветовом пространстве указывается посредством "ttse:colorspace" и "ITUR2020", "ITIUR709" и т.п. и затем записывается. В примере, показанном на чертеже, записано "ITUR2020". Информация о динамическом диапазоне или типе характеристик EOTF с HDR указывается посредством "ttse:dynamicrange" и затем записывается "ITUR202x", "ITIUR709" и т.п. В примере, показанном на чертеже, записано "ITUR202x".

Верхнее пороговое значение яркости указывается посредством "ttse:renderingcontrol:lumathmax" и затем в качестве его фактического значения записывается "Th_max". Нижнее пороговое значение яркости указывается посредством "ttse:renderingcontrol:lumathmin" и затем в качестве его фактического значения записывается "Th_min". Среднее пороговое значение яркости указывается посредством "ttse-ext:renderingcontrol:lumathave" и затем в качестве его фактического значения записывается "Th_ave". Информация об ограничении диапазона яркости субтитров указывается как "ttse: renderingcontrol:renderingdrange” и затем записывается "Maxminratio".

В случае, когда кодер 110 субтитров выполняет вставку информации для регулирования уровня яркости, в поток субтитров вставляется сегмент, содержащий информацию для регулирования уровня яркости. В этом варианте осуществления вновь определенный сегмент управления визуализацией субтитров (SRCS: Subtitle_rendering_control_segment) вставляется в поток субтитров.

На фиг. 26 показана примерная структура (синтаксис) сегмента управления визуализацией субтитров. Эта структура содержит следующие фрагменты информации: "sync_byte", "segment_type", "page_id", "segment_length", "version_number" и "number_of _resion". 8-мибитовое поле "segment_type" указывает тип сегмента и, в данном примере, показывает, что сегмент является сегментом управления визуализацией субтитров. 8-мибитовое поле "segment_length" указывает длину (размер) сегмента. 8-битовое поле "number_of_resion" указывает количество областей.

Кроме того, такая структура содержит информацию для регулирования уровня яркости для каждой области. 8-битовое поле "resion_id" указывает идентификатор для идентификации области. 8-битовое поле "colorspace_type" указывает информацию о цветовом пространстве. 8-битовое поле "dynamicrange_type" указывает информацию о динамическом диапазоне или указывает тип характеристик EOTF с HDR. 16-битовое поле "luma_th_max" указывает верхнее пороговое значение яркости. 16-битовое поле "luma_th_min" указывает нижнее пороговое значение яркости. 16-битовое поле "luma_th_ave" указывает среднее пороговое значение яркости.

8-битовое поле "renderingdrange" указывает информацию об ограничении диапазона яркости субтитров. Эта информация об ограничении указывает, например, отношение, полученное делением максимальное значения яркости субтитра на минимальное значение яркости субтитра. Когда значение равно, например, "4", максимальное значение яркости субтитра после регулирования яркости равно или меньше четырехкратного минимального значения яркости.

Возвращаясь к фиг. 14, системный кодер 111 формирует транспортный поток TS, содержащий видеопоток VS, сформированный видеокодером 105, и поток SS субтитров, сформированный декодером 110 субтитров. Передающий блок 112 вводит этот транспортный поток TS в вещательный радиосигнал или в сетевой пакет и передает вещательный радиосигнал или сетевой пакет приемному устройству 200.

Системный кодер 111 вставляет идентификационную информацию в транспортный поток TS, служащий в качестве контейнера. Идентификационная информация указывает, что информация для регулирования уровня яркости была вставлена в видеопоток. В этом варианте осуществления системный кодер 111 вставляет дескриптор поддержки визуализации с HDR "HDR_rendering_support_descriptor" в таблицу карты программы (PMT: Program Map Table).

На фиг. 27(a) представлена примерная структура (синтаксис) дескриптора поддержки визуализации HDR. На фиг. 27(b) представлен контент (семантики) основной информации в примерной структуре. 8-мибитовое поле "descriptor_tag" указывает тип дескриптора и, в данном примере, показывает, что дескриптор является дескриптором поддержки визуализации с HDR. 8-битовое поле "descriptor_length" указывает длину (размер) дескриптора и показывает количество байтов, соответствующее длине дескриптора.

Флаг "HDR_flag" указывает, совместим ли сервисный поток (видеопоток) с HDR. Когда флаг равен "1", сервисный поток совместим с HDR. Когда флаг равен "0", сервисный поток не совместим с HDR. Флаг "composition_control_flag" указывает, было ли закодировано в видеопотоке сообщение SEI о динамическом диапазоне яркости (сообщение Luma_dynamic_Range SEI), или были ли информация для регулирования уровня яркости вставлена в видеопоток. Когда флаг равен "1", сообщение SEI о динамическом диапазоне яркости было закодировано. Когда флаг равен "0", сообщение SEI о динамическом диапазоне яркости не было закодировано. 8-битовое поле "EOTF_type" указывает тип характеристик EOTF видео (значение VUI видеопотока).

Системный кодер 111 вставляет дополнительную идентификационную информацию в транспортный поток TS, служащий в качестве контейнера. Идентификационная информация указывает, что информация для регулирования уровня яркости была вставлена в поток субтитров. В этом варианте осуществления системный кодер 111 вставляет дескриптор метаданных визуализации субтитров "Subtitle_rendering_metadata_descriptor" в таблицу карты программы (PMT: Program Map Table).

На фиг. 28(a) представлена примерная структура (синтаксис) дескриптора метаданных визуализации субтитра. На фиг. 28(b) представлен контент (семантики) основной информации в примерной структуре. 8-мибитовое поле "descriptor_tag" указывает тип дескриптора и в данном примере показывает, что дескриптор является дескриптором метаданных визуализации субтитра. 8-битовое поле "descriptor_length" указывает длину (размер) дескриптора и показывает количество байтов, соответствующее длине дескриптора.

Флаг "subtitle_text_flag" указывает, передается ли субтитр в форме текстового кода. Когда флаг равен "1", субтитр является субтитром с кодированным текстом. Когда флаг равен "0", субтитр не является субтитром с кодированным текстом. Флаг "subtitle_rendering_control_flag" указывает, была ли закодирована метаинформация о субтитре для регулирования яркости или имеет ли субтитр вставленную в него информацию для регулирования уровня яркости. Когда флаг равен "1", метаинформация для регулирования яркости была закодирована. Когда флаг равен "0", метаинформация для регулирования яркости не была закодирована.

3-хбитовое поле "meta_container_type" указывает место хранения или положение вставки метаинформации для регулирования яркости (информации для регулирования уровня яркости). В 3-хбитовом поле "meta_container_type" "0" указывает сегмент управления визуализацией субтитра, "1" указывает элемент метаданных "metadata" в заголовке структуры TTML и "2" указывает элемент расширения стиля "styling extension" в заголовке структуры TTML.

Далее кратко описываются операции в передающем устройстве 100, показанном на фиг. 14. Видеоданные с HDR, полученные посредством получения изображения, выполняемого камерой 102 с HDR, подаются на блок 103 фотоэлектрического преобразования с HDR. Видеоданные с HDR, полученные камерой 102 с HDR, подвергаются градации с помощью основного монитора 103a. Блок 103 фотоэлектрического преобразования с HDR выполняет фотоэлектрическое преобразование, применяя характеристики функции оптоэлектрической передачи с HDR (кривая HDR OETF) к видеоданным с HDR, и, таким образом, получает передаваемые видеоданные V1. Эти передаваемые видеоданные V1 преобразуются из домена RGB в домен YCbCr (яркость/цветность) блоком 104 преобразования RGB/YCbCr.

Передаваемые видеоданные V1, преобразованные в домен YCbCr, подаются на видеокодер 105 и блок 106 вычисления уровня яркости. Блок 106 вычисления уровня яркости для каждой картинки вычисляет максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану, и максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным участкам деления (участкам), полученным делением экрана на заданное число (смотрите фиг. 15). Данные DV изображения подаются на видеокодер 105.

Информация о характеристиках функции электрооптического преобразования (характеристиках EOTF) подается на блок 107 установки порогового значения. В соответствии с характеристиками EOTF, блок 107 установки порогового значения устанавливает верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "h_ave" для определения, как должна регулироваться яркость субтитров на приемной стороне (смотрите фиг. 4). Соответствующие установленные значения подаются на видеокодер 105. Соответствующие установленные значения также подаются на блок 109 преобразования текстового формата или на кодер 110 субтитров.

На видеокодере 105 выполняет такое кодирование, как MPEG4-AVC или HEVC, для передаваемых видеоданных V1 и формируется видеопоток (поток PES) VS, содержащий кодированные данные изображения. На видеокодере 105 в видеопоток также вставляется информация для регулирования уровня яркости, предназначенная для регулирования уровня яркости субтитров. То есть, на видеокодере 105 вновь определенное сообщение SEI о динамическом диапазоне яркости вставляется в участок "SEIs" в блоке доступа (AU) (смотрите фиг. 16).

В блоке 108 формирования субтитров в качестве информации субтитров формируются текстовые данные (коды символов) DT. Эти текстовые данные DT подаются на блок 109 преобразования текстового формата. На блоке 109 преобразования текстового формата текстовые данные DT преобразуются в текстовую информацию субтитров, имеющую информацию синхронизации отображения, или в TTML (смотрите фиг. 21). Этот TTML подается на кодер 110 субтитров.

В кодере 109 субтитров TTML, полученный посредством блока 109 преобразования текстового формата, преобразуется в различные сегменты, и формируется поток SS субтитров, полученный с помощью PES-пакета, в котором эти сегменты располагаются в полезных нагрузках.

Информация для регулирования уровня яркости для выполнения регулирования уровня яркости субтитра вставляется в поток SS субтитров. Вставка информации для регулирования уровня яркости выполняется блоком 109 преобразования текстового формата или кодером 110 субтитров. В случае, когда вставка выполняется блоком 109 преобразования текстового формата, используются, например, элементы в метаданных "metadata" в заголовке структуры TTML или элементы в расширении стиля "styling extension" в заголовке структуры TTML (смотрите фиг. 24 и 25). С другой стороны, в случае, когда вставка выполняется кодером 110 субтитров, вновь определенный сегмент управления визуализацией субтитров вставляется, например, в поток субтитров (смотрите фиг. 26).

Видеопоток VS, сформированный видеокодером 105, подается на системный кодер 111. Поток SS субтитров, сформированный кодером 110 субтитров, подается на системный кодер 111. В системном кодере 111 формируется транспортный поток TS, содержащий видеопоток VS и поток SS субтитров. Этот транспортный поток TS вводится в вещательный радиосигнал или в сетевой пакет и передается передающим устройством 112 приемному устройству 200.

В системном кодере 111 на этом этапе в транспортный поток TS вставляется идентификационная информация, указывающая, что в видеопоток вставлена информация для регулирования уровня яркости. То есть, в системном кодере 111 дескриптор поддержки визуализации с HDR вставляется в таблицу карты программы (смотрите фиг. 27(а)). В системном кодере 111 на этом этапе в транспортный поток TS также вставляется идентификационная информация, указывающая, что поток SS субтитров имеет вставленную в него информацию для регулирования уровня яркости. То есть, в системном кодере 111 дескриптор метаданных визуализации субтитров вставляется в таблицу карты программы (РМТ) (смотрите фиг. 28(а)).

Структура транспортного потока TS

На фиг. 29 представлена примерная структура транспортного потока TS. Эта примерная структура содержит пакет PES видеопотока "video PES1", идентифицируемый с помощью PID1. Каждый блок доступа имеет вставленное в него сообщение SEI о динамическом диапазоне яркости. Информация для регулирования уровня яркости (значения яркости фонового изображения, пороговые значения для объединения и т.п.) записывается в сообщение SEI о динамическом диапазоне яркости.

Эта примерная структура также содержит пакет PES потока субтитров "Subtitle PES2", который идентифицируется с помощью PID2. Информация для регулирования уровня яркости (информация о цветовом пространстве, пороговые значения для объединения, информация об ограничении диапазона яркости субтитров и т.п.) вставляется в элемент метаданных "metadata" в заголовке структуры TTML, в элемент расширения стиля "styling extension" в заголовке структуры TTML или в сегмент управления визуализацией субтитров.

Транспортный поток TS также содержит таблицу карты программ (PMT) в качестве специальной программной информации (PSI). PSI является информацией, указывающей, к каким программам принадлежат соответствующие элементарные потоки, содержащиеся в транспортном потоке. PMT содержит программный цикл "Program loop", в который записывается информация, относящаяся ко всей программе.

РМТ также содержит циклы элементарного потока, имеющие информацию, связанную с соответствующими элементарными потоками. Эта примерная структура содержит видеоцикл элементарного потока "video ES loop", соответствующий видеопотоку, и цикл элементарного потока субтитров "Subtitle ES loop", соответствующий потоку субтитров.

В видеоцикле элементарного потока "video ES loop" располагается такая информация, как тип потока и идентификатор потока (packet identifier, PID), соответствующие видеопотоку, а также располагается дескриптор, описывающий информацию, относящуюся к видеопотоку. Значение "Stream_type" этого видеопотока устанавливается равным значению, указывающему, например, видеопоток HEVC, и информация PID указывает PID1, выделенный пакету PES видеопотока "video PES1". Дескриптор HEVC, вновь определенный дескриптор поддержки визуализации с HDR и т.п. вставляются в качестве дескриптора.

В цикле элементарного потока субтитров "Subtitle ES loop" также располагается такая информация, как тип потока и идентификатор потока (PID), соответствующие потоку субтитров, а также располагается дескриптор, описывающий информацию, относящуюся к потоку субтитров. Значение "Stream_type" этого потока субтитров устанавливается равным значению, указывающему, например, частный поток HEVC, и информация PID указывает PID2, предоставленный пакету PES потока субтитров "Subtitle PES2". Вновь определенный дескриптор метаданных визуализации и т.п. вставляются в качестве дескриптора.

Пример конфигурации приемного устройства

На фиг. 30 представлен пример конфигурации приемного устройства 200. Это приемное устройство 200 содержит блок 201 управления, приемный блок 202, системный декодер 203, видеодекодер 204, текстовый декодер 205 субтитров, блок 206 распаковки шрифта, блок 208 преобразования RGB/YCbCr и блок 209 регулирования уровня яркости. Этот приемный блок 200 также содержит блок 210 видеоналожения, блок 211 преобразования YCbCr/RGB, блок 212 электрооптического преобразования с HDR, блок 213 отображения для отображения с HDR и монитор 214 CE.

Блок 201 управления предназначен для работы в качестве центрального процессора (central processing unit, CPU) и управляет операциями соответствующих компонент приемного устройства 200 в соответствии с управляющей программой. Приемный блок 202 принимает транспортный поток TS, передаваемый передающим устройством 100 с помощью вещательного радиосигнала или сетевого пакета. Системный декодер 203 извлекает видеопоток VS и поток SS субтитров из транспортного потока TS. Системный декодер также извлекает различные виды информации, вставленной в транспортный поток TS (контейнер), и посылает извлеченную информацию на блок 201 управления.

В этом варианте осуществления эта извлеченная информация содержит дескриптор поддержки визуализации с HDR (смотрите фиг. 27(а) и дескриптор метаданных визуализации субтитров (смотрите фиг. 28(а)).

Когда флаг "HDR_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 управления распознает, что видеопоток (сервисный поток) совместим с HDR. Когда флаг "composition_control_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 также распознает, что в видеопотоке содержится кодированное сообщение SEI о динамическом диапазоне яркости или в видеопоток вставлена информация для регулирования уровня яркости.

Когда флаг "subtitle_text_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что субтитр передается в форме текстового кода. Когда флаг "subtitle_rendering_control_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что метаинформация для регулирования яркости о субтитре была кодирована или в субтитр вставлена информация для регулирования уровня яркости.

Видеодекодер 204 выполняет процесс декодирования видеопотока VS, извлеченного системным кодером 203 и выводит передаваемые видеоданные V1. Видеодекодер 124 также извлекает наборы параметров и сообщения SEI, вставленные в соответствующие блоки доступа, составляющие видеопоток VS, и посылает необходимую информацию на блок 201 управления.

В этом варианте осуществления блок 201 управления распознает, что видеопоток содержит сообщение SEI о кодированном динамическом диапазоне яркости, как описано выше. Таким образом, под управлением блока 201 управления видеодекодер 204 также обязательно извлекает сообщение SEI и получает информацию для регулирования уровня яркости, такую как значения яркости фонового изображения и пороговые значения для объединения.

Текстовый декодер 205 субтитров выполняет процесс декодирования данных сегмента соответствующих областей в потоке SS субтитров и, таким образом, получает текстовые данные и коды управления соответствующих областей. Текстовый декодер 205 субтитров также получает из потока SS субтитров информацию для регулирования уровня яркости, такую как информация о цветовом пространстве, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров. В настоящем варианте осуществления блок 201 управления распознает, что метаинформация для регулирования яркости субтитров была закодирована, как описано выше. Таким образом, под управлением блока 201 управления текстовый декодер 205 субтитров обязательно получает информацию для регулирования уровня яркости.

Блок 206 распаковки шрифтов выполняет распаковку шрифтов в соответствии с текстовыми данными и кодами управления соответствующих областей, полученных декодером 302 сегментов субтитров, и, таким образом, получает растровые данные соответствующих областей. Блок 208 преобразования RGB/YCbCr преобразует растровые данные из домена RGB в домен YCbCr (яркость/цветность). В этом случае, блок 208 преобразования RGB/YCbCr выполняет преобразование, используя уравнение преобразования, пригодное для цветового пространства, в соответствии с информацией о цветовом пространстве.

Блок 209 регулирования уровня яркости выполняет регулирование уровня яркости для растровых данных субтитров, преобразованных в домен YCbCr, используя значения яркости фонового изображения, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров. В этом случае выполняется регулирование уровня яркости субтитров с помощью глобальных параметров для экрана (смотрите фиг. 8) или регулирование уровня яркости субтитров с помощью параметров для каждого участка деления (смотрите фиг. 12).

Блок 210 видеоналожения накладывает растровые данные соответствующих областей, имеющих уровни яркости, отрегулированные блоком 209 регулирования уровня яркости, на передаваемые видеоданные V1, полученные видеодекодером 204. Блок 211 преобразования RGB/YCbCr преобразует передаваемые видеоданные V1’, имеющие наложенные на них растровые данные, из домена RGB в домен YCbCr. В этом случае, блок 211 преобразования YCbCr/RGB/выполняет преобразование, используя уравнение преобразования, пригодное для цветового пространства, в соответствии с информацией о цветовом пространстве.

Блок 212 электрооптического преобразования с HDR применяет характеристики функции электрооптического преобразования с HDR к передаваемым видеоданным V1’, преобразованным в домен RGB, и, таким образом, получает видеоданные отображения для отображения изображения с HDR. Блок 213 отображения для отображения с HDR выполняет регулирование яркости отображения для отображаемых видеоданных в соответствии с возможностями отображения максимальной яркости и т.п. монитора 214 СЕ. Монитор 214 CE отображает изображение с HDR в соответствии с отображаемыми видеоданными, для которых было выполнено регулирование яркости отображения. Этот монитор 214 CE является, например, жидкокристаллическим дисплеем (LCD) или органическим электролюминесцентным (EL) дисплеем.

Далее кратко описываются операции приемного устройства 200, показанного на фиг. 30. Приемный блок 202 принимает транспортный поток TS, передаваемый передающим устройством 100 с помощью вещательного радиосигнала или сетевого пакета. Этот транспортный поток TS подается на системный декодер 203. На системном декодере 203 из транспортного потока TS извлекаются видеопоток VS и поток SS субтитров.

Системный декодер 203 также извлекает различные виды информации, вставленной в транспортный поток TS (контейнер) и посылает их на блок 201 управления. Эта извлеченная информация содержит дескриптор поддержки визуализации с HDR (смотрите фиг. 27(а) и дескриптор метаданных визуализации субтитров (смотрите фиг. 28(а)).

Когда флаг "HDR_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 управления распознает, что видеопоток (сервисный поток) совместим с HDR. Когда флаг "composition_control_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 управления также распознает, что сообщение SEI о динамическом диапазоне яркости в видеопотоке было закодировано.

Когда флаг "subtitle_text_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что субтитр передается в форме текстового кода. Когда флаг "subtitle_rendering_control_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что метаинформация для регулирования яркости для субтитра была закодирована.

Видеопоток VS, сформированный системным декодером 203, подается на видеодекодер 204. Видеодекодер 204 выполняет процесс декодирования видеопотока VS и получает передаваемые видеоданные V1. Видеодекодер 204 также извлекает из видеопотока VS сообщение SEI о динамическом диапазоне яркости и получает информацию для регулирования уровня яркости, такую как значения яркости фонового изображения и пороговые значения, для объединения.

Поток SS субтитров, извлеченный системным декодером 203, подается на текстовый декодер 205 субтитров. Текстовый декодер 205 субтитров выполняет процесс декодирования данных сегмента соответствующих областей, содержащихся в потоке SS субтитров, и получает текстовые данные и коды управления соответствующих областей. Текстовый декодер 205 субтитров также получает из потока SS субтитров информацию для регулирования уровня яркости, такую как информация о цветовом пространстве, пороговые значения для объединения и информацию ограничения диапазона яркости субтитров.

Текстовые данные и коды управления соответствующих областей подаются на блок 206 распаковки шрифтов. Блок 206 распаковки шрифтов выполняет распаковку шрифтов в соответствии с текстовыми данными и кодами управления соответствующих областей и получает растровые данные соответствующих областей. В блоке 208 преобразования RGB/YCbCr эти растровые данные преобразуются из домена RGB в домен YCbCr в соответствии с информацией S о цветовом пространстве и подаются на блок 209 регулирования уровня яркости.

Блок 209 регулирования уровня яркости выполняет регулирование уровня яркости для растровых данных соответствующих областей, преобразованных в домен YCbCr, в соответствии со значениями яркости фонового изображения, пороговыми значениями для объединения и информацией об ограничении диапазона яркости субтитров. В этом случае выполняется регулирование уровня яркости субтитров с помощью глобальных параметров для всего экрана (смотрите фиг. 8) или регулирование уровня яркости субтитров с помощью параметров для каждого участка деления экрана (смотрите фиг. 12).

Передаваемые видеоданные V1, полученные видеодекодером 204, подаются на блок 210 видеоналожения. Растровые данные соответствующих областей, которые были подвергнуты регулированию уровня яркости и получены блоком 209 регулирования уровня яркости, подаются на блок 209 видеоналожения. В блоке 210 видеоналожения растровые данные соответствующих областей накладываются на передаваемые видеоданные V1.

Передаваемые видеоданные V1’, которые были получены блоком 210 видеоналожения и имеют наложенные на них растровые данные, преобразуются из домена YCbCr (яркость/цветность) в домен RGB в блоке 211 преобразования YCbCr/RGB в соответствии с информацией V о цветовом пространстве и затем подаются на блок 212 электрооптического преобразования с HDR. В блоке 212 электрооптического преобразования с HDR характеристики функции электрооптического преобразования с HDR применяются к передаваемым видеоданным V1’, с тем, чтобы получить видеоданные отображения для отображения изображения с HDR. Видеоданные отображения подаются на блок 213 отображения изображения с HDR.

Блок 213 отображения изображения с HDR выполняет регулирование яркости отображения для отображаемых видеоданных в соответствии с возможностями отображения максимальной яркости и т.п. монитора 214 СЕ. Отображаемые видеоданные, подвергнутые такому регулированию яркости отображения, подаются на монитор 214 СЕ. В соответствии с отображаемыми видеоданными, изображение с HDR отображается на мониторе 214 СЕ.

Следует заметить, что приемное устройство 200 дополнительно содержит декодер 215 растровых данных субтитров для разрешений ситуации, в которой информация субтитров, содержащаяся в потоке SS субтитров является растровыми данными. Этот декодер 215 растровых данных выполняет процесс декодирования потока SS субтитров, чтобы получить растровые данные субтитров. Эти растровые данные субтитров подаются на блок 209 регулирования уровня яркости.

В этом случае, информация субтитров (передаваемые данные), содержащаяся в потоке SS субтитров, передается к CLUT и выходной сигнал CLUT может иметь домен YCbCr. Поэтому растровые данные субтитров, полученные декодером 215 растровых данных субтитров подаются непосредственно на блок 209 регулирования уровня яркости. Следует заметить, что в этом случае яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра могут быть получены на приемной стороне из выходного сигнала CLUT.

Приемное устройство 200 дополнительно содержит блок 216 вычисления уровня яркости, для разрешения ситуации, в которой сообщение SEI о динамическом диапазоне яркости не было закодировано в видеопотоке VS и из сообщения SEI никакое значение яркости фонового изображения не может быть получено. Блок 216 вычисления уровня яркости имеет конфигурацию, схожую с блоком 106 вычисления уровня яркости (смотрите фиг. 15) в передающем устройстве 100, показанном на фиг. 14.

В соответствии с передаваемыми видеоданными V1, полученными видеодекодером204, блок 216 вычисления уровня яркости для каждой картинки вычисляет максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану, и максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным областям участков деления (участкам), полученным делением экрана на заданное число (смотрите фиг. 15).

Приемное устройство 200 также содержит блок 217 установки пороговых значений для разрешения ситуации, в которой сообщение SEI о динамическом диапазоне яркости не было закодировано в видеопотоке VS или когда видеопоток VS содержит кодированное сообщение SEI о динамическом диапазоне яркости, но не содержит никакого порогового значения для объединения. Этот блок 217 установки порогового значения имеет конфигурацию, схожую с блоком 107 установки порогового значения в передающем устройстве 100, показанном на фиг. 14.

В соответствии с характеристиками функции электрооптического преобразования (характеристиками EOTF), блок 217 установки порогового значения устанавливает верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "Th_ave" для определения, как должна регулироваться яркость субтитров на приемной стороне (смотрите фиг. 4).

Блок-схема последовательности выполнения операций, показанная на фиг. 31 и 32, демонстрирует пример процедур управления в процессе наложения субтитров в приемном устройстве 200. На этапе ST1 приемное устройство 200 считывает дескриптор метаданных визуализации субтитров в потоке SS субтитров, определяет, являются ли кодированные данные информации субтитров данными на текстовой основе, и проводит поиск метаинформации для регулирования яркости.

Далее, на этапе ST2 приемное устройство 200 определяет, существует ли метаинформация для регулирования яркости. Если метаинформация для регулирования яркости существует, приемное устройство 200 обнаруживает место хранения метаинформации и получает из места хранения метаинформацию (информацию о цветовом пространстве, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров). После этого этапа ST3 приемное устройство 200 переходит к процессу на этапе ST5. С другой стороны, если метаинформация для регулирования яркости не существует, приемное устройство 200 на этапе ST4 устанавливает цветовое пространство традиционного типа, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров. После этого этапа ST4 приемное устройство 200 переходит к процессу на этапе ST5.

На этапе ST5 приемное устройство 200 определяет являются ли кодированные данные информации субтитров данными на текстовой основе. Если кодированные данные информации субтитров являются данными на текстовой основе, приемное устройство 200 на этапе ST6 декодирует субтитры на текстовой основе и выполняет распаковку шрифтов из места объединения субтитров и кода символа, чтобы получить растровые данные. В этом случае, растровые данные находятся в размере распаковки и цветах переднего плана и фона. На этапе ST7 приемное устройство 200 вычисляет яркость Lf переднего фона субтитров и яркость Lb фона субтитров в соответствии с информацией о цветовом пространстве. После этого этапа ST4 приемное устройство 200 переходит к процессу на этапе ST16.

С другой стороны, если кодированные данные информации субтитров не являются данными на текстовой основе, приемное устройство 200 на этапе ST8 декодирует поток субтитров, чтобы получить растровые данные субтитров и положение объединения субтитров. На этапе ST9, посредством CLUT, назначенного потоком, приемное устройство 200 вычисляет яркость Lf переднего фона субтитров и яркость Lb фона субтитров. После этого этапа ST9 приемное устройство 200 переходит к процессу на этапе ST16.

На этапе ST11 приемное устройство 200 также считывает дескриптор поддержки визуализации с HDR и проводит в видеопотоке VS поиск сообщения SEI о динамическом диапазоне яркости.

Далее, на этапе ST12 приемное устройство 200 определяет, существует ли сообщение SEI о динамическом диапазоне яркости. Если сообщение SEI о динамическом диапазоне яркости существует, приемное устройство 200 на этапе ST13 считывает соответствующие элементы в сообщении SEI и обнаруживает значения яркости фонового изображения и пороговые значения для объединения. После этого этапа ST13 приемное устройство 200 переходит к процессу на этапе ST15. С другой стороны, если сообщение SEI о динамическом диапазоне яркости не существует, приемное устройство 200 на этапе ST14 определяет значения яркости фонового изображения, вычисляя уровень яркости декодированного изображения, и устанавливает пороговые значения для объединения. После этого этапа ST14 приемное устройство 200 переходит к процессу на этапе ST15.

На этапе ST15 приемное устройство 200 определяет, существует ли информация об участках деления. Если информация об участках деления существует, приемное устройство 200 на этапе ST16 определяет, находятся ли объекты с низкой яркостью и с высокой яркостью на расстоянии от положения объединения (наложения) субтитров. Если такие объекты не находятся на расстоянии от положения объединения субтитров, приемное устройство 200 переходит к процессу на этапе ST18. С другой стороны, если такие объекты находятся на расстоянии от положения объединения субтитров, приемное устройство 200 на этапе ST17 выполняет процесс регулирования уровня яркости, используя информацию о разделении на части. После этого этапа ST17 приемное устройство 200 переходит к процессу на этапе ST19.

На этапе ST18 приемное устройство 200 выполняет глобальный процесс регулирования уровня яркости. После этого этапа ST8 приемное устройство 200 переходит к процессу на этапе ST19. На этапе ST19 приемное устройство 200 объединяет субтитры (или накладывает субтитры на) с фоновым изображением, имеющим отрегулированную яркость. После этого этапа ST19 приемное устройство 200 на этапе ST20 завершает процесс.

На фиг. 33 показана блок-схема последовательности выполнения примера глобального процесса регулирования уровня яркости в приемном устройстве 200. На этапе ST21 приемное устройство 200 начинает процесс. На этапе ST22 приемное устройство 200 определяет является ли максимальное значение яркости более высоким, чем верхнее пороговое значение яркости. Если максимальное значение яркости выше верхнего порогового значения яркости, приемное устройство 200 на этапе ST23 определяет, является ли минимальное значение яркости меньшим, чем нижнее пороговое значение яркости. Если минимальное значение яркости не меньше нижнего порогового значения яркости, приемное устройство 200 на этапе ST24 корректирует уровень яркости фона субтитров, чтобы попасть в диапазон между максимальной яркостью и минимальной яркостью субтитров в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитров (смотрите фиг. 10(а-2)). Кроме того, если минимальное значение яркости меньше нижнего предельного значения яркости на этапе ST23, приемное устройство 200 на этапе ST25 определяет, является ли среднее значение яркости более высоким, чем среднее пороговое значение яркости. Если среднее значение яркости выше, чем среднее пороговое значение яркости, приемное устройство 200 на этапе ST26 корректирует уровень яркости фона субтитров так, чтобы он попадал в диапазон между максимальной яркостью и минимальной яркостью субтитра в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитра (смотрите фиг. 11(d-2)). С другой стороны, если среднее значение яркости не выше среднего порогового значения яркости, приемное устройство 200 на этапе ST27 корректирует уровень яркости переднего фона субтитра так, чтобы он попадал в диапазон между максимальной яркостью и минимальной яркостью субтитра в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитра (смотрите фиг. 11(c-2)).

Дополнительно, с другой стороны, если максимальное значение яркости на этапе ST22 не выше верхнего порогового значения яркости, приемное устройство 200 на этапе ST28 определяет, является ли минимальное значение яркости меньшим, чем нижнее пороговое значение яркости. Если минимальное значение яркости ниже нижнего порогового значения яркости, приемное устройство 200 на этапе ST29 корректирует уровень яркости переднего плана субтитра, чтобы попасть в диапазон между максимальной яркостью и минимальной яркостью субтитров в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитра (смотрите фиг. 10(b-2)). С другой стороны, если минимальное значение яркости не меньше, чем нижнее пороговое значение яркости, приемное устройство 200 на этапе ST30 не выполняет никакого регулирования яркости субтитра.

Следует заметить, что в отношении процесса регулирования уровня яркости, использующего информацию о разделении на части, приемное устройство 200 выполняет процесс, показанный на блок-схеме последовательности выполнения операций на фиг. 33 для каждого участка деления. По результатам соответствующих разделений на части, в соответствии с правилом большинства выполняется окончательное определение или уровни приоритета (начиная с "1") устанавливаются таким образом, что процессы выполняются в порядке уровней приоритета. Что касается уровней приоритета, то, например, уровень 1 приоритета присваивается результату этапа ST24 на фиг. 33 (или результату D деления на части D в примере, показанном на фиг. 13), уровень 2 приоритета присваивается результату этапа ST26 на фиг. 33 (или результату C деления на части в примере, показанном на фиг. 13, уровень 3 приоритета присваивается результату этапа ST29 на фиг. 33 (или результату F деления на части в примере, показанном на фиг. 13) и уровень 4 приоритета присваивается результату этапа ST27 на фиг. 33 (или результату E деления на части в примере, показанном на фиг. 13).

Как описано выше, в передающей/приемной системе 10, показанной на фиг. 1, информация для регулирования уровня яркости для регулирования уровня яркости субтитра вставляется в видеопоток VS и/или в поток субтитров SS. Соответственно, приемная сторона может выполнять регулирование уровня яркости субтитров предпочтительным способом. Таким образом, зрительное утомление может быть уменьшено и атмосфера фонового изображения и т.п. могут быть защищены от засветки.

Кроме того, в передающей/приемной системе 10, показанной на фиг. 1, в транспортный поток TS (контейнер) вставляется идентификационная информация, указывающая, что существует информация для регулирования уровня яркости, вставленная в видеопоток VS. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, существует ли информация для регулирования уровня яркости, вставленная в видеопоток VS.

Кроме того, в передающей/приемной системе 10, показанной на фиг. 1, в транспортный поток TS (контейнер) вставляется идентификационная информация, указывающая, что существует информация для регулирования уровня яркости, вставленная в поток SS субтитров. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, что существует информация для регулирования уровня яркости, вставленная в поток SS субтитров.

2. Модификации

В описанном выше примере варианта осуществления контейнером является транспортный поток (MPEG-2 TS). Однако, транспортирование, соответствующее настоящей технологии, не обязательно выполняется с помощью транспортного потока TS, а, например, в случае ISOBMFF, MMT и т.п. тем же самым способом могут быть получены видеослои с некоторым другим пакетом. Кроме того, поток субтитров не обязательно образуется с помощью PES-пакета, имеющего TTML в сегментах, расположенных в многочисленных полезных нагрузках, как описано выше. Вместо этого, настоящая технология может быть реализована, устанавливая TTML непосредственно в PES-пакет, имеющий многочисленные полезные нагрузки, или в секцию.

Настоящая технология может также быть осуществлена в описанных ниже структурах.

(1) Передающее устройство, содержащее:

видеокодер, формирующий видеопоток, содержащий данные изображения;

кодер субтитров, формирующий поток субтитров, содержащий информацию субтитров;

блок вставки информации для регулирования, вставляющий информацию для регулирования уровня яркости в видеопоток и/или поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитров; и

передающий блок, который передает контейнер в заданном формате, причем контейнер содержит видеопоток и поток сибтитров.

(2) Передающее устройство по п. (1), в котором

информация для регулирования уровня яркости является информацией для регулирования уровня яркости, соответствующей всему экрану и/или информацией для регулирования уровня яркости, соответствующей отдельным областям участков деления, полученным делением экрана на заданное число.

(3) Передающее устройство по п. (2), в котором

информация для регулирования уровня яркости, которая должна вставляться в видеопоток, содержит максимальное значение яркости, минимальное значение яркости и среднее значение яркости, формируемые в соответствии с данными изображения.

(4) Передающее устройство по п. (3), в котором

информация для регулирования уровня яркости, которая должна вставляться в видеопоток, дополнительно содержит верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются в соответствии с характеристиками функции электрооптического преобразования.

(5) Передающее устройство по п. (2), в котором

информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, содержит информацию об ограничении диапазона яркости субтитров.

(6) Передающее устройство по п. (5), в котором

информация для регулирования уровня яркости, которая должна вставляться в видеопоток, дополнительно содержит верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются в соответствии с характеристиками функции электрооптического преобразования.

(7) Передающее устройство по п. (5) или (6), в котором

информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, дополнительно содержит информацию о цветовом пространстве.

(8) Передающее устройство по любому из пп. (1)-(7), в котором

кодер субтитров формирует поток субтитров в соответствии с текстовой информацией субтитров в TTML, и

блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент метаданных.

(9) Передающее устройство по любому из пп. (1)-(7), в котором

кодер субтитров формирует поток субтитров в соответствии с текстовой информацией субтитров в TTML, и

блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент расширения стиля.

(10) Передающее устройство по любому из пп. (1)-(7), в котором

кодер субтитров формирует поток субтитров, имеющий сегменты в качестве компонент, и

блок вставки информации для регулирования вставляет в поток субтитров сегмент, содержащий информацию для регулирования уровня яркости.

(11) Передающее устройство по любому из пп. (1)-(10), дополнительно содержащее

блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в видеопоток.

(12) Передающее устройство по любому из пп. (1)-(11), дополнительно содержащее

блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в поток субтитров.

(13) Передающее устройство по п. (12), в котором

информация, указывающая положение вставки информации для регулирования уровня яркости в поток субтитров, добавляется в идентификационную информацию.

(14) Способ передачи, содержащий:

этап видеокодирования, на котором формируют видеопоток, содержащий данные изображения;

этап кодирования субтитров, на котором формируют поток субтитров, содержащий информацию субтитров;

этап вставки информации для регулирования, на котором вставляют информацию для регулирования уровня яркости в видеопоток и/или поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитра; и

этап передачи, на котором передают контейнер в заданном формате, причем контейнер содержит видеопоток и поток субтитров и контейнер передается передающим блоком.

(15) Приемное устройство, содержащее:

приемный блок, принимающий контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров;

блок видеодекодирования, получающий данные изображения, выполняя процесс декодирования видеопотока;

блок декодирования субтитров, получающий растровые данные субтитров, выполняя процесс декодирования потока субтитров;

блок регулирования уровня яркости, который выполняет процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и

блок видеоналожения, который накладывает растровые данные, полученные после регулирования уровня яркости блоком регулирования уровня яркости, на данные изображения, полученные блоком видеодекодирования.

(16) Приемное устройство по п. (15), в котором

блок регулирования уровня яркости выполняет регулирование уровня яркости, используя информацию для регулирования уровня яркости, вставленную в видеопоток и/или поток субтитров.

(17) Приемное устройство по п. (15), дополнительно содержащее

блок формирования информации для регулирования уровня яркости, который формирует информацию для регулирования уровня яркости,

в котором блок регулирования уровня яркости выполняет регулирование уровня яркости, используя информацию для регулирования уровня яркости, сформированную блоком формирования информации для регулирования уровня яркости.

(18) Способ приема, содержащий:

этап приема, на котором принимают контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров, и контейнер принимается приемным блоком;

этап видеодекодирования, на котором получают данные изображения, выполняя процесс декодирования видеопотока;

этап декодирования субтитров, на котором получают растровые данные субтитров, выполняя процесс декодирования потока субтитров;

этап регулирования уровня яркости, на котором выполняют процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и

этап видеоналожения, на котором накладывают растровые данные, полученные после регулирования уровня яркости на этапе регулирования уровня яркости , на данные изображения, полученные на этапе видеодекодирования.

(19) Передающее устройство, содержащее:

передающий блок, который передает видеопоток в контейнере в заданном формате, причем видеопоток содержит передаваемые видеоданные, полученные посредством фотоэлектрического преобразования, выполняемого для данных изображения с высоким динамическим диапазоном; и

блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что видеопоток совместим с высоким динамическим диапазоном.

(20) Передающее устройство, содержащее:

передающий блок, который передает видеопоток и поток субтитров в контейнере в заданном формате, причем видеопоток содержит данные изображения и поток субтитров содержит текстовую информацию субтитров; и

блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что субтитры передаются в форме текстового кода.

Основной признак настоящей технологии заключается в том, что информация для регулирования уровня яркости, предназначенная для регулирования уровня яркости субтитра, вставляется в видеопоток VS и в поток SS субтитров, с тем, чтобы на приемной стороне можно было выполнить предпочтительное регулирование уровня яркости (смотрите фиг. 27(a) и 27(b)). Таким образом, зрительное утомление может быть уменьшено и атмосфера фонового изображения и т.п. могут быть защищены, например, от засветки.

Перечень ссылочных позиций

10 Передающая/приемная система

100 Передающее устройство

101 Блок управления

102 Камера с HDR

103 Блок фотоэлектрического преобразования с HDR

103a Основной монитор

104 Блок преобразования RGB/YCbCr

105 Видеокодер

106 Блок вычисления уровня яркости

106a, 106b Блок сравнения пиксельных значений

107 Блок установки пороговых значений

108 Блок формирования субтитров

109 Блок преобразования текстового формата

110 Кодер субтитров

111 Системный кодер

112 Передающий блок

200 Приемное устройство

201 Блок управления

202 Приемный блок

203 Системный декодер

204 Видеодекодер

205 Текстовый декодер субтитров

206 Блок распаковки шрифтов

208 Блок преобразования RGB/YCbCr

209 Блок регулирования уровня яркости

210 Блок видеоналожения

211 Блок преобразования YCbCr/RGB

212 Блок электрооптического преобразования с HDR

214 Монитор CE