ПЕРЕДАЮЩЕЕ УСТРОЙСТВО, СПОСОБ ПЕРЕДАЧИ, ПРИЕМНОЕ УСТРОЙСТВО И СПОСОБ ПРИЕМА

Область техники, к которой относится изобретение

Настоящее технологии относится к передающему устройству, способу передачи, приемному устройству и способу приема. Более конкретно, настоящее изобретение относится к передающему устройству и т.п., которое иерархически кодирует и передает данные изображения каждого изображения, составляющие данные движущегося изображения.

Уровень техники

Когда сжатые движущиеся изображения передаются посредством вещания, сетевыми службами и т.п., верхний предел кадровой частотой, который может быть воспроизведен, ограничен возможностями декодирования приемника. Таким образом, обслуживающей стороне требуется принимать во внимание характеристики воспроизведения широко распространенных приемников и ограничить качество обслуживания до низкой кадровой частоты или одновременно предоставлять несколько услуг с высокой и низкой кадровой частотой.

Поддержка услуг с высокой кадровой частотой увеличивает стоимость приемника, который становится препятствием для быстрого распространения использования услуги. Только недорогие приемники, поддерживающие услуги с низкой частотой кадров, получили широкое распространение в недавнее время, и сторона, предоставляющая услуги, будет предоставлять услуги с высокой частотой кадров в будущем, новая услуга не доступна для просмотра без нового приемника, который становится препятствием для распространения предоставления услуг.

Например, предлагается временная масштабируемость, в котором данные изображения каждого изображения, составляющие данные движущегося изображения, подвергаются иерархическому кодированию в HEVC (Высокоэффективное видео кодирование) (смотрите непатентный документ 1). Приемная сторона может идентифицировать иерархию каждого изображения на основании временного ID (temporal_id), вставленного в заголовок блока NAL (уровень сетевой абстракции) и выполнить селективное декодирование иерархии, соответствующей возможности декодирования.

[Непатентный документ 1] Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Обзор стандарта высокоэффективного кодирования видео (HEVC)" IEEE транзакции на схемах и системах для видеотехнологии, т. 22, №12, стр. 1649-1668, декабрь 2012.

Раскрытие изобретения

Техническая задача, решаемая посредством реализации изобретения

Задачей настоящего изобретения является обеспечение возможности для реализации процесса декодирования, соответствующего возможности декодирования на приемной стороне.

Решение технической задачи

Концепция настоящего изобретения заключается в предоставлении передающего устройства, которое включает в себя: блок кодирования изображения, который сортирует данные изображений, составляющие данные движущегося изображения, на множество иерархий, кодирует данные изображений каждой из отсортированных иерархий и генерирует видеоданные, включающие в себя данные кодированного изображения каждой из иерархий; блок передачи, который передает контейнер с заданным форматом, включающий в себя генерируемые видеоданные; и блок вставки информации идентификации, который разделяет множество иерархий на заданное количество групп иерархий, заданное количество должно быть два или более, и вставляет информацию идентификации для идентификации группы иерархии, к которой принадлежат кодированные данные изображения, в пакет как контейнер видеоданных.

В настоящем изобретении с помощью блока кодирования изображения, данные изображения, изображений, составляющие данные движущегося изображения, кодируются, и генерируются видеоданные. В этом случае, данные изображения, изображений, составляющих данные движущегося изображения, сортируются на множество иерархий и кодируются, и генерируются видеоданные, включенные в состав данных кодированного изображения, изображений каждой из иерархий.

Посредством блока передачи, передается контейнер заданного формата, включенного в состав видеоданных, описанных выше. Например, контейнер может быть транспортным потоком (MPEG-2 TS), принятым в стандарте цифрового вещания. Кроме того, например, контейнер может быть МР4, используемый для передачи через интернет и т.п., или контейнером любого другого формата.

Посредством блока вставки информации идентификации множество иерархий разделены на заранее определенное количество иерархических групп, заданное количество быть две или более, и информация идентификации для идентификации иерархии группы, к которой принадлежат кодированные данные изображения каждого изображения, включенного в состав видеоданных, вставляется в пакет как контейнер видеоданных. Например, информация идентификации может быть информацией степени приоритета, который устанавливается для иерархии группы, которая имеет более высокий приоритет иерархии группы.

Например, информация идентификации может быть вставлена в заголовок PES пакета, включающая в себя данные кодированного изображения для каждого изображения, полезной нагрузки. В этом случае, например, информацию идентификации может быть вставлена с использованием поля приоритета PES заголовка. Кроме того, например, информацию идентификации может быть вставлена в поле адаптации TS пакета, включающий в себя поле адаптации. В этом случае, например, информация идентификации может быть вставлена с использованием поля ES индикатора приоритета поля адаптации. Кроме того, например, информация идентификации может быть вставлена в блок заголовка, относящегося к треку соответствующего изображения.

Как описано выше, в настоящем изобретении, идентификационная информация для идентификации иерархии группы, к которой принадлежат кодированные данные изображения каждого изображения, включенного в состав видеоданных, вставляется в пакет, как контейнер видеоданных. Таким образом, на приемной стороне легко можно выполнить выборочное декодирование кодированных данных изображения иерархии, равной или ниже, чем заданное иерархия, соответствующая возможности декодирования, используя информацию идентификации.

Следует отметить, что в настоящем изобретении, например, блок кодирования изображения может генерировать один поток видео, включающий в себя данные кодированного изображения, изображений каждой из иерархий, или может разделить множество иерархий на заранее заданное число групп иерархии, заданное количество может быть два или более, а также генерировать заранее определенное количество видеопотоков, каждое из которых включает в себя данные кодированного изображения изображений каждой иерархической группы, и может дополнительно включать в себя блок вставки информации о конфигурации, который вставляет информацию о конфигурации видеопотоков, включенных в состав контейнера на уровне контейнера. В этом случае, например, на приемной стороне можно легко определить конфигурацию видеопотоков на основании информации о конфигурации видеопотоков, включенных в состав контейнера.

Дополнительно, еще одна концепция настоящего изобретения заключается в приемном устройстве, которое включает в себя: приемный блок, который принимает контейнер заданного формата, включающий в себя видеоданные, включающие в себя кодированные данные изображения изображений каждого из иерархий, кодированные данные изображения получают путем сортировки данных изображения изображений, составляющие данные движущегося изображения, на множество иерархий и кодирование данных изображения; и блок декодирования изображения, который селективно принимает в буфер кодированные данные изображения иерархии, равной или ниже, чем заданная иерархия, соответствующая возможности декодирования, их видеоданных, включенных в состав принятого контейнера, декодирует закодированные данные изображения каждого изображения в буфере, и получает данные изображения иерархии, равной или ниже, чем заданная иерархия.

В настоящем изобретении, контейнер с заданным форматом принимается блоком приема. В контейнер включены в состав видеоданные, включающие в себя данные изображения изображений каждой иерархии, которые получают путем сортировки данных изображения, составляющие данные движущегося изображения, на множество иерархий и кодирование данных изображения.

Посредством блока декодирования изображения данные кодированного изображения иерархического изображения равны или ниже, чем заданной иерархии, соответствующей возможности селективного декодирования видеоданных в буфере, содержащиеся в принятом контейнере, кодированные данные изображения каждого изображения в буфере декодируются, и получаются данные изображения иерархического изображения, равного или ниже, чем заданной иерархии.

Например, множество иерархий может быть разделено на заранее заданное число иерархических групп, заданное количество быть две или более, и идентификационная информация для идентификации иерархии группы, в которой принадлежат данные кодированного изображения для каждого изображения, включенные в состав видеоданных, может быть вставлена в пакет как контейнер видеоданных, и блок декодирования изображения может буферизировать закодированные данные изображения заданной иерархической группы, соответствующей возможности декодирования, и декодировать кодированные данные изображения на основании идентификационной информации.

В данном случае, например, информация идентификации может быть вставлена в заголовок PES пакета, включающий в себя кодированные данные изображения для каждого изображения, в полезную нагрузку. Дополнительно, в этом случае, например, информация идентификации может быть вставлена в поле адаптации TS пакета, включающее в себя поле адаптации. Дополнительно, в этом случае, например, информация идентификации может быть вставлена в блок заголовка, относящегося к треку соответствующего изображения.

Кроме того, например, множество иерархий могут быть разделены на заранее заданное число иерархических групп, заданное количество может быть две или более, и принятый контейнер может включать в себя предварительно определенное число видеопотоков, соответственно, включающие в себя кодированные данные изображения заданного количества иерархических групп, и блок декодирования изображения может буферизировать закодированные данные изображения определенной группы иерархии, соответствующей возможностью декодирования, и декодировать кодированные данные изображения на основании информации идентификации потока. В этом случае, например, блок декодирования изображения может преобразовать, когда данные кодированного изображения предварительно определенной группы иерархии входит в состав множества видеопотоков, кодированные данные изображения каждого изображения в один скрим на основании информации о времени декодирования и принимает поток в буфер.

Как описано выше, в настоящем изобретении закодированные данные изображения иерархии, равной или ниже, чем заданная иерархия, соответствующая возможности декодирования, избирательно приниматься в буфер из принятых видеоданных, и затем декодируется. Таким образом, можно выполнить соответствующую обработку декодирования, соответствующую возможности декодирования.

Следует отметить, что в настоящем изобретении, например, блок декодирования изображения может иметь функцию перезаписи временной отметки декодирования кодированных данных изображения каждого изображения, избирательно буферизируя и корректируя интервалы декодирования изображений низкой иерархии. В этом случае, может быть выполнен процесс реалистичного декодирования даже в декодере, имеющий низкую возможность декодирования.

Кроме того, в настоящем изобретении, например, приемное устройство может дополнительно включать в себя блок постобработки, который приводит в соответствие частоту кадров данных изображения каждого изображения, полученного в блоке декодирования изображения, с возможностью отображения. В этом случае, данные изображения с частотой кадров, которая сопоставлена с высококачественной возможностью отображения, могут быть получены, даже если функциональные возможности декодирования являются низкими.

Результат изобретения

В соответствии с настоящим изобретением можно выполнять процесс обработки декодирования, который соответствует функциональным возможностям декодирования приемной стороны. Следует отметить, что эффекты, описанные здесь, не обязательно ограничиваются этими, но может быть любой эффект в соответствии с приведенным здесь описанием.

Краткое описание чертежей

Фиг. 1 представляет собой блок-схему, показывающую пример конфигурации системы передачи и приема в одном варианте осуществления.

Фиг. 2 показывает блок-схему, показывающую пример конфигурации передающего устройства.

Фиг. 3 представляет собой схему, показывающую пример иерархического кодирования, выполняемого в кодере.

Фиг. 4 представляет собой схему, показывающую пример структуры (синтаксис) заголовка блока NAL и детали (семантика) основных параметров в примерной структуре.

Фиг. 5 показывает схему, предназначенную для описания конфигурации кодированных данных изображения в каждом изображении посредством HEVC.

Фиг. 6 представляет собой схему, показывающую пример кодирования, декодирования, порядка отображения и задержки при иерархической кодировании.

Фиг. 7 является схемой, показывающей кодированный поток иерархического кодирования и ожидаемого отображения (порядок отображения) в указанной иерархии.

Фиг. 8 представляет собой таблицу, показывающую примерную структуру (синтаксис) дескриптора HEVC (HEVC_descriptor).

Фиг. 9 показывает таблицу, иллюстрирующую подробную примерную структуру (семантика) основной информации в дескрипторе HEVC.

Фиг. 10 является таблицей, показывающей примерную структуру (синтаксис) расширенного дескриптора масштабируемости (scalability_extension_descriptor).

Фиг. 11 является таблицей, показывающая подробную (семантика) основную информацию в структурном примере расширенного дескриптора масштабируемости.

Фиг. 12 представляет собой блок-схему, показывающую пример конфигурации мультиплексора.

Фиг. 13 является блок-схемой алгоритма, показывающей пример последовательности выполнения операций процесса обработки мультиплексора.

Фиг. 14 является схемой, показывающей пример конфигурации транспортного потока TS, когда выполняется распределение посредством одного потока.

Фиг. 15 представляет собой блок-схему, показывающую пример конфигурации приемного устройства.

Фиг. 16 представляет собой блок-схему, показывающую пример конфигурации демультиплексора.

Фиг. 17 является схемой, показывающей случай, когда один поток видео (кодированный поток) включен в состав транспортного потока TS.

Фиг. 18 является схемой, показывающей случай, когда два потока видео (кодированный поток) основного потока и расширенного потока включены в состав транспортного потока TS.

Фиг. 19 является схемой для описания функции перезаписи временной отместки декодирования кодированных данных изображения каждого изображения и регулировки интервалов декодирования изображений низкой иерархии.

Фиг. 20 является блок-схемой алгоритма, показывающей пример последовательности выполнения операций процесса обработки (1 кадр) демультиплексора.

Фиг. 21 является блок-схемой алгоритма, показывающей пример последовательности выполнения операций процесса обработки (2 кадра) демультиплексора.

Фиг. 22 представляет собой блок-схему, показывающую пример конфигурации декодера.

Фиг. 23 является схемой, показывающей пример конфигурации блока постобработки.

Фиг. 24 является блок-схемой алгоритма, показывающей пример последовательности выполнения операций процесса обработки декодера и блока постобработки.

Фиг. 25 является схемой, показывающей пример компоновки поля адаптации.

Фиг. 26 представляет собой блок-схему, показывающую пример конфигурации мультиплексора, когда информация идентификации группы иерархии вставлена в поле адаптации.

Фиг. 27 является схемой, показывающей пример конфигурации транспортного потока TS, когда информация идентификации группы иерархии вставлена в поле адаптации.

Фиг. 28 представляет собой блок-схему, показывающую пример конфигурации демультиплексора, когда информация идентификации группы иерархии вставлена в поле адаптации.

Фиг. 29 является схемой, показывающей пример конфигурации МР4 потока.

Фиг. 30 является схемой, показывающей пример структуры "SampleDependencyTypeBox".

Фиг. 31 является схемой, показывающей подробности основной информации в структурном примере "SampleDependencyTypeBox".

Фиг. 32 является схемой, показывающей пример структуры "SampleScalablePriorityBox".

Фиг. 33 является схемой, показывающей подробную основную информацию в структурном примере "SampleScalablePriorityBox".

Осуществление изобретения

Далее будет приведено описание вариантов выполнения изобретения (далее называется "вариант осуществления"). Следует отметить, что описание приведено в следующем порядке.

1. Вариант осуществления

2. Модифицированный пример

1. Вариант осуществления

Приемо-передающая система

Фиг. 1 показывает пример конфигурации приемо-передающей системы 10 в качестве варианта осуществления. Приемо-передающая система 10 имеет конфигурацию, включающую в себя передающее устройство 100 и приемное устройство 200.

Передающее устройство 100 передает транспортный поток TS в качестве контейнера на широковещательной волне. В транспортном потоке TS находятся данные изображения изображений, составляющих данные движущегося изображения, сортируются на множество иерархий, и видеопоток, включающий в себя кодированные данные изображения каждой из иерархий. В этом случае, например, выполняется кодирование, такое как Н.264 / AVC и HEVC, и ссылочное изображение кодируется таким образом, чтобы принадлежать к иерархии ссылочного изображения и/или иерархии ниже иерархии ссылочного изображения.

Идентификационная информация иерархии для идентификации иерархии, к которой принадлежат кодированные данные изображения, добавляется к данным кодированного изображения каждого изображения каждой иерархии. В этом варианте осуществления, в части заголовка блока NAL в (nal_unit) каждого изображения размещается идентификационная информация иерархии ("nuh_temporal_id_plus1", representing temporal_id). Посредством добавления информации идентификации иерархии таким образом, на приемной стороне можно идентифицировать иерархию каждого изображения на уровне блока NAL, и выполнить процесс обработки декодирования посредством выборочного извлечения закодированных данных изображения из иерархии, равной или ниже, чем заданная иерархия.

В этом варианте осуществления, множество иерархий разделены на заранее заданное количество, то есть две или более групп иерархий, и идентификационная информация для идентификации группы иерархии, к которой принадлежат кодированные данные изображения, включенные в состав видеопотока, вставлена на уровне видеопотока.

В этом варианте осуществления идентификационная информация рассматривается как информация степени приоритета, которая устанавливается для повышения уровня иерархии группы на стороне низкой иерархии, и вставляется в заголовок PES пакета полезной нагрузки, включающего в себя кодируемые данные изображения каждого изображения. Информация идентификации позволяет приемной стороне буферизовать и обрабатывать только кодированные данные изображения изображений группы иерархии, соответствующей функциональным способностям декодирования приемной стороной.

Транспортный поток TS включает в себя единый поток видео, включающий в себя кодируемые данные изображения каждой иерархии или заданного числа видеопотоков, каждый из которых включает в себя кодированные данные изображения каждой иерархической группы, описанной выше. В транспортном потоке TS информация иерархии иерархического кодирования и информации о конфигурации видеопотока вставлены. Эти части информации позволяют приемной стороне легко получить информацию о конфигурации иерархии или информацию о конфигурации потока и выполнить соответствующий процесс декодирования.

Приемное устройство 200 принимает вышеупомянутый транспортный поток TS, передаваемый передающим устройством 100 на широковещательной волне. Приемное устройство 200 избирательно принимает в буфер кодированные данные изображения иерархии ниже заданной иерархии, выбранной в соответствии с возможностями декодирования из видеопотока, включенного в состав транспортного потока TS, выполняет декодирование, получает данные изображения каждого изображения, и выполняет воспроизведение изображения.

Например, как описано выше, транспортный поток TS может включать в себя один поток видео, включающий в себя кодированные данные изображения изображений множества иерархий. В таком случае, на основании вышеупомянутой информации идентификации, кодированные данные изображения заданной группы иерархии, соответствующей возможности декодирования, буферизуются и обрабатываются.

Кроме того, например, как описано выше, транспортный поток TS может включать в себя предварительно определенное число видеопотоков, включающие в себя кодированные данные изображений заранее заданного количества, то есть двух или более групп иерархии, которые получаются делением несколько иерархий. В таком случае, закодированные данные изображения заданной группы иерархии, соответствующей возможности декодирования, берется в буфер и обрабатываются на основании информации идентификации потока.

Кроме того, приемное устройство 200 выполняет процесс перезаписи временной отметки декодирования кодированных данных изображения каждого изображения избирательно принятых в буфер и корректировки интервалов декодирования изображений низкой иерархии. Это позволяет выполнить процесс регулировки реалистичного декодирования даже в декодере, имеющего низкую функциональную возможность декодирования.

Дополнительно, приемное устройство 200 выполняет процесс постобработки согласования частоты кадров данных изображения каждого изображения, которое получается путем декодирования, как описано выше, с функциональными возможностями отображения. Выполнение процесса постобработки позволяет получать данные изображения с частотой кадров, сопоставленной с высокими функциональными возможностями отображения даже при низких функциональных возможностях декодирования, например.

"Конфигурация передающего устройства"

Фиг. 2 показывает пример конфигурации передающего устройства 100. Передающее устройство 100 включает в себя CPU (центральный процессор) 101, кодер 102, буфер (cpb) 103 кодированного изображения, мультиплексор 104 и блок 105 передачи. CPU 101 представляет собой блок управления, который управляет операциями соответствующих блоков передающего устройства 100.

На вход кодера 102 поступают данные движущегося изображения без сжатия, и выполняет иерархическое кодирование. Кодер 102 сортирует данные изображений, составляющие данные движущегося изображения, на множество иерархий. Кодер 102 затем кодирует данные изображений каждой отсортированной иерархии и генерирует видеопоток, имеющий закодированные данные изображения каждой иерархии. Например, кодер 102 выполняет кодирование, такое как H.264/AVC и HEVC. В то время, как кодер 102 выполняет кодирование, когда изображение, на которое будет осуществлена ссылка, (опорное изображение) принадлежит к иерархии опорного изображения и/или иерархии ниже, чем иерархия опорного изображения.

Фиг. 3 показывает пример процесса иерархического кодирования, выполняемого в кодере 102. В этом примере предусмотрено пять иерархий от 0 до 4, полученные посредством сортировки, и данные изображения изображений каждой иерархии подвергаются кодированию, например, HEVC.

На вертикальной оси обозначена иерархия. От 0 до 4 установлены как temporal_id (идентификационная информация иерархии), расположены в части заголовка блока NAL (nal_unit), составляющие закодированные данные изображений иерархий 0 до 4, соответственно. С другой стороны, на горизонтальной оси обозначен порядок отображения (РОС: порядок композиции изображения), в котором левая сторона представляет более раннее время отображения и правая представляет собой более позднее время отображения.

Часть (а) фиг. 4 показывает пример структуры (синтаксис) заголовка блока NAL и часть (b) фиг. 4 показывает детали (семантику) основных параметров в структурном примере. 0 является необходимым для 1-битового поля "Forbidden_zero_bit". 6-битовое поле "nal_unit_type" представляет собой тип блока NAL. 6-битовое поле "Nuh_layer_id" предполагает 0. 3-битовое поле "Nuh_temporal_id_plus1" представляет собой temporal_id и принимает значения (от 1 до 7), к которому добавляется 1.

Возвращаясь к фиг. 3, каждый прямоугольник представляет собой изображение и число показывает порядок кодированного изображения, то есть, порядок кодирования (порядок декодирования на приемной стороне). 16 изображений от "1" до "17" (без учета "2") представляют собой подгруппу изображений, и "1" является заглавным изображением подгруппы картин. "2" является заглавным изображением следующей подгруппы изображений. Альтернативно, 16 изображений от "2" до "17", кроме "1", составляют подгруппу изображений и "2" является заглавным изображением подгруппы изображений.

Изображение "1" может быть заглавным изображением GOP (группы изображений). Закодированные данные изображения заглавного изображения GOP составлены из блоков NAL AUD, VPS, SPS, PPS, PSEI, SLICE, SSEI и EOS, как показано на фиг. 5. С другой стороны, изображения, отличные от заглавного изображения GOP, каждое состоит из блоков NAL AUD, PPS, PSEI, SLICE, SSEI и EOS. VPS передается в последовательности (GOP) один раз вместе с SPS, и PPS передается в My Picture.

Возвращаясь к рис. 3, сплошные стрелки обозначают ссылочные отношения изображений в кодировке. Например, изображение "1" является I-кадром, который не ссылается на другие изображения. Изображение "2" является Р-кадром, который ссылается на изображение "1" и кодируется. Дополнительно, изображение "3" является В-кадром, который ссылается на изображения "1" и "3" и кодируется. Далее, другие изображения аналогично ссылаются на расположенные рядом изображения в порядке отображения и кодируются. Следует отметить, что на изображения иерархии 4 не осуществляется ссылка другими изображениями.

Кодер 102 генерирует один поток видео (один поток), включающий в себя кодированные данные изображений каждой иерархии, или делит несколько иерархий на заранее заданное количество, то есть, две или более групп иерархий и генерирует предварительно определенное количество потоков видео (многопоточная передача), каждый из который включает в себя закодированные данные изображений каждой иерархической группы. Например, в примере иерархического кодирования на фиг. 3, когда иерархии делятся на две иерархические группы, так что иерархии от 0 до 3 устанавливаются в иерархическую группу нижней иерархии и иерархия 4 устанавливается в иерархическую группу более высокой иерархии, кодер 102 генерирует два видеопотока (закодированные потоки), каждый из который включает в себя кодированные данные изображений каждой иерархической группы.

Независимо от количества генерируемых потоков видео, как описано выше, кодер 102 делит несколько иерархий на заранее заданное количество, то есть две или более группы иерархий и добавляет идентифицирующую информацию для идентификации иерархической группы, к которой принадлежат кодированные данные изображения каждой иерархической группы. В этом случае, например, используется идентификационная информация, "general_level_idc" как величина уровня битового потока, включенного в состав SPS, и иерархическая группа на высокой иерархической стороне принимает большее значение. Следует отметить, что "sub_layer_level_idc" может быть передан в SPS послойно и, таким образом «sub_layer_level_idc" может использоваться в качестве идентификационной информации. Эти упомянутые значения поставляются не только в SPS, но и в VPS.

В данном случае, значение нормативного значения уровня каждой иерархической группы устанавливается на значение, соответствующее частоте кадров, состоящих изображений этой группы иерархии, и изображений всех иерархических групп на иерархической стороне ниже этой иерархической группы. Например, в примере иерархического кодирования, показанного на фиг. 3, нормативное значение уровня иерархической группы, включающей в себя иерархии от 0 до 3, представляет собой значение, соответствующее частоте кадров, состоящих только из изображений иерархии от 0 до 3, и нормативное значение уровня иерархической группы, включающей в себя иерархии 4, представляет собой значение, соответствующее частоте кадров, состоящей из изображений всех иерархий от 0 до 4.

Фиг. 6 показывает пример кодирования, декодирования, порядок отображения и задержку при иерархическом кодировании. Этот пример соответствует примеру вышеупомянутого иерархического кодирования на фиг. 3. Этот пример показывает случай, где все иерархии (все уровни) подвергаются иерархическому кодированию при полном временном разрешении. Часть (а) фиг. 6 показывает входные данные кодера. Как показано в части (b) фиг. 6, изображения закодированы в порядке кодирования с задержкой, соответствующей 16 кадрам и получается кодированный поток. Кроме того, часть (b) фиг. 6 показывает входные данные декодера, и изображения декодируются в порядке декодирования. Как показано в части (с) на фиг. 6, данные изображения кадров получаются в порядке отображения с задержкой, соответствующей 4 кадрам.

Часть (а) фиг. 7 показывает кодированный поток, который аналогичен вышеупомянутому кодированному потоку, показанному на части (b) фиг. 6, на трех этапах иерархий с 0 по 2, иерархии 3 и иерархии 4. Здесь, "Tid" представляет собой temporal_id. Часть (b) фиг. 7 показывает порядок ожидания отображения (порядок отображения) в случае, когда избирательно декодируются изображения иерархий с 0 по 2, то есть, частичные иерархии, когда Tid=с 0 по 2. Кроме того, часть (с) фиг. 7 показывает ожидаемый порядок отображения (порядок отображения) в случае, когда избирательно декодируются изображения иерархий с 0 по 3, т.е., когда частичные иерархии Tid=с 0 по 3. Кроме того, часть (d) фиг. 7 показывает ожидаемый порядок отображения (порядок отображения) в случае, когда избирательно декодируются изображения иерархий от 0 до 4, то есть, все иерархии, когда Tid=0 до 4.

Для выполнения обработки декодирования закодированного потока, показанного на части (а) на фиг. 7, в соответствии с возможностью декодирования, требуется возможность декодирования, имеющая полное временное разрешение. Тем не менее, когда выполняется декодирование, где Tid=с 0 до 2, декодер, имеющий возможность 1/4 декодирования для кодирования полного временного разрешения, должен выполнять обработку. Кроме того, когда выполняется декодирование, где Tid=0 до 3, декодер, имеющий возможность 1/2 декодирования для кодированной полного временного разрешения, должен выполнить обработку.

Однако, когда кадры, принадлежащие к низкой иерархии и указанные при иерархическом кодировании, являются последовательными и кодируются в момент времени полного временного разрешения, способность декодера, который выполняет частичное декодирование, не соответствует требованиям кодирования. Эта ситуация соответствует периоду А в части (а) на фиг. 7. Декодер, который декодирует частичные иерархии, где Tid=0 до 2 или Tid=0 до 3, выполняет декодирование/отображение с возможностью имеющей 1/4 или 1/2 по оси времени, как показано в примере отображения. Таким образом, последовательные изображения на кодированном полном временном разрешении в период А, не могут быть декодированы.

Та представляет собой время, необходимое для обработки покадрового декодирования в декодере, который декодирует Tid=0 до 2. Tb представляет собой время, необходимое для обработки покадрового декодирования в декодере, который декодирует Tid=0 до 3. Тс представляет собой время, необходимое для обработки покадрового декодирования в декодере, который декодирует Tid=от 0 до 4 (все иерархии). Отношения времен представляет собой Та>Tb>Тс.

В этом варианте осуществления, как будет описано позже, когда приемное устройство 200 включает в себя декодер, имеющий низкую функциональную возможность декодирования, и избирательно декодирует низкие иерархии изображений, приемное устройство 200 имеет возможность выполнять функцию перезаписи временной отметки (DTS) декодирования и регулировки интервалов декодирования низких иерархических изображений. Это позволяет обеспечить выполнение реалистичного процесса обработки декодирования даже в декодере, имеющего низкую функциональную возможность декодирования.

Возвращаясь к фиг. 2, буфер (cpb) 103 кодированного изображения временно сохраняет видео поток, генерируемый в кодере 102, видеопоток, включающий в себя кодированные данные изображений каждой иерархии. Мультиплексор 104 считывает видеопоток, сохраненный в буфере 103 кодированного изображения и преобразует видеопоток в PES-пакеты и дополнительно в транспортные пакеты, которые должны быть мультиплексированы, таким образом, получая транспортный поток TS, как мультиплексированный поток.

В этом варианте осуществления, как описано выше, множество иерархий разделены на заранее заданное количество, то есть, две или более групп иерархий. Мультиплексор 104 вставляет информацию идентификации в заголовок пакета PES (PES заголовок). Идентификационная информация используется для идентификации группы иерархии, к которой принадлежат кодированные данные изображения каждого изображения, включенного в состав видеопотока. Эта информация идентификации предоставляет возможность приемной стороне принимать в буфер и обрабатывать только кодированные данные изображений иерархической группы, соответствующей функциональной возможности декодирования приемной стороны.

Например, когда множество иерархий делятся на группы низкой иерархии и высокой иерархии, мультиплексор 104 использует 1-битное поле известного PES приоритета (PES_priority), расположенного в заголовке PES. Когда PES полезной нагрузки содержит закодированные данные изображения группы иерархии по низкой стороне иерархии 1-битовое поле установлено на значение "1", то есть устанавливается высокая степень приоритета. С другой стороны, когда PES полезной нагрузки включает в себя закодированные данные изображения группы иерархии на высокой стороне иерархии, то 1-битовое поле установлено на "0", то есть устанавливается низкая степень приоритета.

Как описано выше, транспортный поток TS включает в себя один поток видео, включающий в себя кодированные данные изображением каждой иерархии, или заранее заданное число потоков видео, каждый из которых включает в себя кодированные данные изображения каждой иерархической группы, описанной выше. Мультиплексор 104 вставляет информацию об иерархии и информацию о конфигурации потока в транспортный поток TS.

Транспортный поток TS включает в себя РМТ (таблица состава программы) как один из видов PSI (программно-зависимая информация). В РМТ существует закольцованное видео (видео ES1 цикл), включающее в себя информацию, относящуюся к каждому видеопотоку. В закольцованном видео такая информация, как тип потока и идентификатор (PID) пакета и дескриптор, описывающий информацию, относящуюся к этому видеопотоку, расположены так, чтобы соответствовать каждому видеопотоку.

Мультиплексор 104 вставляет дескриптор HEVC (HEVC_descriptor) в качестве одного из дескриптора и дополнительно вставляет дескриптор расширения масштабируемости (scalability_extension_descriptor), который вновь определен.

Фиг. 8 показывает пример структуры (синтаксис) дескриптора HEVC (HEVC_descriptor). Кроме того, фиг. 9 показывает детали (семантику) основной информации структурного примера.

8-битовое поле "descriptor_tag" показывает тип дескриптора и показывает дескриптор HEVC здесь. 8-битовое поле "descriptor_length" показывает длину (размер) дескриптора. Для обозначения длины дескриптора показано последующее число байтов.

8-битовое поле "level_idc" показывает величину спецификационного значения битовой скорости. Кроме того, когда "temporal_layer_subset_flag=1", то присутствует 5-битовое поле "temporal_id_min" и 5-битовое поле "temporal_id_max". "temporal_id_min" показывает значение temporal_id на низкой иерархии иерархически кодированных данных, включенных в состав соответствующего видеопотока. "temporal_id_max" показывает значение temporal_id на высокой иерархии иерархически кодированных данных, включенных в состав соответствующего видеопотока.

1-битовое поле "level_constrained_flag" вновь определен и представляет, что величина спецификационного значения (general_level_idc) потока битов, включенных в состав блока NAL VPS, может изменяться на покадровой основе. "1" означает возможность изменения и "0" означает отсутствие изменений.

Как описано выше, например, "general_level_idc" используется в качестве информации идентификации группы иерархии, к которой принадлежат закодированные данные изображения, когда несколько иерархий разделены на заранее заданное количество, то есть, две или более групп иерархии. Таким образом, в случае видеопотока, включающий в себя кодированные данные изображения нескольких групп иерархий, "general_level_idc", может измениться на покадровой основе. С другой стороны, в случае видеопотока, включающий в себя кодированные данные изображения одной группы иерархии, "general_level_idc" не изменяется на покадровой основе. Альтернативно, "sublayer_level_idc" задается каждому субуровню, и декодер считывает пакеты temporal_id в диапазоне декодирования и, таким образом, обрабатываются данные соответствующей иерархии.

3-битовое поле "scalability_id" вновь определено и является идентификатором, представляя масштабируемость, заданную каждому потоку, когда несколько видеопотоков поставляют масштабируемые услуги. "0" представляет собой основной поток, и от "1" до "7" каждый представляет собой идентификатор, который увеличивает, в соответствии со степенью масштабируемости, от основного потока.

Фиг. 10 показывает пример структуры (синтаксис) дескриптора расширения масштабируемости (scalability_extension_descriptor). Кроме того, фиг. 11 показывает детали (семантику) основной информации структурного примера.

8-битовое поле "scalability_extension_descriptor_tag" показывает тип дескриптора и показывает дескриптор расширения масштабируемости, здесь. 8-битовое поле "scalability_extension_descriptor_length" показывает длину (размер) дескриптора. Для обозначения длины дескриптора показывается последующее число байтов. 1-битовое поле "extension_stream_existing_flag" является флагом, указывающим на присутствие услуги расширения посредством другого потока. "1" означает, что расширенный поток присутствует и "0" представляет, что расширенный поток отсутствует.

3-битовое поле "extension_type" показывает тип расширения. "001" представляет, что расширение является временной масштабируемостью. "010" представляет, что расширение является пространственной масштабируемостью. "011" представляет, что расширение является масштабируемой битовой скоростью.

4-битовое поле "number_of_streams" показывает общее число потоков, вовлеченных в услугу распределения. 3-битовое поле "scalability_id" является идентификатором, представляющий собой масштабируемость каждого потока, когда несколько видеопотоков поставляют масштабируемые услуги. "0" представляет собой основной поток, и от "1" до "7" каждый представляет собой идентификатор, который увеличивает, в соответствии со степенью масштабируемости, от основного потока.

3-битовое поле "number_of_layers" показывает общее количество иерархий потока. 8-битовое поле "sublayer_level_idc показывает значение level_idc, при котором соответствующий подуровень представлен посредством tempora_id, включает в себя уровень ниже субуровня, который обрабатывается посредством декодера. "Number jf layers" содержит все значения" Nuh_temporal_id_plus1 "в блоке NAL заголовка, и когда демультиплексор (демультиплексор) обнаруживает это, то можно предварительно распознать, к которой иерархии декодер, соответствующий заранее определенному level_idc, может выполнять декодирование с помощью "sublayer_level_idc".

Как описано выше, в этом варианте осуществления величина спецификационного значения (general_level_idc) битовой скорости, включенной в состав SPS и тому подобное, используется как информация идентификации группы иерархии, к которой принадлежат кодированные данные изображения, когда несколько иерархий разделены на заранее заданное количество, то есть, две или более группы иерархий. Величина спецификационного значения каждой иерархического группы устанавливается на значение, соответствующее частоте кадров, составляющее изображение этой группы иерархии, и изображения всех иерархических групп на иерархической стороне ниже этой группы иерархии.

Фиг. 12 показывает пример конфигурации мультиплексора 104. Мультиплексор 104 включает в себя блок 141 генерирования приоритета PES, блок 142 кодирования, блоки 143-1 до 143-N PES пакетирования, блок 144 переключения и блок 145 пакетирования транспортного потока.

Блоки 143-1 до 143-N PES пакетирования, соответственно, читают видеопотоки с 1 по N, хранящиеся в буфере 103 кодированного изображения, и генерирует PES-пакеты. В то время, блоки 143-1 до 143-N PES пакетирования обеспечивают временные метки (временная метка декодирования) DTS и (временная метка презентации) PTS в заголовках PES на основе HRD информации видеопотоков с 1 по N. В этом случае, "cpu_removal_delay" и "dpb_output_delay" каждого изображения ссылаются, преобразуются в DTS и PTS с точностью, синхронизированной с STC временем (Системный таймер), и расположены в заданном положении в заголовке PES.

Информация о количестве иерархий (количество уровней) и количестве потоков (количество потоков) поставляется в блок 141 генерирования приоритета PES из процессора 101. Блок 141 генерирования приоритета PES генерирует информацию о степени приоритета каждой иерархической группы, в том случае, когда множество иерархий, представленное количеством иерархий, разделено на заранее заданное количество, то есть, две или более групп иерархии. Например, когда несколько иерархий делятся на две, блок 141 генерирования приоритета PES генерирует значение ("1" для низкой группы иерархии, "0" для группы высокой иерархии), которое вставляется в 1-битовое поле "PES_priority" заголовка PES пакета.

Информация о степени приоритета каждой иерархической группы, которая генерируется в блоке 141 генерирования приоритета PES, поставляется в блоки 143-1 до 143-N PES пакетирования. Блоки 143-1 до 143-N PES пакетирования вставляют информацию о степени приоритетности каждой группы иерархии как информацию идентификации, в заголовок PES пакета, включающий в себя кодируемые данные изображения этой группы иерархии.

Следует отметить, что вставка информации степень приоритета иерархической группы, к которой принадлежит изображение, в заголовок PES пакета в качестве информации заголовка на покадровой основе, может быть ограничена случаем, когда один поток видео (один поток) генерируется в кодере 102. В этом случае, обработка выполняется только в блоке 143-1 PES пакетирования.

Блок 144 переключения избирательно вынимает пакет PES, генерируемый в блоках 143-1 до 143-N PES пакетирования, на основании идентификатора пакета (PID), и передает пакет PES в блок 145 пакетирования транспортного потока. Блок 145 пакетирования транспортного потока генерирует пакет TS, включающий в себя PES пакет в полезной нагрузке, и получает транспортный поток TS.

Блок 142 кодирования генерирует различные типы данных раздела, которые должны быть вставлены в транспортный поток TS. Информация о количестве иерархий (количество уровней) и количества потоков (число потоков) поставляется в блок 142 кодирования из CPU 101. На основе информации, блок 142 кодирования генерирует упомянутый выше дескриптор HEVC (HEVC_descriptor) и дескриптор расширения масштабируемости (scalability_extension_descriptor).

Блок 142 кодирования передает различные типы данных раздела в блок 145 пакетирования транспортного потока. Блок 145 пакетирования транспортного потока генерирует пакет TS, включающий в себя данные раздела и вставляет пакет TS в транспортный поток TS.

Фиг. 13 показывает последовательность выполнения операций мультиплексора 104. Это пример, в котором множественные иерархии разделены на две группы с низкой иерархией и высокой иерархией. Мультиплексор 104 начинает выполнять процесс обработки на этапе ST1, а затем переходит к обработке на этапе ST2. На этапе ST2 мультиплексор 104 устанавливает temporal_id_ каждого изображения видеопотока (видео элементарный поток) и количества, составляющие закодированные потоки.

Далее, на этапе ST3, мультиплексор 104 выполняет ссылку HRD информации (cpu_removal_delay, dpb_output_delay), определяет DTS и PTS и вставляет DTS и ВТС в заданную позицию PES заголовка.

Далее, на этапе ST4 мультиплексор 104 определяет, является ли поток единым потоком (один поток видео) или нет. Когда поток является единым потоком, на этапе ST5, мультиплексор 104 выполняет мультиплексирование с использованием одного PID (идентификатора пакета) и затем переходит к обработке на этапе ST7.

На этапе ST7, мультиплексор 104 определяет, является ли каждое изображение изображением (срезом) группы низкой иерархии или нет. Когда каждое изображение является изображением группы низкой иерархии, то на этапе ST8 мультиплексор 104 устанавливает "1" для "PES_priority" заголовка пакета PES, включающий в себя кодированные данные изображения этого изображения в полезной нагрузке. С другой стороны, когда каждое изображение является изображением группы высокой иерархии (группы не низкой иерархии) на этапе ST9 мультиплексор 104 устанавливает "0" для "PES_priority" в заголовке пакета PES, включающий в себя кодированные данные изображения этого изображения в полезной нагрузке. Мультиплексор 104 переходит к обработке на этапе ST10 после обработки на этапах ST8 и ST9.

Здесь далее приведено описание связи между изображением и срезом. Изображение представляет собой концепцию и также как срез в структурном определении. Одно изображение может быть разделено на множество срезов, но множество срезов является таким же, как блок доступа, как определяется из набора параметров.

Когда поток не является единым потоком на этапе ST4, как описано выше, на этапе ST6 мультиплексор 104 выполняет мультиплексирование с использованием нескольких PIDs пакета (идентификатор пакета), и затем переходит к обработке на этапе ST10. На этапе ST10 мультиплексор 104 вставляет кодированный поток (элементарный видеопоток) в полезную нагрузку PES и преобразует кодированный поток в PES пакеты.

Далее, на этапе ST11, мультиплексор 104 кодирует дескриптор HEVC, дескриптор расширения масштабируемости и тому подобное. Мультиплексор 104 затем преобразует эти дескрипторы в транспортные пакеты на этапе ST12 и получает транспортный поток TS. Мультиплексор 104 затем завершает обработку на этапе ST13.

Фиг. 14 показан пример конфигурации транспортного потока TS, когда выполняется распределение посредством одного потока. Этот транспортный поток TS включает в себя один видеопоток. Другими словами, в этом примере конфигурации, пакет PES "видео pes1" видеопотока, включающий в себя кодированные данные изображения посредством HEVC, например, изображений с многоуровневой иерархией, и присутствует пакет PES "аудио pes1" аудио потока.

В закодированных данных изображений каждого изображения, существуют NAL блоки VPS, SPS, SEI и т.п. Как описано выше, в заголовке NAL блока каждого изображения вставлен temporal_id, обозначающий иерархию этого изображения. Дополнительно, например, VPS включает в себя величину спецификационного значения (general_level_idc) скорости передачи данных. Кроме того, например, SEI тайминга изображения включает в себя «cpb_removal_delay» и "dpb_output_delay".

Дополнительно, в заголовке пакета PES (PES заголовок) существует поле из одного бита, показывающее степень приоритета "PES_priority". Посредством этого "PES_priority" различается факт того, кодированные данные изображения, включенного в состав полезной нагрузки PES, являются изображением группы низкой иерархии или изображением группы высокой иерархии.

Дополнительно, транспортный поток TS содержит РМТ (таблица содержания программы) как один из видов PSI (программно-зависимой информации). Этот PSI представляет собой информацию, описывающую, к которой программе принадлежит каждый элементарный поток, включенный в состав транспортного потока.

В РМТ существует программа цикла, которая описывает информацию, относящуюся ко всей программе. Кроме того, в РМТ существует элементарный цикл, включающий в себя информацию, относящуюся к каждому элементарному потоку. В этом примере конфигурации, существует элементарное кольцевое видео (видео ES1 цикл) и элементарное кольцевое аудио (аудио ES1 цикл).

В элементарном кольцевом видео, информация, такая как тип потока и идентификатор пакета (PID) и дескриптор, описывающий информацию, относящуюся к этому видеопотоку, расположены так, чтобы соответствовать видеопотоку (видео PES1). В качестве одного дескриптора, вышеупомянутый дескриптор HEVC (HEVC_descriptor) и дескриптор расширения масштабируемости (scalability_extension_descriptor) вставляются.

Возвращаясь к фиг. 2, блок 105 передачи модулирует транспортный поток TS посредством способа модуляции, подходящий для вещаний, таком, как QPSK/OFDM, и передает RF-модулированный сигнал посредством передающей антенны.

Процесс функционирования передающего устройства 100, показанного на фиг. 2, будет кратко описан. Несжатые данные движущееся изображение поступают на вход кодера 102. В кодере 102 выполняется иерархическое кодирование данных движущегося изображения. Другими словами, в кодере 102 данные изображения, составляющие данные движущегося изображения, сортируются на множество иерархий и кодируются, так что генерируется видеопоток, включающий в себя кодируемые данные изображения изображений иерархий. В то время, кодирование выполняется таким образом, что опорные изображения принадлежат иерархии ссылочного изображения и/или иерархии ниже иерархии ссылочного изображения.

В кодере 102 генерируется один поток видео, включающий в себя кодированные данные изображения каждой иерархии. Альтернативно, генерируются множество иерархий разделено на заранее заданное количество, то есть две или более групп иерархий, и заданное количество видеопотоков в каждый из которых включает в себя кодированные данные изображения каждой иерархической группы.

Кроме того, видео поток, включающий в себя кодированные данные изображений каждой иерархии, которые генерируются в кодере 102, подается в буфер (cpb) 103 кодированного изображения и временно сохраняется. В мультиплексоре 104 видеопоток, сохраненный в буфере (cpb) 103 кодированного изображения, считывается, преобразуется в PES-пакеты, дополнительно преобразуется в транспортные пакеты, которые должны быть мультиплексированы, получая, таким образом, транспортный поток TS, как мультиплексированный поток.

В мультиплексоре 104, например, в случае одного потока видео (единый поток), информация идентификации для идентификации групп иерархий, к которой принадлежат кодированные данные изображения каждого изображения видеопотока, вставляется в заголовок пакета PES (PES заголовок). Например, когда множество иерархий делится на две группы низкой иерархии и высокой иерархии, используется 1-битовое поле PES приоритета (PES_priority) PES заголовка.

Кроме того, в мультиплексоре 104 информации иерархии и информация конфигурации потока вставлены в транспортный поток TS. Другими словами, в мультиплексоре 104, дескриптор HEVC (HEVC_descriptor) и дескриптор расширения масштабируемости (scalability_extension_descriptor) вставлены в элементарное закольцованное видео, соответствующее каждому видеопотоку.

Транспортный поток TS, сгенерированный в мультиплексоре 104, передается в блок 105 передачи. В блоке 105 передачи этот транспортный поток TS модулируется посредством способа модуляции, подходящим для вещания, таким как QPSK/OFDM, и RF-модулированный сигнал передается передающей антенной.

"Конфигурация приемного устройства"

Фиг. 15 показывает пример конфигурации приемного устройства 200. Приемное устройство 200 включает в себя CPU (центральный процессор) 201, блок 202 приема, демультиплексор 203 и буфер (cpb) 204 кодированного изображения. Кроме того, приемное устройство 200 включает в себя декодер 205, буфер (dpb) 206 декодированного изображения и блок 207 постобработки. Процессор 201 представляет собой блок управления и управляет операциями соответствующих блоков приемного устройства 200.

Блок 202 приема демодулирует RP-модулированный сигнал, принятый посредством приемной антенны и получает транспортный поток TS. Демультиплексор 203 выборочно выбирает закодированные данные изображения группы иерархии, соответствующей возможности декодирования (возможность временного уровня декодера), из транспортного потока TS и передает закодированные данные изображения в буфер (cpb) 204 кодированного изображения.

Фиг. 16 показывает пример конфигурации демультиплексора 203. Демультиплексор 203 содержит блок 231 извлечения поля адаптации TS, блок 232 извлечения информации синхронизации, блок 233 извлечения полезной нагрузки TS, блок 234 извлечения секции, блок 235 извлечения PSI таблицы/дескриптора и блок 236 извлечения PES пакета. Кроме того, демультиплексор 203 включает в себя блок 237 извлечения заголовка PES, блок 238 извлечения отметки времени, блок 239 извлечения информации идентификации, блок 240 извлечения полезной нагрузки PES и блок 241 конфигурации потока (компоновщик потока).

Блок 231 извлечения поля адаптации TS извлекает поле адаптации из пакета TS, включающий в себя поле адаптации транспортного потока TS. Блок 232 извлечения информации синхронизации извлекает PCR (временная отметка программ) из поля адаптации, включающее в себя PCR, и передает PCR в CPU 201.

Блок 233 извлечения полезной нагрузки TS извлекает полезную нагрузку TS из пакета TS, включающего в себя TS полезную нагрузку в транспортном потоке TS. Блок 234 извлечения секции извлекает данные раздела из полезной нагрузки TS, включающей в себя данные раздела. Блок 235 извлечения PSI таблицы/дескриптора анализирует данные раздела, извлеченные в блоке 234 извлечения секции и извлекает таблицу PSI или дескриптор. Блок 235 извлечения PSI таблицы/дескриптора затем передает минимальное значение (минимум) и максимальное значение (макс) temporal_id в процессор 201 и также в блок 241 конфигурации потока.

Блок 236 извлечения PES пакета извлекает PES пакет из полезной нагрузки TS, включающий в себя пакет PES. Блок 237 извлечения заголовка PES извлекает заголовок PES из PES пакета, извлеченного в блоке 236 извлечения PES пакета. Блок 238 извлечения отметки времени извлекает временные метки (DTS, PTS), вставленные в заголовок PES на покадровой основе, и передает временные метки в процессор 201 и также в блок 241 конфигурации потока.

Блок 239 извлечения информации идентификации извлекает информацию идентификации группы иерархии, к которой принадлежит изображение, идентификационная информация вставляется в заголовок PES на покадровой основе, и передает информацию идентификации в блок 241 конфигурации потока. Например, когда несколько иерархий делятся на две группы низкой иерархии и высокой иерархии, блок 239 извлечения информации идентификации извлекает информацию о степени приоритета из 1 -битового поля "PES_priority" из заголовка PES на и передает информацию о степени приоритета в блок 241 конфигурации потока. Следует отметить, что информация идентификации определенно вставлена на передающей стороне, когда один поток видео входит в состав транспортного потока TS, но может быть не вставлена на стороне передачи, когда несколько видеопотоков включены в состав транспортного потока TS.

Блок 240 извлечения полезной нагрузки PES извлекает полезную нагрузку PES, т.е., закодированные данные изображения каждой иерархии из пакета PES, извлеченного в блоке 236 извлечения PES пакета. Блок 241 конфигурации потока селективно извлекает кодированные данные изображения группы иерархий, соответствующей возможности декодирования (возможность декодирования временного уровня) из закодированных данных изображения каждой иерархии, извлеченных в блоке 240 извлечения полезной нагрузки PES, и передает закодированные данные изображения в буфер (cpb) 204 кодированного изображения. В этом случае, блок 241 конфигурирования потока ссылается на информацию иерархии и информацию о конфигурации потока, полученную в блоке 235 извлечения PSI таблицы/дескриптора, идентификационная информация (информация степени приоритета) извлекается в блоке 239 извлечения информации идентификации и тому подобное.

Например, предполагается, что частота кадров видеопотока (кодированного потока), включенного в состав транспортного потока TS, составляет 120 кадров в секунду. Например, предполагается, что множество иерархий разделено на две группы иерархий, т.е. на стороне низкой иерархии и стороне высокой иерархии, и частота кадров изображений каждого иерархического группы равна 60 кадров в секунду. Например, в примере иерархического кодирования, описанном выше на фиг. 3, иерархии от 0 до 3 предполагаются как группа иерархий на стороне низкой иерархии, для которой декодер, поддерживающий level_idc 60 кадров в секунду, может выполнить декодирование. Кроме того, иерархия 4 предполагается как группа иерархии на стороне высокой иерархии, для которой декодер, который поддерживает level_idc 120 кадров в секунду, может выполнить декодирование.

В этом случае, транспортный поток TS содержит один поток видео (кодированный поток), включающий в себя кодированные данные изображений каждой иерархии, включающие в себя два видеопотока (закодированные потоки) основного потока (B_str), включающие в себя закодированные данные изображения группы иерархии на стороне низкой иерархии, и расширенный поток (E_str), включающий в себя закодированные данные изображения группы иерархии на стороне высокой иерархии.

Когда возможность декодирования поддерживает 120 кадров в секунду, блок 241 конфигурации поток извлекает закодированные данные изображения всех иерархий и передает кодированные данные изображения в буфер (cpb) 204 кодированного изображения. С другой стороны, когда способность декодирования не поддерживает 120 кадров в секунду, но поддерживает 60 кадров в секунду, блок 241 конфигурации потока извлекает только закодированные данные изображения группы иерархии на стороне низкой иерархии и передает закодированные данные изображения в буфер (cpb) 204 кодированного изображения.

Фиг. 17 показывает пример изображения (среза) выбора блока 241 конфигурации потока, когда транспортный поток TS включает в себя единый поток видео (кодированный поток). Здесь "высокий" представляет собой изображение группы иерархии на стороне высокой иерархии и "низкий" представляет собой изображение группы иерархии на стороне низкой иерархии. Кроме того, "Р" представляет собой "PES_priority".

Когда возможность декодирования поддерживает 120 кадров в секунду, блок 241 конфигурации потока вынимает кодированные данные изображения всех иерархий и передает кодированные данные изображения в буфер (cpb) 204 кодированного изображения. С другой стороны, когда возможность декодирования не поддерживает 120 кадров в секунду, но 60 кадров в секунду, блок 241 конфигурации потока выполняет фильтрацию на основе "PES_priority", вынимает только изображения группы иерархии на стороне низкой иерархии, где Ρ=1, и передает изображения в буфер (cpb) 204 кодированного изображения.

Фиг. 18 показывает пример изображения (среза) выбора блока 241 конфигурации потока, когда транспортный поток TS включает два потока видео (закодированные потоки) основного потока и расширенного потока. Здесь "высокая" представляет собой изображение группы иерархии на стороне высокой иерархии и "низкий" представляет собой изображение группы иерархии на стороне низкой иерархии. Кроме того, предполагается, что идентификатор пакета (PID) основного потока равен PID А и идентификатор пакета (PID) расширенного потока является PID В.

Когда возможность декодирования поддерживает 120 кадров в секунду, блок 241 конфигурации потока вынимает кодированные данные изображения всех иерархий и передает данные кодированного изображения в буфер (cpb) 204 кодированного изображения. В этом случае, блок 241 конфигурации потока преобразовывает закодированные данные изображения каждого изображения в один поток на основании информации времени декодирования и передает поток в буфер (cpb) 204 кодированного изображения.

В таком случае, значение DTS рассматривается как время декодирования и потоки собираются в одни, так что значения монотонно возрастают между изображениями. Такая обработка сбора изображений в один поток может быть выполнена на нескольких потоках, которые считываются из множества буферов (cpb) 204 кодированного изображения, в соответствии с количеством потоков, и обработка декодирования может быть выполнена на одном потоке.

С другой стороны, когда возможность декодирования не поддерживает 120 кадров в секунду, но 60 кадров в секунду, блок 241 конфигурации потока осуществляет фильтрацию на основании идентификатора пакета (PID), вынимает только изображения группы иерархии на стороне низкой иерархии, имеющей PID А, и передает изображения в буфер (cpb) 204 кодированного изображения.

Следует отметить, что блок 241 конфигурации потока имеет функцию выборочной перезаписи временной метки декодирования кодированных данных изображения каждого изображения, которое должно быть передано в буфер (cpb) 204 кодированного изображения, и регулировки интервалов декодирования изображений низкой иерархии. Это позволяет осуществить процесс реалистичного декодирования даже в декодере 205, имеющего низкую способность декодирования.

Фиг. 19 показывает случай, когда группы иерархий делятся на группы иерархии на стороне низкой иерархии и иерархии группы на стороне высокой иерархии в примере иерархического кодирования, показанного на фиг. 3, и где кодированные данные изображений, принадлежащих к группе низкой иерархии избирательно извлекаются в блоке 241 конфигурации потока и передаются буфер (cpb) 204 кодированного изображения.

Часть (а) фиг. 19 показывает тайминг декодирования до корректировки интервалов декодирования. В этом случае, интервалы декодирования изображений изменяются и короткие интервалы декодирования равны интервалам декодирования при полном разрешении 120 кадров в секунду. В отличие от этого, часть (b) фиг. 19 показывает тайминг декодирования после регулировки интервалов декодирования. В этом случае, интервалы декодирования изображений сделаны равными, и интервалы декодирования равны 1/2 интервалам декодирования при полном разрешении. Таким способом, в любой иерархии, интервалы декодирования корректируются в соответствии с возможностью целевого декодера.

Фиг. 20 показывает пример последовательности выполнения операций обработки демультиплексора 203. Последовательность обработки показывает случай, когда транспортный поток TS включает в себя один поток видео (кодированный поток).

Демультиплексор 203 начинает выполнять процесс обработки на этапе ST31 и затем переходит к обработке на этапе ST32. На этапе ST32, возможность декодирования (возможность декодирования временного уровня) устанавливается посредством CPU 201. Далее, демультиплексор 203 определяет на этапе ST33, существует ли возможность декодировать все иерархии (уровни) или нет.

Когда способность декодировать все иерархии обеспечивается, то демультиплексор 203 демультиплексирует все TS пакеты, которые проходят через соответствующий фильтр PID и выполняет синтаксический разбор на этапе ST34. Демультиплексор 203 затем переходит к обработке на этапе ST35.

На этапе ST33, когда способность декодировать все иерархии не предусмотрена, демультиплексор 203 демультиплексирует TS пакеты, имеющие "PES_priority" как "1" и выполняет синтаксический разбор на этапе ST36. Демультиплексор 203 затем переходит к обработке на этапе ST35.

На этапе ST35, демультиплексор 203 считывает дескриптор HEVC (HEVC_descriptor) и дескриптор расширения масштабируемости (scalability_extension_descriptor) как целевой PID и получает информацию о наличии или отсутствии расширенного потока, типа масштабируемости, количестве потоков и идентификаторы, максимальное и минимальное значения temporal_id, и декодер поддерживает уровень каждого уровня.

Далее, демультиплексор 203 передает кодированный поток в качестве целевого с PID, в буфер (cpb) 204 кодированного изображения на этапе ST37 и уведомляет о DTS и PTS в CPU 201. После выполнения обработки на этапе ST37 демультиплексор 203 прекращает обработку на этапе ST38.

Фиг. 21 показывает пример выполнения последовательности операций обработки демультиплексора 203. Поток обработки показывает случай, когда транспортный поток TS включает в себя два потока видео (закодированные потоки) основного потока и расширенного потока.

Демультиплексор 203 начинает процесс обработки на этапе ST41 и затем переходит к обработке на этапе ST42. На этапе ST42, возможность декодирования (декодирование временного уровня) устанавливается посредством CPU 201. Далее, демультиплексор 203 определяет на этапе ST43, существует ли возможность декодирования всех иерархий (уровни) или нет.

Когда обеспечивается способность декодировать все иерархии, демультиплексор 203 демультиплексирует несколько потоков, составляющие все иерархии, посредством PID фильтра, и выполняет разбор на этапе ST44. Демультиплексор 203 затем переходит к обработке на этапе ST45.

На этапе ST43, когда способность декодирования всех иерархии не предусмотрена, демультиплексор 203 демультиплексирует поток, где PID=PID А и выполняет разбор на этапе ST46. Демультиплексор 203 затем переходит к обработке на этапе ST45.

На этапе ST45, демультиплексор 203 считывает дескриптор HEVC (HEVC_descriptor) и дескриптор расширения масштабируемости (scalability_extension_descriptor) в целевом PID и получает информацию о наличии или отсутствии расширенного потока, типа масштабируемости, количестве потоков и идентификаторы, максимальное и минимальное значения temporal_id и декодер поддерживает уровень каждого уровня.

Далее, демультиплексор 203 соединяет кодированные потоки в качестве цели PID в один поток на основе DTS (PTS если нет DTS) информации, и также передает поток в буфер (cpb) 204 кодированного изображения, и уведомляет о DTS и PTS CPU 201 на этапе ST47. После обработки на этапе ST47, демультиплексор 203 прекращает обработку на этапе ST48.

Возвращаясь к фиг. 15, буфер (cpb) 204 кодированного изображения временно сохраняет видео поток (кодированный поток), извлеченный демультиплексором 203. Декодер 205 принимает кодированные данные изображения иерархии, указанной как иерархии для декодирования, из видеопотока, хранящегося в буфере 204 кодированного изображения. Декодер 205 затем декодирует принятые закодированные данные изображения каждого изображения в соответствии с таймингом декодирования этого изображения, и передает полученные данные в буфер (dpb) 206 декодированного изображения.

Здесь, для декодера 205 иерархия, которая должна быть декодирована, указывается посредством temporal_id из процессора 201. Указанная иерархия относится ко всем иерархиям в видеопотоке (кодированный поток), взятых демультиплексором 203, или к нескольким иерархиям на стороне низкой иерархии, и устанавливается посредством процессора 201 автоматически или устанавливаться в соответствии с операцией пользователя. Кроме того, тайминг декодирования задается для декодера 205 из процессора 201 на основании DTS (временной отметки декодирования). Следует отметить, что, когда декодер 205 декодирует кодированные данные изображения каждого изображения, декодер 205 считывает данные изображения опорного изображения из буфера 206 декодированных изображений для использования в случае необходимости.

Фиг. 22 показывает пример конфигурации декодера 205. Декодер 205 включает в себя блок 251 анализа временного ID, блок 252 выбора целевой иерархии и блок 253 декодирования. Блок 251 анализа временного ID считывает видеопоток (кодированный поток), хранящийся в буфере 204 кодированного изображения, и анализирует temporal_id, вставленный в заголовок блока NAL закодированных данных изображений в каждого изображения.

Блок 252 выбора целевой иерархии извлекает закодированные данные изображения иерархии, указанной как иерархия для декодирования, из видеопотока, считанного из буфера 204 кодированного изображения на основе результата анализа блока 251 анализа временного ID. Блок 253 декодирования декодирует кодированные данные изображения каждого изображения, которое извлекается в блоке 252 выбора целевой иерархии, в соответствии с таймингом декодирования последовательно и передает полученные данные в буфер (dpb) 206 декодированного изображения.

В этом случае, блок 253 декодирования анализирует VPS и SPS, извлекает величину спецификационного значения "sublayer_level_idc" битовой скорости каждого подуровня, например, и проверяет, можно ли выполнить декодирование в пределах возможностей декодирования или нет. Кроме того, в этом случае, блок 253 декодирования анализирует SEI, извлекает "initial_cpb_removal_time" и "cpb_removal_delay", например, и проверяет, выполняется ли декодирование в соответствии с таймингом, установленным процессором 201, или нет.

При декодировании среза, блок 252 декодирования получает из заголовка среза "ref_idx_l0_active (ref_idx_l1_active) информацию, представляющую собой информацию назначения предсказания направления времени, и предсказывает направление времени. Следует отметить, что декодированное изображение имеет индекс "short_term_ref_pic_set_idx" или "it_idx_sps", полученный из заголовка среза, и обрабатывается, как опорное изображение для другого изображения.

Возвращаясь к фиг. 15, буфер (dpb) 206 декодированного изображения временно хранит данные изображения каждого изображения, которые декодируются в декодере 205. Блок 207 постобработки выполняет обработку согласования частоты кадров данных изображения каждого изображения, последовательно считываемого в соответствии с таймингом отображения, из буфера (dpb) 206 декодированного изображения, с возможностью отображения. В этом случае, тайминг отображения задается процессором 201 на основании PTS (временной метки представления).

Например, когда частота кадров декодированных данных изображения каждого изображения составляет 120 кадров в секунду, и когда способность отображения обеспечивает 120 кадров в секунду, блок 207 постобработки передает данные декодированного изображения каждого изображения на дисплей, как есть. Кроме того, например, когда частота кадров данных декодированного изображения каждого изображения составляет 120 кадров в секунду, и когда способность дисплея равна 60 кадров в секунду, то блок 207 постобработки выполняет прореживание данных декодированного изображения каждого изображения таким образом, чтобы временное разрешение было равным ½ временной величины, и передает данные на дисплей в качестве данных изображения с 60 кадрами в секунду.

Кроме того, например, когда частота кадров данных декодированного изображения каждого изображения равна 60 кадров в секунду и возможность дисплея составляет 120 кадров в секунду, то блок 207 постобработки выполняет интерполяцию данных декодированного изображения каждого изображения таким, что временное разрешение по оси становится в раза больше, и передает данные на дисплей, как данные изображения с 120 кадров в секунду. Кроме того, например, когда частота кадров данных декодированного изображения каждого изображения равна 60 кадров в секунду, и когда способность дисплея составляет 60 кадров в секунду, блок 207 пост-обработки передает данные декодированного изображения каждого изображения на дисплей, как есть.

Фиг. 23 показывает пример конфигурации блока 207 постобработки. Этот пример имеет отношение к случаю, когда частота кадров декодированных данных изображения каждого изображения составляет 120 кадров в секунду или 60 кадров в секунду и возможность отображения равна 120 кадров в секунду или 60 кадров в секунду, как описано выше.

Блок 207 пост-обработки включает в себя блок 271 интерполяции, блок 272 субдискретизации и блок 273 переключения. Декодированные данные изображения для каждого изображения из буфера 206 декодированного изображения непосредственно поступают на вход блока 273 переключения, входные данные, поступающие в блок 273 переключения после того, как частота кадров увеличивается два раза, поступают в блок 271 интерполяции или в блок 273 переключения после того, как частота кадров составляет ½ величины в блоке 272 субдискретизации.

Блок 273 переключения получает информацию о выборе из процессора 201. Информация о выборе генерируется автоматически процессором 201, ссылаясь на возможность отображения или сгенерированную в соответствии с операцией пользователя. Блок 273 переключения избирательно выводит любой из входов на основании информации о выборе. Таким образом, частота кадров данных изображения каждого изображения последовательно считываются из буфера (dpb) 206 декодированного изображения в момент времени отображения, что сочетается с возможностью отображения.

Фиг. 24 показывает пример последовательности выполнения операций обработки декодера 205 и блока 207 постобработки. Декодер 205 и блок 207 постобработки начитают обработку на этапе ST51, и затем переходят к обработке на этапе ST52. На этапе ST52, декодер 205 считывает видеопоток в качестве мишени декодирования, хранящейся в буфере (cpb) 204 кодированного изображения, и выбирает изображение иерархии, указанной в качестве мишени декодирования, процессором 201 на основании temporal_id.

Далее, декодер 205 последовательно декодирует кодированные данные изображения каждого выбранного изображения в соответствии с таймингом декодирования, передает декодированные данные изображения каждого изображения в буфер (dpb) 206 декодированного изображения, и временно хранит данные изображения, декодированные на этапе ST53. Затем блок 207 постобработки считывает данные изображения каждого изображения из буфера (dpb) 206 декодированного изображения в соответствии с таймингом отображения на этапе ST54.

Затем блок 207 постобработки определяет, соответствует ли частота кадров считанных данных изображения каждого изображения с возможностью отображения или нет. Когда частота кадров не соответствует с возможностью отображения, то блок 207 постобработки приводит в соответствие частоту кадров с возможностью отображения, которые должны передаваться на дисплей на ST56, и затем завершает обработку на этапе ST57. С другой стороны, когда частота кадров соответствует возможности отображения, блок 207 постобработки передает данные изображения на дисплей без изменения частоты кадров на этапе ST58 и затем завершает обработку на этапе ST57.

Далее будет приведено кратное описание функционирования приемного устройства 200, показанного на фиг. 15. В блоке 202 приема, RF-модулированный сигнал, принятый приемной антенной, демодулируется, и транспортный поток TS получается. Транспортный поток TS передается на демультиплексор 203. В демультиплексоре 203 закодированные данные изображения группы иерархии, соответствующей возможности декодирования (декодирование временного уровня), избирательно извлекаются из транспортного потока TS, переданного в буфер (cpb) 204 кодированного изображения, и временно сохраняются.

В декодере 205 закодированные данные изображения иерархии, указанной как иерархии, которая должна быть декодирована, извлекаются из видеопотока, сохраненного в буфере 204 кодированного изображения. В декодере 205, извлеченные кодированные данные изображения каждого изображения затем декодируется в соответствии с таймингом декодирования этого изображения, переданного в буфер (dpb) 206 декодированного изображения, и временно сохраняются. В этом случае, когда данные кодированного изображения для каждого изображения декодируются, данные изображения опорного изображения считываются из буфера 206 декодированного изображения ля использования в качестве необходимого.

Данные изображения каждого изображения последовательно считываются из буфера (dpb) 206 декодированного изображения в момент времени отображения, передаются в блок 207 постобработки. В блоке 207 постобработки выполняется процесс интерполяции или субдискретизации для согласования частоты кадров данных изображения каждого изображения с возможностью отображения. Данные изображения для каждого изображения, обрабатываемые в блоке 207 постобработки, поступают на дисплей, и осуществляется отображение движущегося изображения с помощью данных изображения.

Как описано выше, в приемо-передающей системе 10, показанной на фиг. 1, на стороне передачи, информация идентификации для идентификации группы иерархии, к которой принадлежат кодированные данные изображения каждого изображения, включенные в состав видеопотока, вставляется в уровень (заголовок пакета PES) этого видеопотока. Поэтому, например, на приемной стороне, используя эту информацию идентификации, легко выполнить селективное декодирование кодированных данных изображения иерархии, равной или ниже, чем заданная иерархия, соответствующая возможности декодирования.

Кроме того, в приемо-передающей системе 10, показанной на фиг. 1, на стороне передачи, дескриптор расширения масштабируемости (scalability_extension_descriptor) и т.п., вставляются в уровень транспортного потока TS. Поэтому, например, на приемной стороне, можно легко получить информацию об иерархии при иерархическом кодировании, информацию о конфигурации видеопотока, включенные в состав транспортного потока TS, и т.п., и выполнить соответствующую обработку декодирования.

Кроме того, в приемно-передающей системе 10, показанной на фиг. 1, на приемной стороне, кодируемые данные изображения иерархии, равной или ниже, чем заданная иерархия, соответствующая возможности декодирования (декодирование временного уровня), избирательно поступают в буфер 204 кодированного изображения из принимаемого потока видеоданных и затем декодируются. Таким образом, например, можно выполнить соответствующую обработку декодирования, соответствующее функции декодирования.

Дополнительно, в приемо-передающей системе 10, показанной на фиг. 1, на приемной стороне, выполняется функция выборочной перезаписи временной метки декодирования кодированных данных изображения каждого изображения в буфере 204 кодированного изображения и регулировки интервалов декодирования изображений низкой иерархии. Таким образом, например, обеспечивается реалистичное декодирование, даже когда декодер 205 имеет низкую способность декодирования.

Дополнительно, в приемо-передающей системе 10, показанной на фиг. 1, на приемной стороне, частота кадров декодированных данных изображения каждого изображения сочетается с возможностью отображения в блоке 207 постобработки. Поэтому, например, данные изображения с частотой кадров совпадающие с высокой способностью дисплея, могут быть получены, даже когда способность декодирования является низкой.

2. Модифицированный пример

Следует отметить, что описанный выше вариант осуществления показал пример, в котором идентификационная информация для идентификации группы иерархии, к которой принадлежат кодированные данные изображения, включенные в состав видеопотока, среди определенного количества иерархических групп, вставляется в заголовок пакета PES (PES заголовок). Однако позиция, в которой эта информация идентификации вставлена, не ограничивается этим.

Например, мультиплексор 104 (см. фиг. 2) может вставить эту информацию идентификации в поле адаптации пакета TS, имеющий поле адаптации. Например, когда несколько иерархий делятся на два группы низкой иерархии и высокой иерархии, мультиплексор 104 использует 1-битное поле известного индикатора приоритета элементарного потока (elementary_stream_priority_indicator), расположенный в поле адаптации.

Когда пакет PES, включающий в себя полезную нагрузку кодированных данных изображения группы иерархии на стороне низкой иерархии, входит в состав полезной нагрузки последующего пакета TS, то 1-битовое поле установлено на значение "1", то есть, установлено, чтобы иметь высокую степень приоритета. С другой стороны, когда пакет PES, включающий в себя полезную нагрузку кодируемых данных изображения группы иерархии на стороне низкой иерархии, входит в состав полезной нагрузки последующего пакета TS, то 1-битовое поле установлено на "0", то есть, установлено на то, как имеет низкую степень приоритета.

Фиг. 25 показывает пример компоновки поля адаптации. Это пример, в котором несколько иерархий делятся на две группы низкой иерархии и высокой иерархии, и используется 1-битовое поле индикатора приоритета элементарного потока (elementary_stream_priority_indicator).

В примере, показанном на чертеже, пакет TS, включающий в себя поле адаптации, расположен непосредственно перед каждой группой, включающей в себя предварительно определенное число пакетов TS, пакеты TS отдельно включают в себя пакет PES, включающий в себя закодированные данные изображения одного изображения в полезной нагрузке. В этом случае, когда одно изображение является изображением группы иерархии на стороне низкой иерархии, 1-битное поле индикатора приоритета элементарного потока устанавливается на "1". С другой стороны, когда одно изображение является изображением группы иерархии на стороне высокой иерархии, 1-битное поле индикатора приоритета элементарного потока устанавливается на "0".

Как показано на фиг. 25, размещение пакета TS, включающий в себя поле адаптации, позволяет приемной стороне легко определить группу иерархии, к которой принадлежат закодированные данные изображения, для закодированных данных каждого изображения, включенных в состав видеопотока. Следует отметить, что пример размещения, показанный на фиг. 25, иллюстрирует, что пакет TS, включающий в себя поле адаптации, выполнен на покадровой основе. Тем не менее, каждый раз, когда группа иерархии к которой принадлежит изображение, изменяется, пакет TS, включающий в себя поле адаптации, может быть размещен непосредственно впереди.

Фиг. 26 показывает пример конфигурации мультиплексора 104А передающего устройства 100, когда информация идентификации группы иерархии вставлена в поле адаптации, как описано выше. На фиг. 26, части, соответствующие приведенным на фиг. 12, обозначены одинаковыми ссылочными позициями, и их подробное описание будет опущено. Мультиплексор 104А включает в себя блок 146 установки приоритета поля адаптации вместо блока 141 генерирования приоритета PES мультиплексора 104 на фиг. 12.

В блок 146 установки приоритета поступает информация о количестве иерархий (количество уровней) и число потоков (число потоков) из процессора 101. Блок 146 установки приоритета генерирует информацию степени приоритета каждой иерархической группы, когда несколько иерархий, представленные количеством иерархий, разделено на заранее заданное количество, то есть две или более групп иерархии. Например, когда множество иерархий делятся на две части, блок 146 установки приоритета генерирует значение, которое будет вставлено в 1-битовое поле индикатора приоритета элементарного потока ("1" для группы низкой иерархии, "0" для группы высокой иерархии).

Информация степени приоритета каждой иерархической группы, которая генерируется в блоке 146 установки приоритета, подается в блок 145 пакетирования для доставки данных. Блок 145 пакетирования для доставки данных формирует пакет TS, включающий в себя поле адаптации непосредственно перед каждой группой, включающий в себя заранее определенное количество пакетов TS, TS пакеты отдельно включают в себя пакет PES, включающий в себя кодируемые данные изображения одного изображения в полезной нагрузке. В таком случае, блок 145 пакетирования для доставки данных затем вставляет информацию идентификации, как информацию степени приоритета, соответствующей иерархической группы, к которой принадлежит изображение, в поле адаптации.

Фиг. 27 показывает пример конфигурации транспортного потока TS, когда информация идентификации группы иерархии вставлена в поле адаптации, как описано выше. Этот пример конфигурации, по существу, является таким же, как пример конфигурации, описанный выше на фиг. 14. В этом примере конфигурации, существует пакет TS, включающий в себя поле адаптации, и идентификационная информация для идентификации группы иерархии, к которой принадлежит каждое изображение, вставляется в поле адаптации. Например, когда несколько иерархий делятся на две группы низкой иерархии и высокой иерархии, то используется 1-битовое поле индикатора приоритета элементарного потока (elementary_stream_priority_indicator).

Фиг. 28 показывает пример конфигурации демультиплексора 203А приемного устройства 200, когда информация идентификации группы иерархии вставлена в поле адаптации, как описано выше. На фиг. 28, участки, соответствующие приведенным на фиг. 16, обозначены одинаковыми ссылочными позициями, и их подробное описание будет опущено. Демультиплексор 203А включает в себя блок 242 извлечения информации идентификации вместо блока 239 извлечения информации идентификации демультиплексора 203, показанного на фиг. 16.

Блок 242 извлечения информации идентификации извлекает информацию идентификации из поля адаптации и передает информацию идентификации в блок 241 конфигурации потока. Например, когда множество иерархий делятся на две группы низкой иерархии и высокой иерархии, то блок 242 извлечения информации идентификации извлекает информацию степени приоритета 1-битового поля "elementary_stream_priority_indicator" в поле адаптации, и передает информацию степени приоритета в блок 241 конфигурации потока.

Блок 241 конфигурации поток селективно извлекает закодированные данные изображения группы иерархии, соответствующей возможности декодирования (декодирование временного уровня), из закодированных данных изображений каждой иерархии, принятых в блоке 240 извлечения полезной нагрузки PES, и передает данные кодированного изображения в буфер (cpb) 204 кодированного изображения. В этом случае, блок 241 конфигурации потока ссылается на информацию иерархии и информацию конфигурации потока, полученную в блоке 235 извлечения PSI таблицы/дескриптора, идентификационную информацию (информацию степеней приоритета), извлекаемую в блоке 242 извлечение информации идентификации и тому подобное.

Кроме того, в варианте осуществления, описанном выше, приемо-передающая система 10, образованная посредством передающего устройства 100 и приемного устройства 200 была описана, но конфигурация приемо-передающей системы, к которой данная технология применима, этим не ограничивается. Например, может быть обеспечена следующая конфигурация: часть приемного устройства 200 может быть приставкой и монитором, соединенные цифровым интерфейсом, таким как (HDMI (мультимедийный интерфейс высокой четкости)). Следует отметить, что "HDMI "является зарегистрированной торговой маркой.

Кроме того, в варианте осуществления, описанном выше, пример, в котором был описан контейнер, который представляет собой транспортный поток (MPEG-2 TS). Тем не менее, настоящее изобретение так же применимо к системе, имеющей конфигурацию с использованием сети, такой как интернет, для распространения информации до приемного терминала. При распространении информации через интернет, во многих случаях распространение осуществляется в МР4 или контейнере любого другого формата. В частности, контейнеры различных форматов, таких как транспортный поток (MPEG-2 TS), принятых в стандарте цифрового вещания, и МР4, используемый в распространении информации через интернет, применяются как контейнер.

Например, фиг. 29 показывает пример конфигурации МР4 потока. В потоке МР4, существуют следующие элементы "moov", "moof, "mdat" и т.п.. В элементе "mdat", как треки, видео элементарный поток "track1: video ES1", как кодированный поток видео и элементарный аудиопоток "track1: audio ES1" в качестве закодированного потока аудио существуют.

Кроме того, в элементах "moof, "mfhd" (заголовок фрагмента фильма) существует в виде части заголовка, и "фрагмент трека", соответствующий каждому треку, существует как часть данных из него. В "track1 fragment (video)", соответствующий элементарному видеопотоку. "track1: video ES1", "независимые образцы и образцы удаления" существуют. В "независимых образцах и образцах удаления", вставлен элемент "SampleDependencyTypeBox", соответствующих каждому изображению.

В этом элементе, идентификация информация для идентификации группы иерархии, к которой принадлежат кодированные данные изображения каждого изображения, может быть вставлена. Например, когда несколько иерархий делятся на две группы иерархии, а именно, иерархии верхнего уровня и другой иерархии более низкого уровня, идентификационная информация может быть вставлена с помощью 2-битового поля "sample_depends_on" и 2-битового поля "sample_is_depended_on".

Фиг. 30 показывает пример структуры (синтаксис) "SampleDependencyTypeBox". Дополнительно, фиг. 31 показывает детали (семантику) основной информации в структурном примере. В этом случае "1" установлен на "sample_depends_on" таким образом, чтобы указать, что он используется для ссылки на другое изображение и не является I-кадром, и "2" установлен для "sample_is_depended_on" таким образом, чтобы указать, что отсутствует ссылка на другое изображение. Таким образом, можно идентифицировать изображение, принадлежащее к группе наивысшей иерархии. Кроме того, в других ситуациях, можно определить изображение, как принадлежащее к группе иерархии.

Следует отметить, что использование вновь определенного элемента "SampleScalablePriorityBox" также может быть предусмотрено вместо использования элемента "SampleDependencyTypeBox". Фиг. 32 показывает пример структуры (синтаксис) "SampleScalablePriorityBox". Кроме того, фиг. 33 показывает детали (семантику) основной информации в структурном примере.

В этом случае, когда несколько иерархий делятся на два иерархические группы, а именно, группу нижней иерархии и группу высокой иерархии, идентификационная информация вставляется с помощью 2-битового поля "base_and_priority". Другими словами, например, когда "1" установлена для "base_and_priority", то можно идентифицировать изображение, имеющее низкую степень приоритета и принадлежащее к группе высокой иерархии. С другой стороны, например, когда "2" установлено для "base_and_priority", можно идентифицировать изображение, имеющее высокую степень приоритета и принадлежащее к группе низкой иерархии.

Кроме того, настоящее изобретение может иметь следующие конфигурации.

(1) Передающее устройство включает в себя:

блок кодирования изображения, который сортирует данные изображения изображений, составляющие данные движущегося изображения, на множество иерархий, кодирует данные изображения изображений каждой из отсортированных иерархий, и генерирует видеоданные, включающие в себя кодированные данные изображения изображений каждой из иерархий;

блок передачи, который передает контейнер с заданным форматом, включающий в себя сгенерированные видеоданные; и

блок вставки информации идентификации, который разделяет множество иерархий на заданное количество групп иерархий, заданное количество может быть две или более, и вставляет информацию идентификации для идентификации группы иерархии, к которой принадлежат кодированные данные изображения каждого изображения, включенного в состав видеоданных, в пакет, как контейнер видеоданных.

(2) Передающее устройство по п. 1, в котором

информация идентификации представляет собой информацию о степени приоритета, которая устанавливается для повышения приоритета группы иерархии на стороне низкой иерархии.

(3) Передающее устройство по п. 1, в котором

идентификационная информация вставляется в заголовок PES пакета, включающий в себя кодированные данные изображения для каждого изображения в полезной нагрузке.

(4) Передающее устройство по п. 3, в котором

идентификационная информация вставляется, используя поле PES приоритета заголовка.

(5) Передающее устройство по п. 1, в котором

идентификационная информация вставляется в поле адаптации TS пакета, включающий в себя поле адаптации.

(6) Передающее устройство по п. 5, в котором

идентификационная информация вставляется, используя поле ES индикатора приоритета поля адаптации.

(7) Передающее устройство по п. 1, в котором

идентификационная информация вставляется в блок заголовка, относящийся к треку соответствующего изображения.

(8) Передающее устройство по любому из пунктов с 1 по 7, в котором

блок кодирования изображений

генерирует один поток видео, включающий в себя кодированные данные изображения изображений каждой из иерархий, или заранее заданное количество элементов видеоданных, каждый из которых включает в себя кодированные данные изображения изображений каждой из иерархий, и

дополнительно включает в себя блок вставки информацию конфигурации, который вставляет информацию о конфигурации видеопотока, включенный в состав контейнера на уровне контейнера.

(9) Способ передачи включает в себя:

этап кодирования изображения, на котором осуществляется сортировка данных изображения изображений, составляющих данные движущегося изображения, на множество иерархий, кодирование данных изображения изображений каждой из отсортированных иерархий, и генерирование видеоданных, включающие в себя кодированные данные изображения изображений каждой из иерархий;

этап передачи для передачи посредством блока передачи контейнера заданного формата, включающий в себя сгенерированные видеоданные; и

этап вставки идентификационной информации, на котором осуществляется деление множества иерархий на заданное количество групп иерархий, заданное количество может быть две или более, и вставку информации идентификации для идентификации групп иерархий, к которой принадлежат кодированные данные изображения каждого изображения, включенного в состав видеоданных, в пакет, как контейнер видеоданных.

(10) Приемное устройство включает в себя:

блок приема, который принимает контейнер заданного формата, включающий в себя видеоданные, включающие в себя кодированные данные изображения изображений каждой из иерархий, кодированные данные изображения, полученные путем сортировки данных изображения изображений, составляющих данные движущегося изображения, на множество иерархий и кодирования данных изображения; и

блок декодирования изображения, который избирательно принимает в буфер кодированных данных изображения иерархии равной или ниже, чем заданной иерархии, соответствующей возможности декодирования, из видеоданных, включенных в состав принятого контейнера, декодирует кодированные данные изображения каждого изображения, принятого в буфер, и получает данные изображения иерархии, равной или ниже, чем заданной иерархии.

(11) Приемное устройство по п. 10, в котором

множество иерархий разделяется на заранее заданное количество иерархических групп, заданное количество может быть две или более, и идентификационная информация для идентификации группы иерархии, к которой принадлежат кодированные данные изображения для каждого изображения, включенного в состав видеоданных, вставляется в пакет, как контейнер видеоданных, и

блок декодирования изображения принимает в буфер кодированные данные изображения заданной группы иерархии, соответствующей возможности декодирования, и декодирует кодированные данные изображения на основании информации идентификации.

(12) Приемное устройство по п. 11, в котором

идентификационная информация вставляется в заголовок PES пакета, включающий в себя кодированные данные изображения для каждого изображения в полезной нагрузке.

(13) Приемное устройство по п. 11, в котором

идентификационная информация вставляется в поле адаптации TS пакета, включающий в себя поле адаптации.

(14) Приемное устройство по п. 11, в котором

идентификационная информация вставляется в блок заголовка, относящегося к треку соответствующего изображения.

(15) Приемное устройство по п. 10, в котором

множество иерархий разделяется на заранее заданное количество иерархических групп, заданное количество может быть две или более, и принятый контейнер включает в себя предварительно определенное количество видеопотоков, соответственно, включающие в себя кодированные данные изображения изображений заранее определенного количества иерархических групп, и

блок декодирования изображения принимает в буфер кодированные данные изображения заданной группы иерархии, соответствующей возможности декодирования, и декодирует кодированные данные изображения на основании информации идентификации потока.

(16) Приемное устройство по п. 15, в котором

блок декодирования изображения преобразовывает, когда кодированные данные изображения определенной группы иерархии включены в состав множества видеопотоков, кодированные данные изображения каждого изображения в один поток на основании информации синхронизации декодирования и принимает поток в буфер.

(17) Приемное устройство по любому из пунктов с 10 по 16, в котором

блок декодирования изображения имеет функцию перезаписи временной метки декодирования кодированных данных изображения каждого изображения, избирательно полученного в буфер, и корректировки интервалов декодирования изображений низкой иерархии.

(18) Приемное устройство по любому из пунктов с 10 по 17, дополнительно включает в себя блок постобработки, который приводит в соответствие частоту кадров данных изображения каждого изображения, полученного в блоке декодирования изображения, с возможностью отображения.

(19) Способ приема включает в себя:

этап приема, на котором блок приема принимает контейнер заданного формата, включающий в себя видеоданные, включающие в себя кодированные данные изображения изображений каждой из иерархий, кодированные данные изображения получают путем сортировки данных изображения изображений, составляющих данные движущегося изображения, на множество иерархий, и кодирование данных изображения; и

этап декодирования изображения, на котором осуществляется выборочное поступление в буфер кодированных данных изображения иерархии равной или ниже, чем заданной иерархии, соответствующей возможности декодирования, из видеоданных, содержащихся в принятом контейнере, декодирования кодированных данных изображения каждого изображения, поступившего в буфер, и получение данных изображения иерархии, равной или ниже, чем заданной иерархии.

Основным признаком настоящего изобретения является вставка информации идентификации для идентификации группы иерархии, к которой принадлежат кодированные данные изображения каждого изображения, включенного в состав видеоданных, в пакет, как контейнер видеоданных, и, таким образом, можно обеспечить приемной стороне возможность избирательно декодировать кодированные данные изображения иерархии, равной или ниже, чем заданной иерархии, соответствующей возможности декодирования, используя информацию идентификации (см. фиг. 12).

Описание ссылочных позиций

10 приемо-передающая система

100 передающее устройство

101 процессор

102 кодер

103 буфер (cpb) кодированного изображения

104,104А мультиплексор

105 блок передачи

141 блок генерации PES приоритета

142 секционный блок кодирования

с 143-1 по 143-N блок PES пакетирования

144 блок переключения

145 транспортный блок пакетирования

146 блок установки приоритета поля адаптации

200 приемное устройство

201 процессор

202 блок приема

203 демультиплексор

204 буфер (cpb) кодированного изображения

205 декодер

206 буфер (dpb) декодированного изображения

207 блок постобработки

231 блок извлечения поля адаптации TS

232 блок извлечения временной информации

233 блок извлечения полезной нагрузки TS

234 блок извлечения секционной информации

235 блок извлечения PSI таблицы/дескриптора

236 блок извлечения PES пакета

237 блок извлечения PES заголовка

238 блок извлечения временной отметки

239 блок извлечения информации идентификации

240 блок извлечения PES полезной нагрузки

241 блок конфигурации потока

242 блок извлечения информации идентификации

251 блок анализа временного ID

252 блок выбора целевой иерархии

253 блок декодирования

271 блок интерполяции

272 блок субдискретизации

273 блок коммутации