27.05.2015
216.013.4f49

КОДИРОВАНИЕ ОПОРНОЙ КАРТИНКИ ДЛЯ НАБОРА ОПОРНЫХ КАРТИНОК

Вид РИД

Изобретение

Юридическая информация Свернуть Развернуть
№ охранного документа
0002551815
Дата охранного документа
27.05.2015
Краткое описание РИД Свернуть Развернуть
Аннотация: Изобретение относится к технологии кодирования видео. Техническим результатом является повышение эффективности кодирования изображений за счет обеспечения упрошенной инициализации списка опорных картинок. Предложен способ для кодирования видеоданных. Способ включает в себя этап, на котором кодируют элементы синтаксиса набора параметров, которые идентифицируют потенциальные долгосрочные опорные картинки, причем одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки, и одна или более потенциальных долгосрочных опорных картинок не принадлежат к набору опорных картинок текущей картинки. Набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Далее, согласно способу, кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки. 4 н. и 33 з.п. ф-лы, 10 ил., 8 табл.
Реферат Свернуть Развернуть

По данной заявке испрашивается приоритет:

Предварительной Заявки США №61/538,787, поданной 23 сентября 2011г.;

Предварительной Патентной Заявки США №61/539,433, поданной 26 сентября 2011г.; и

Предварительной Патентной Заявки США №61/542,034, поданной 30 сентября 2011г., полное содержимое каждой из которых, во всей своей полноте включено в настоящее описание посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к кодированию видео и, более конкретно, к методам для кодирования видеоданных.

УРОВЕНЬ ТЕХНИКИ

Возможности цифрового видео могут быть включены в широкий диапазон устройств, включая цифровые телевизоры, системы цифрового непосредственного вещания, системы беспроводного вещания, персональные цифровые помощники (PDA), компьютеры класса лэптоп или настольные компьютеры, планшетные компьютеры, устройства для чтения электронных книг, цифровые камеры, цифровые устройства записи, цифровые мультимедийные проигрыватели, видеоигровые устройства, видеоигровые консоли, сотовые или спутниковые радиотелефоны, так называемые смартфоны, устройства проведения видео телеконференций, устройства потокового видео, и подобное. Устройства цифрового видео реализуют методы сжатия видео, такие как те, что описаны в стандартах, которые определяются стандартами MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, Расширенное Кодирование Видео (AVC), стандартом Высокоэффективного Кодирования Видео (HEVC), который в настоящий момент находится на стадии разработки, и расширениях таких стандартов. Видеоустройства могут передавать, принимать кодировать, декодировать, и/или хранить цифровую видеоинформацию более эффективно посредством реализации таких методов сжатия видео.

Методы сжатия видео выполняют пространственное (внутри картинки, интра-) предсказание и/или временное (между картинками, интра-) предсказание для сокращения или удаления избыточности, свойственной видеопоследовательностям. Применительно к основанному на блоках кодированию видео, видео слайс (т.е., видео картинка или часть видео картинки) может быть разбит на видео блоки, которые также могут именоваться как древовидные блоки, древовидные блоки кодирования (CTB), древовидные единицы кодирования (CTU), единицы кодирования (CU) и/или узлы кодирования. Видео блоки в интер-кодированном (I) слайсе (сегменте) картинки кодируются при помощи пространственного предсказания по отношению к опорным выборкам в соседних блоках в той же самой картинке. Видео блоки в интра-кодированном (P или B) слайсе картинки могут использовать пространственное предсказание по отношению к опорным выборкам в соседних блоках в той же самой картинке или временное предсказание по отношению к опорным выборкам в других опорных картинках. Картинки могут именоваться кадрами, и опорные картинки могут именоваться опорными кадрами.

Пространственное или временное предсказание дает предсказывающий блок для блока, который должен быть закодирован. Остаточные данные представляют собой пиксельные разности между исходным блоком, который должен быть закодирован, и предсказывающим блоком. Интер-кодированный блок кодируется в соответствии с вектором движения, который указывает на блок в опорных выборках, образующий предсказывающий блок, и остаточными данными, указывающими разность между кодируемым блоком и предсказывающим блоком. Интра-кодированный блок кодируется в соответствии с режимом интра-кодирования и остаточными данными. Для дальнейшего сжатия, остаточные данные могут быть преобразованы из пиксельной области в область преобразования, что дает остаточные коэффициенты преобразования, которые затем, могут быть подвергнуты квантованию. Квантованные коэффициенты преобразования, исходно организованные в двумерном массиве, могут быть просканированы для создания одномерного вектора коэффициентов преобразования, и может быть применено энтропийное кодирование для достижения еще большего сжатия.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В целом, данное изобретение описывает методы, которые относятся к получению набора опорных картинок для использования при кодировании видео. Например, набор опорных картинок может составлять сочетание множества подмножеств опорных картинок. Каждое из подмножеств опорных картинок может идентифицировать множество потенциальных опорных картинок, но меньше, чем все потенциальные опорные картинки. В примерных методах, описываемых в данном изобретении, компонент кодирования видео (кодер или декодер) может строить несколько списков, при этом каждый включает в себя идентификаторы подмножества потенциальных опорных картинок. Из этих нескольких списков, компонент кодирования видео может строить множество подмножеств опорных картинок, что приводит к тому, что компонент кодирования видео получает набор опорных картинок.

В дополнение к методам, которые относятся к получению набора опорных картинок, данное изобретение описывает упрощенные методы инициализации списка опорных картинок. Такая инициализация списка опорных картинок может снять потребность в переупорядочение опорных картинок. Например, если не требуется модифицирование списка опорных картинок, тогда исходные списки опорных картинок образуют итоговые списки опорных картинок, и дальнейшее переупорядочение может не потребоваться. Методы также могут быть направлены на построение списка опорных картинок, таким образом, при котором компонент кодирования видео неоднократно добавляет опорные картинки в список опорных картинок до тех пор, пока количество записей в списке опорных картинок не станет равно максимальному разрешенному количеству записей.

В некоторых примерах, методы направлены на модифицирование списка опорных картинок. Например, компонент кодирования видео может модифицировать исходный список опорных картинок посредством обращения к одному или более из подмножеств опорных картинок, и включения одной или более картинок из подмножества опорных картинок в список опорных картинок после построения исходного списка опорных картинок.

В некоторых примерах, компонент кодирования видео может выполнять управление буфером декодированных картинок (DPB). В этих примерах, компонент кодирования видео может удалять декодированные картинки из DPB, если декодированная картинка не принадлежит к набору опорных картинок. В некоторых случаях, компонент кодирования видео может удалять декодированную картинку до кодирования текущей картинки.

В одном примере, изобретение описывает способ для кодирования видеоданных, который включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; и кодируют текущую картинку на основании множества подмножеств опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, который выполнен с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; и кодирования текущей картинки на основании множества подмножеств опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации, с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных, кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; и кодировать текущую картинку на основании множества подмножеств опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство, для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок, и средство для кодирования текущей картинки на основании множества подмножеств опорных картинок.

В одном примере, изобретение включает в себя способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавляют опорные картинки из первого подмножества из множества подмножеств опорных картинок, затем опорные картинки из второго подмножества из множества подмножеств опорных картинок и затем опорные картинки из третьего подмножества из множества подмножеств опорных картинок в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и кодируют текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавления опорных картинок из первого подмножества из множества подмножеств опорных картинок, затем опорных картинок из второго подмножества из множества подмножеств опорных картинок и затем опорных картинок из третьего подмножества из множества подмножеств опорных картинок в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и кодирования текущей картинки на основании списка опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации, с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавлять опорные картинки из первого подмножества из множества подмножеств опорных картинок, затем опорные картинки из второго подмножества из множества подмножеств опорных картинок и затем опорные картинки из третьего подмножества из множества подмножеств опорных картинок, в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и кодировать текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; средство для добавления опорных картинок из первого подмножества из множества подмножеств опорных картинок, затем опорных картинок из второго подмножества из множества подмножеств опорных картинок и затем опорных картинок из третьего подмножества из множества подмножеств опорных картинок в список опорных картинок, пока количество записей списка опорных картинок не больше максимального количества разрешенных записей опорного списка; и средство для кодирования текущей картинки на основании списка опорных картинок.

В одном примере, изобретение включает в себя способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавляют опорные картинки из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; определяют, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то неоднократно повторно добавляют одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок, и кодируют текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавления опорных картинок из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; определения, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то неоднократно повторного добавления одной или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок; и кодирования текущей картинки на основании списка опорных картинок.

В одном пример, изобретение описывает машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; добавлять опорные картинки из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; определять, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то неоднократно повторно добавлять одну или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок; и кодировать текущую картинку на основании списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; средство для добавления опорных картинок из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок; средство для определения, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок; когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, то средство для неоднократного повторного добавления одной или более опорных картинок, по меньшей мере, из одного из подмножеств опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок; и средство для кодирования текущей картинки на основании списка опорных картинок.

В одном примере, изобретение описывает способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: строят множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; строят исходный список опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, идентифицируют опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок; и добавляют идентифицированную опорную картинку в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Способ дополнительно включает в себя этап, на котором кодируют текущую картинку на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; построения исходного списка опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, идентификации опорной картинки, по меньшей мере, в одном из построенных подмножеств опорных картинок, и добавления идентифицированной опорной картинки в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Компонент кодирования видео также выполнен с возможностью кодирования текущей картинки на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации, с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных, кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: строить множество подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; строить исходный список опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, идентифицировать опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок, и добавить идентифицированную опорную картинку в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Инструкции также предписывают процессору кодировать текущую картинку на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для построения множества подмножеств опорных картинок, так что каждое идентифицирует ноль или больше опорных картинок набора опорных картинок; средство для построения исходного списка опорных картинок на основании построенных подмножеств опорных картинок; и когда требуется модифицирование опорной картинки, средство для идентификации опорной картинки, по меньшей мере, в одном из построенных подмножеств опорных картинок, и средство для добавления идентифицированной опорной картинки в текущую запись исходной опорной картинки, для построения модифицированного списка опорных картинок. Устройство также включает в себя средство для кодирования текущей картинки на основании модифицированного списка опорных картинок.

В одном примере, изобретение описывает способ для кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: получают набор опорных картинок на основании закодированной информации; определяют, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, удаляют декодированную картинку из DPB, и вслед за удалением декодированной картинки, кодируют текущую картинку.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможность кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: получения набора опорных картинок на основании закодированной информации; определения, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, удаления декодированной картинки из DPB, и вслед за удалением декодированной картинки, кодирования текущей картинки.

В одном примере, изобретение описывает машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видео кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: получать набор опорных картинок на основании закодированной информации; определять, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, удалять декодированную картинку из DPB, и вслед за удалением декодированной картинки, кодировать текущую картинку.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. В данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для получения набора опорных картинок на основании закодированной информации; средство для определения, является ли декодированная картинка, хранящаяся в буфере декодированных картинок (DPB), той, что не требуется для вывода, и той, что не идентифицирована в наборе опорных картинок; когда декодированная картинка не требуется для вывода и не идентифицирована в наборе опорных картинок, средство для удаления декодированной картинки из DPB, и вслед за удалением декодированной картинки, средство для кодирования текущей картинки.

В одном примере, изобретение описывает способ кодирования видеоданных, при этом способ включает в себя этап, на котором кодируют элементы синтаксиса, указывающие потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Способ также включает в себя этапы, на которых: кодируют элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и строят, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя компонент кодирования видео, выполненный с возможностью кодирования элементов синтаксиса, указывающих потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Компонент кодирования видео также выполнен с возможностью: кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

В одном примере, изобретение описывает машиночитаемый носитель информации с хранящимися на нем инструкциями, которые при исполнении, предписывают процессору устройства для кодирования видеоданных кодировать элементы синтаксиса, указывающие потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Инструкции также предписывают процессору: кодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и строить, по меньшей мере, одно из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

В одном примере, изобретение описывает устройство для кодирования видеоданных. Устройство включает в себя средство для кодирования элементов синтаксиса, указывающих потенциальные долгосрочные опорные изображения, идентифицированные в наборе параметров. В данном примере, одна или более потенциальных долгосрочных опорных картинок принадлежат к набору опорных картинок текущей картинки. Также, в данном примере, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Устройство также включает в себя: средство для кодирования элементов синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки; и средство для построения, по меньшей мере, одного из множества подмножеств опорных картинок на основании указания того, какие потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. В данном примере, множество подмножеств опорных картинок образует набор опорных картинок.

Подробности одного или более примеров, излагаются ниже в сопроводительных чертежах и описании. Прочие признаки, цели, и преимущества станут очевидны из описания и чертежей, и из формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 является структурной схемой, иллюстрирующей пример системы кодирования и декодирования видео, которая может использовать методы, описанные в данном изобретении.

Фиг. 2 является концептуальной схемой, иллюстрирующей примерную видеопоследовательность, которая включает в себя множество картинок, которые кодируются и передаются.

Фиг. 3 является структурной схемой, иллюстрирующей примерный кодер видео, который может реализовывать методы, описываемые в данном изобретении.

Фиг. 4 является структурной схемой, иллюстрирующей примерный декодер видео, который может реализовывать методы, описанные в данном изобретении.

Фиг. 5 является блок-схемой, иллюстрирующей примерную операцию получения набора опорных картинок.

Фиг. 6 является блок-схемой, иллюстрирующей примерную операцию построения списка опорных картинок.

Фиг. 7 является блок-схемой, иллюстрирующей другую примерную операцию построения списка опорных картинок.

Фиг. 8 является блок-схемой, иллюстрирующей примерную операцию модифицирования исходного списка опорных картинок.

Фиг. 9 является блок-схемой, иллюстрирующей примерную операцию удаления декодированной картинки.

Фиг. 10 является блок-схемой, иллюстрирующей примерную операцию определения того, какая из долгосрочных опорных картинок принадлежит к набору опорных картинок текущей картинки.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Методы данного изобретения главным образом направлены на управление опорными картинками, которые используются для интер-предсказания. Например, компонент кодирования видео (например, кодер видео или декодер видео) включает в себя буфер декодированных картинок (DPB). DPB хранит декодированные картинки, включая опорные картинки. Опорные картинки являются картинками, которые могут потенциально быть использованы для интер-предсказания картинки. Другими словами, компонент кодирования видео может предсказывать картинку, во время кодирования (кодирования или декодирования) этой картинки, на основании одной или более опорных картинок, хранящихся в DPB.

Для эффективного использования DPB, может быть задан процесс управления DPB, такой как процесс сохранения декодированных картинок в DPB, процесс маркирования опорных картинок, процесс вывода и удаления декодированных картинок из DPB, и т.д. В целом, в некоторых настоящих и разрабатываемых стандартах кодирования видео, управление DPB может включать в себя один или более из следующих аспектов: идентификацию картинки и идентификацию опорной картинки; построение списка опорных картинок; маркирование опорной картинки; вывод картинки из DPB; вставку картинки в DPB; и удаление картинки из DPB.

Чтобы помочь с пониманием, нижеследующее предоставляет краткое описание того, каким образом может происходить маркирование опорной картинки и построение списка опорных картинок в соответствии с некоторыми стандартами кодирования видео. Некоторые из описываемых в данном изобретении методов могут решать некоторые проблемы, которые могут присутствовать при маркировании опорной картинки и построении списка опорных картинок.

Применительно к маркированию опорной картинки, максимальное количество, обозначенное как M (num_ref_frames), опорных картинок используемых для интер-предсказания, указывается в активном наборе параметров последовательности. При декодировании опорной картинки, она маркируется как «используется для ссылки». Если декодирование опорной картинки вызывает маркирование более чем M картинок в качестве «используется для ссылки», то, по меньшей мере, одна картинка должна быть промаркирована как «не используется для ссылки». Процесс удаления из DPB затем будет удалять картинки, промаркированные как «не используется для ссылки» из DPB, если они также не требуются для вывода.

Когда картинка декодируется, она может быть либо не опорной картинкой, либо опорной картинкой. Опорная картинка может быть долгосрочной опорной картинкой или краткосрочной опорной картинкой, и когда она промаркирована как «не используется для ссылки», она может стать той, которая более не требуется для ссылки. В некоторых стандартах кодирования видео, могут присутствовать операции маркирования опорной картинки, которые меняют статус опорных картинок.

Может присутствовать два типа операций для маркирования опорной картинки: скользящее окно и адаптивное управление памятью. Режим обработки для маркирования опорной картинки может быть выбран на основании картинки; поскольку операция скользящего окна может работать в качестве очереди типа «первым пришел, первым обслужен» с фиксированным количеством краткосрочных опорных картинок. Другими словами, краткосрочные опорные картинки с наиболее ранним временем декодирования могут быть первыми на удаление (промаркированными как картинка, которая не используется для ссылки), неявным образом.

Между тем, адаптивное управление памятью удаляет краткосрочные или долгосрочные картинки явным образом. Оно также предоставляет возможность обеспечения переключения статуса краткосрочных и долгосрочных картинок, и т.д. Например, при адаптивном управлении памятью, кодер видео может сигнализировать элементы синтаксиса, которые указывают на то, какие картинки должны быть промаркированы в качестве картинок, которые используются для ссылки. Декодер видео может принимать элементы синтаксиса и маркировать картинки в соответствии с тем, что указано. При скользящем окне, кодеру видео может не требоваться сигнализировать то, какие картинки должны быть промаркированы в качестве тех, которые используются для ссылки. Наоборот, декодер видео может неявным образом (т.е., не принимая элементы синтаксиса) определять, какие картинки должны быть промаркированы в качестве тех, которые используются для ссылки, на основании того, какие картинки находятся в рамках скользящего окна.

На компонент кодирования видео также может быть возложена задача по построению списков опорных картинок, которые указывают, какие опорные картинки могут быть использованы в целях интер-предсказания. Два из этих списка опорных картинок именуются как Список 0 и Список 1, соответственно. Компонент кодирования видео сначала использует методы построения по умолчанию для построения Списка 0 и Списка 1 (например, предварительно сконфигурированные схемы построения для построения Списка 0 и Списка 1). Опционально, после того как построен исходный Список 0 и Список 1, декодер видео может декодировать элементы синтаксиса, если присутствуют, которые предписывают декодеру видео модифицировать исходный Список 0 и Список 1.

Кодер видео может сигнализировать элементы синтаксиса, которые указывают идентификатор(ы) опорных картинок в DPB, и кодер видео также может сигнализировать элементы синтаксиса, которые включают в себя индексы, в Списке 0, Списке 1, или как Списке 0, так и Списке 1, которые указывают на то, какую опорную картинку или картинки использовать для декодирования закодированного блока текущей картинки. Декодер видео, в свою очередь, использует принятый идентификатор для идентификации значения или значений индекса для опорной картинки или опорных картинок, зарегистрированных в Списке 0, Списке 1, или как Списке 0, так и Списке 1. По значению(ям) индекса, а также идентификатору(ам) опорной картинки или опорных картинок, декодер видео извлекает опорную картинку или опорные картинки или их часть(и) из DPB, и декодирует закодированный блок текущей картинки на основании извлеченной опорной картинки или картинок и одного или более векторов движения, которые идентифицируют блоки в опорной картинке или картинках, которые используются для декодирования закодированного блока.

Например, построение списка опорных картинок для первого или второго списка опорных картинок картинки с двунаправленным предсказанием включает в себя два этапа: инициализацию списка опорных картинок и модифицирование списка опорных картинок (также именуемое как переупорядочение списка опорных картинок). Инициализация списка опорных картинок может быть неявным механизмом, который помещает опорные картинки в память опорных картинок (также именуемую как буфер декодированных картинок) в список, основанный на очередности значений POC (Номер Очередности Картинки, совпадающий с очередностью отображения картинки). Механизм переупорядочения списка опорных картинок может модифицировать позицию картинки, которая была помещена в список во время инициализации списка опорных картинок, на любую новую позицию, или помещать любую опорную картинку в память опорных картинок в любую позицию, даже если картинка не принадлежит к инициализированному списку. Некоторые картинки после переупорядочения (модифицирования) списка опорных картинок, могут быть помещены в очень дальнюю позицию в списке. Тем не менее, если позиция картинки превышает количество активных опорных картинок списка, то картинка не рассматривается в качестве записи итогового списка опорных картинок. Количество активных опорных картинок может сигнализироваться в заголовке слайса для каждого списка.

Описываемые в данном изобретении методы могут быть применены к различным стандартам кодирования видео. Примеры стандартов кодирования видео включают в себя ITU-T H.261, ISO/IEC MPEG-1 Визуальный, ITU-T H.262 или ISO/IEC MPEG-2 Визуальный, ITU-T H.263, ISO/IEC MPEG-4 Визуальный и ITU-T H.264 (также известный как ISO/IEC MPEG-4 AVC), включая его расширения Масштабируемое Кодирование Видео (SVC) и Многовидовое Кодирование Видео (MVC). В дополнение, существует новый стандарт кодирования видео, а именно Высокоэффективное Кодирование Видео (HEVC), разрабатываемый Объединенной Командой по Кодированию Видео (JCT-VC) Экспертной Группы по Кодированию Видео (VCEG) ITU-T и Экспертной Группы по Кинематографии (MPEG) ISO/IEC.

Лишь в целях иллюстрации, методы описываются в контексте стандарта HEVC. Последний Рабочий Проект (WD) стандарта HEVC, и именуемый ниже как HEVC WD8, доступен от 20 июля 2012г., по адресу:http://phenix.intevry.fr/jct/doc_end_ user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip.

Как описано выше, методы, описываемые в данном изобретении, могут решать проблемы, которые могут присутствовать в существующих решениях для управления буфером декодированных картинок (DPB). В качестве одного примера, в некоторых примерных методах, описываемых в данном изобретении, маркирование опорных картинок как «не используется для ссылки» может не требоваться. Например, методы, описываемые в данном изобретение могут решать: проблемы, которые относятся к методам управления DPB, которые не так хорошо подходят для временного масштабирования; проблемы, которые относятся к потерям на сигнализацию применительно к долгосрочным опорным картинкам; проблемы, которые относятся к эффективности и сложности в отношении инициализации и модифицирования списка опорных картинок. Методы, описываемые в данном изобретении также могут решать: проблемы, которые относятся к маркированию «нет опорной картинки» для незавершенных записей в списке опорных картинок во время инициализации списка опорных картинок; проблемы, которые относятся к выводу декодированной картинки, ее вставке в, и удалению из DPB; как впрочем, и проблемы, которые относятся к возможным значениям для значений номера очередности картинки (POC).

В соответствии с методами, описываемыми в данном изобретении, списки опорных картинок строятся из набора опорных картинок. Набор опорных картинок определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, которые предшествуют связанной картинке в очередности декодирования, которые могут быть использованы для интер-предсказания блоков в связанной картинке или любой картинке, следующей за связанной картинкой в очередности декодирования, например, до следующей картинки мгновенного восстановления при декодировании (IDR), или картинки доступа с разорванной связью (BLA). Другими словами, для опорных картинок в наборе опорных картинок может требоваться наличие следующих характеристик: (1) все они предшествуют текущей картинке в очередности декодирования, и (2) они могут быть использованы для интер-предсказания текущей картинки и/или интер-предсказания любой картинки, следующей за текущей картинкой в очередности декодирования, и в некоторых примерах, до следующей картинки IDR или картинки BLA. Могут существовать другие альтернативные определения набора опорных картинок, которые предоставляются ниже.

В примерных методах, описываемых в данном изобретении, компонент кодирования видео может получать набор опорных картинок, и после такого получения, компонент кодирования видео может строить списки опорных картинок. Например, только опорные картинки из набора опорных картинок могут быть потенциальными опорными картинками, которые используются для построения списков опорных картинок.

Для построения набора опорных картинок, компонент кодирования видео может строить множество подмножеств опорных картинок. Комбинация подмножеств опорных картинок вместе может образовывать набор опорных картинок. Например, кодер видео может явным образом сигнализировать, в закодированном битовом потоке, значения, которые позволяют декодеру видео определить идентификаторы для опорных картинок, которые включены в набор опорных картинок. Например, идентификаторы опорных картинок могут быть номерами очередности картинки. Каждая картинка связана с одним номером очередности картинки, который обозначается как PicOrderCnt. PicOrderCnt указывает очередность вывода или очередность отображения соответствующей картинки относительно предыдущей картинки IDR в очередности декодирования, и, в некоторых других альтернативных вариантах, указывает позицию связанной картинки в очередности вывода относительно позиций очередности вывода других картинок в одной и той же закодированной видеопоследовательности.

PicOrderCnt может именоваться как значение номера очередности картинки (POC). Значение POC может указывать очередность вывода или отображения картинки, и может быть использовано для идентификации картинки. Например, внутри закодированной видеопоследовательности, картинка с меньшим значением POC выводится или отображается раньше картинки с большим значением POC.

Декодер видео может определять идентификаторы для опорных картинок, и из этих идентификаторов строить множество подмножеств опорных картинок. Из этих подмножеств опорных картинок, декодер видео может получать набор опорных картинок, как описано более подробно ниже. В некоторых примерах, каждое из подмножеств опорных картинок включает в себя разные опорные картинки, по этой причине отсутствует пересечение опорных картинок в подмножествах опорных картинок. Таким образом, каждая из опорных картинок может присутствовать только в одном из подмножеств опорных картинок, и ни в одном другом подмножестве опорных картинок. Тем не менее, аспекты данного изобретения не должны рассматриваться как ограниченные этим.

После определения идентификаторов (например, значений POC) опорных картинок в наборе опорных картинок или его подмножествах, декодер видео может построить подмножества опорных картинок. Как описывается более подробно ниже, декодер видео может построить шесть подмножеств опорных картинок, несмотря на то, что декодер видео может быть выполнен с возможностью построения большего или меньшего числа подмножеств опорных картинок.

Эти шесть подмножеств опорных картинок именуются: RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll. Подмножество RefPicSetStCurr0 опорных картинок быть обозначено как подмножество RefPicSetStCurrBefore опорных картинок, а подмножество RefPicSetStCurr1 опорных картинок может быть обозначено как подмножество RefPicSetStCurrAfter опорных картинок.

Подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1 опорных картинок могут идентифицировать краткосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать краткосрочные опорные картинки на основании того, находятся ли краткосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка, как впрочем, и могут ли быть краткосрочные опорные картинки потенциально использованы для интер-предсказания текущей картинки и картинок, следующих за текущей картинкой в очередности декодирования, или могут ли быть потенциально использованы для интер-предсказания только картинок, следующих за текущей картинкой в очередности декодирования.

Например, подмножество RefPicSetStCurr0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации, такую как значения POC, всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetStCurr1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Подмножество RefPicSetStFoll0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки. Подмножество RefPicSetStFoll1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

Подмножества RefPicSetLtCurr и RefPicSetLtFoll могут идентифицировать долгосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать долгосрочные опорные картинки на основании того, находятся ли долгосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка.

Например, подмножество RefPicSetLtCurr опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetLtFoll опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

После построения подмножеств опорных картинок, декодер видео может упорядочить подмножества опорных картинок в другой очередности для получения набора опорных картинок. В качестве одного примера, очередность набора опорных картинок может быть следующей: RefPicSetStCurr0, RefPicSetSetCurr1, RefPicSetFoll0, RefPicSetFoll1, RefPicSetLtCurr, и RefPicSetLtFoll. Тем не менее, другое упорядочение подмножеств может быть возможно для получения набора опорных картинок. Например, в качестве другого примера, очередность набора опорных картинок может быть следующей: подмножество RefPicSetStCurr0 опорных картинок, за которым следует подмножество RefPicSetStCurr1 опорных картинок, за которым следует подмножество RefPicSetLtCurr опорных картинок, за которым следует подмножество RefPicSetStFoll0 опорных картинок, за которым следует подмножество RefPicSetFoll1 опорных картинок, и за которым следует подмножество RefPicSetLtFoll опорных картинок.

В соответствии с методами, описываемыми в данном изобретении, подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr включают в себя все опорные картинки, которые могут быть использованы для интер-предсказания блока в текущей картинке и которые могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножества RefPicSetStFoll0, RefPicSetStFoll1, и RefPicSetLtFoll включают в себя все опорные картинки, которые не используются для интер-предсказания блока в текущей картинке, но могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Следует понимать, что шесть подмножеств опорных картинок описываются лишь в целях иллюстрации, и не должны рассматриваться как накладывающие ограничения. В альтернативных примерах, может присутствовать большее или меньшее число подмножеств опорных картинок. Такие подмножества опорных картинок, в этих альтернативных примерах, описываются более подробно ниже.

В некоторых методах, описываемых в данном изобретении, декодеру видео может не требоваться маркировать декодированные картинки как «используется для ссылки», «не используется для ссылки», «используется для краткосрочной ссылки», или «используется для долгосрочной ссылки». Наоборот, требуется ли декодированная картинка, хранящаяся в DPB, для интер-предсказания, указывается посредством того, включена ли она в набор опорных картинок текущей картинки. В альтернативных примерах, может существовать возможность того, что декодер видео маркирует декодированные картинки как «используется для ссылки», «не используется для ссылки», «используется для краткосрочной ссылки», или «используется для долгосрочной ссылки». В этих примерах, после того, как декодер видео декодирует картинку, она является опорной картинкой и маркируется как «используется для ссылки». Затем, после вызова процесса для получения набора опорных картинок, все опорные картинки, хранящиеся в DPB, но не включенные в набор опорных картинок текущей картинки маркируются как «не используется для ссылки», перед возможным удалением декодированных картинок из DPB. Таким образом, требуется ли декодированная картинка, хранящаяся в DPB, для интер-предсказания может быть указано посредством того, промаркирована ли она как «используется для ссылки».

Как только декодер видео получает набор опорных картинок из множества подмножеств опорных картинок, декодер видео может построить списки опорных картинок (например, Список 0 и Список 1) из набора опорных картинок. Например, построение списков опорных картинок может включать в себя этап инициализации и возможно этап модифицирования. Посредством получения набора опорных картинок описанным выше образом, декодер видео может быть способен повысить эффективность и сократить сложность применительно к инициализации списка опорных картинок и модифицированию списка опорных картинок.

Могут существовать различные способы, которыми декодер видео может строить списки опорных картинок. Методы, описываемые в данном изобретении, предоставляют механизм, посредством которого декодер видео может строить списки опорных картинок, не прибегая к переупорядочению опорных картинок, которые должны быть включены в (исходный) список опорных картинок. Например, декодер видео может быть выполнен с возможностью реализации методы построения ссылочного списка по умолчанию, при которой декодер видео использует подмножества опорных картинок для построения исходных списков опорных картинок. Затем, если не требуется модифицирование списка опорных картинок, то итоговые списки опорных картинок могут быть точно такими же, что и исходные списки опорных картинок, не прибегая к какому-либо дополнительному переупорядочению списков опорных картинок.

В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к построению списков опорных картинок таким образом, что отсутствуют незавершенные записи. Например, методы могут неоднократно добавлять опорные картинки в список опорных картинок из одного или более подмножеств опорных картинок. Например, после того как декодер видео добавляет опорные картинки из одного или более подмножеств опорных картинок для построения исходного списка опорных картинок, декодер видео может определять, меньше ли количество записей в списке опорных картинок максимального разрешенного количества записей. Если количество записей в списке опорных картинок меньше максимального количества разрешенного количества записей, то декодер видео может повторно добавлять, по меньшей мере, одну из опорных картинок из одного из подмножеств опорных картинок, использованных для построения списка опорных картинок, в список опорных картинок. Это повторное добавление (также именуемое как повторная регистрация) опорной картинки может происходить в других местах в списках опорных картинок, в сравнении с местоположением, в которое опорная картинка была добавлена декодером видео первый раз.

В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к модифицированию исходного списка опорных картинок. Например, декодер видео может строить исходный список опорных картинок. Декодер видео может определять, что требуется модифицирование списка опорных картинок на основании элементов синтаксиса, сигнализируемых кодером видео в закодированном битовом потоке. Когда требуется модифицирование списка опорных картинок, декодер видео может идентифицировать опорную картинку, по меньшей мере, в одном из построенных подмножеств опорных картинок. Декодер видео может регистрировать (например, добавлять) идентифицированную опорную картинку в текущей записи исходного списка опорных картинок для построения модифицированного списка опорных картинок. Декодер видео затем может декодировать текущую картинку на основании модифицированного списка опорных картинок.

В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к выводу и удалению декодированных картинок из буфера декодированных картинок (DPB). Примерные методы могут удалять декодированную картинку из DPB перед кодированием текущей картинки. Например, примерные методы могут удалять декодированную картинку, если эта декодированная картинка не идентифицирована в наборе опорных картинок текущей картинки и если эта декодированная картинка не требуется для вывода (т.е., она, либо была не предназначена для вывода, либо она была предназначена для вывода, но была уже выведена).

Фиг. 1 является структурной схемой, иллюстрирующей примерную систему 10 кодирования и декодирования видео, которая может использовать методы, описываемые в данном изобретении. В целом, набор опорных картинок определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, которые находятся перед связанной картинкой в очередности декодирования, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования. В некоторых примерах, опорные картинки, которые находятся перед связанной картинкой, могут быть опорными картинками до следующей картинки мгновенного восстановления при декодировании (IDR), или картинки доступа с разорванной связью (BLA). Другими словами, опорные картинки в наборе опорных картинок могут все находиться перед текущей картинкой в очередности декодирования. Также, опорные картинки в наборе опорных картинок могут быть использованы для интер-предсказания текущей картинки и/или интер-предсказания любой картинки, следующей за текущей картинкой в очередности декодирования, до следующей картинки IDR или картинки BLA.

Могут существовать другие альтернативные определения набора опорных картинок. Например, набором опорных картинок может быть набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, исключая саму связанную картинку, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования, и у которых значение temporal_id меньше либо равно тому, что имеется у связанной картинки. temporal_id может быть значением временной идентификации. Значение временной идентификации может быть иерархическим значением, которое указывает на то, какие картинки могут быть использованы для кодирования текущей картинки. В целом, картинка с конкретным значением temporal_id возможно может быть опорной картинкой для картинок с одинаковым или большими значениями temporal_id, но не наоборот. Например, картинка со значением temporal_id равным 1 возможно может быть опорной картинкой для картинок со значениями temporal_id равными 1, 2, 3, ..., но не для картинки со значение temporal_id равным 0.

Самое низкое значение temporal_id также может указывать на самую низкую частоту отображения. Например, если декодер видео декодирует только картинки со значениями temporal_id равными 0, то частота отображения может быть 7,5 картинок в секунду. Если декодер видео декодирует только картинки со значениями temporal_id равными 0 и 1, то частота отображения может быть 15 картинок в секунду, и т.д.

В качестве другого примера, набор опорных картинок может быть набором из опорных картинок, связанных с картинкой, состоящим из всех опорных картинок, исключая саму связанную картинку, которые могут быть использованы для интер-предсказания связанной картинки и любой картинки, следующей за связанной картинкой в очередности декодирования. В качестве еще одного другого примера, набор опорных картинок может быть определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, возможно включая саму связанную картинку, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования. В качестве другого примера, набор опорных картинок может быть определен как набор из опорных картинок, связанных с картинкой, состоящий из всех опорных картинок, возможно включая саму связанную опорную картинку, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования, и которая имеет значение temporal_id меньше либо равное тому, что имеется у связанной опорной картинки.

В качестве еще одного другого примера, в вышеприведенных определениях набора опорных картинок, фраза «могут быть использованы для интер-предсказания» заменяется на «используемые для интер-предсказания». Хотя могут существовать альтернативные определения набора опорных картинок, в данном изобретении, примеры описываются с учетом определения набора опорных картинок как набора из опорных картинок, связанных с картинкой, состоящего из всех опорных картинок, которые находятся перед связанной картинкой в очередности декодирования, которые могут быть использованы для интер-предсказания связанной картинки или любой картинки, следующей за связанной картинкой в очередности декодирования.

Например, некоторые из опорных картинок в наборе опорных картинок являются опорными картинками, которые могут потенциально быть использованы для интер-предсказания блока текущей картинки, но не картинок, следующих за текущей картинкой в очередности декодирования. Некоторые из опорных картинок в наборе опорных картинок являются опорными картинками, которые могут потенциально быть использованы для интер-предсказания блока текущей картинки, и блоков в одной или более картинках, следующих за текущей картинкой в очередности декодирования. Некоторые из опорных картинок в наборе опорных картинок являются опорными картинками, которые могут потенциально быть использованы для интер-предсказания блоков в одной или более картинках, следующих за текущей картинкой в очередности декодирования, и не могут быть использованы для интер-предсказания блока в текущей картинке.

Используемые в данном изобретении опорные картинки, которые могут потенциально быть использованы для интер-предсказания, относятся к опорным картинкам, которые могут быть использованы для интер-предсказания, но не обязательно должны быть использованы для интер-предсказания. Например, набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания. Тем не менее, это не означает, что все из идентифицированных опорных картинок должны быть использованы для интер-предсказания. Наоборот, одна или более из этих идентифицированных опорных картинок могут быть использованы для интер-предсказания, но не обязательно все должны быть использованы для интер-предсказания.

Как показано на Фиг. 1, система 10 включает в себя устройство-источник 12, которое генерирует закодированное видео для декодирования устройством-получателем 14. Устройство-источник 12 и устройство-получатель 14 каждое может быть примером компонента кодирования видео. Устройство-источник 12 может передавать закодированное видео устройству-получателю 14 через канал 16 связи или может сохранять закодированное видео на носителе 17 информации или файловом сервере 19, таким образом, что при необходимости со стороны устройства-получателя 14 может быть получен доступ к закодированному видео.

Устройство-источник 12 и устройство-получатель 14 могут быть выполнены в виде любого из широкого диапазона устройств, включая: беспроводную телефонную трубку, такую как так называемые смартфоны, так называемые интеллектуальные планшеты или другие такие беспроводные устройства, оборудованные для беспроводной связи. Дополнительные примеры устройства-источника 12 и устройства-получателя 14 включают в себя, без ограничения указанным: цифровой телевизор, устройство в системе цифрового непосредственного вещания, устройство в системе беспроводного вещания, персональные цифровые помощники (PDA), компьютер класса лэптоп, настольный компьютер, планшетный компьютер, устройство для чтения электронных книг, цифровую камеру, цифровое устройство записи, цифровой мультимедийный проигрыватель, видеоигровое устройство, видеоигровую консоль, сотовый радиотелефон, спутниковый радиотелефон, устройство проведения видео телеконференций, устройство потокового видео, устройство беспроводной связи или подобное.

Как указано выше, во многих случаях, устройство-источник 12 и/или устройство-получатель 14 могут быть оборудованы для беспроводной связи. Следовательно, канал 16 связи может быть выполнен в виде беспроводного канала, проводного канала, или комбинации беспроводных и проводных каналов, пригодной для передачи закодированных видеоданных. Аналогичным образом, доступ к файловому серверу 19 может быть получен со стороны устройства-получателя 14 посредством любого стандартного соединения для передачи данных, включая Интернет соединение. Это может включать в себя беспроводной канал (например, Wi-Fi соединение), проводное соединение (например, DSL, кабельный модем и т.д.), или комбинацию обоих, которая пригодна для получения доступа к закодированным видеоданным, хранящимся на файловом сервере.

Тем не менее, методы данного изобретения могут быть применены к кодированию видео для поддержки любых из разнообразных мультимедийных применений, таких как эфирное телевизионное вещание, передачи кабельного телевидения, передачи спутникового телевидения, передачи потокового видео, например, через Интернет, кодирования цифрового видео для хранения на носителе информации для данных, декодирования цифрового видео, хранящегося на носителе информации для данных, или других применений. В некоторых примерах, система 10 может быть выполнена с возможностью обеспечения односторонней или двусторонней передачи видео для поддержки применений, таких как потоковая передача видео, воспроизведение видео, видео вещание, и/или видео телефония.

В примере на Фиг. 1 устройство-источник 12 включает в себя источник 18 видео, кодер 20 видео, модулятор/демодулятор 22 (MODEM) и интерфейс 24 вывода. В устройстве-источнике 12, источник 18 видео может включать в себя источник, такой как устройство захвата видео, такое как видеокамера, видео архив, содержащий ранее захваченное видео, интерфейс внешнего видеосигнала для приема видео от поставщика видео контента, и/или систему компьютерной графики для генерирования данных компьютерной графики в качестве исходного видео, или комбинацию таких источников. В качестве одного примера, если источник 18 видео является видеокамерой, то устройство-источник 12 и устройство-получатель 14 могут образовывать так называемые телефоны с камерой или видеотелефоны. Тем не менее, методы, описываемые в данном изобретении, могут быть применены к кодированию видео в целом, и могут быть применены к беспроводным и/или проводным применениям.

Захваченное, предварительно захваченное или сгенерированное компьютером видео может быть закодировано кодером 20 видео. Закодированная видеоинформация может быть подвергнута модуляции посредством модема 22, в соответствии со стандартом связи, таким как протокол беспроводной связи, и передана устройству-получателю 14 через интерфейс вывода. Модем 22 может включать в себя различные микшеры, фильтры, усилители или другие компоненты, разработанные для модуляции сигнала. Интерфейс 24 вывода может включать в себя схемы, разработанные для передачи данных, включая усилители, фильтры и одну или более антенны.

Захваченное, предварительно захваченное или сгенерированное компьютером видео, которое кодируется кодером 20 видео, также может быть сохранено на носителе 17 информации или файловом сервере 19 для потребления позже. Носитель 17 информации может включать в себя диски Blu-ray, DVD, CD-ROM, флэш-память или любые другие пригодные цифровые носители информации для хранения закодированного видео. Затем к закодированному видео, хранящемуся на носителе 17 информации, может быть получен доступ со стороны устройства-получателя 14 для декодирования и воспроизведения.

Файловый сервер 19 может быть любым типом сервера, выполненным с возможностью хранения закодированного видео и передачи этого закодированного видео устройству-получателю 14. Примерные файловые серверы включают в себя web-сервер (например, для web-сайта), FTP сервер, устройства сетевой системы хранения данных (NAS), локальный накопитель на диске, или любой другой тип устройства, выполненного с возможностью хранения закодированного видео и передачи его устройству-получателю. Передача закодированных видеоданных от файлового сервера 19 может быть потоковой передачей, загружаемой передачей, или комбинацией двух. Доступ к файловому серверу 19 может быть получен со стороны устройства-получателя 14 посредством любого стандартного соединения для передачи данных, включая Интернет соединение. Это может включать в себя беспроводной канал (например, Wi-Fi соединение), проводное соединение (например, DSL, кабельный модем, Ethernet, USB, и т.д.), или комбинацию двух, которая пригодна для получения доступа к закодированным видеоданным, хранящимся на файловом сервере.

Устройство-получатель 14, в примере на Фиг. 1, включает в себя интерфейс 26 ввода, модем 28, декодер 30 видео, и устройство 32 отображения. Интерфейс 26 ввода устройства-получателя 14 принимает информацию через канал 16, в качестве одного примера, или от носителя 17 информации или файлового сервера 19, в качестве альтернативных примеров, и модем 28 демодулирует информацию для создания демодулированного битового потока для декодера 30 видео. Демодулированный битовый поток может включать в себя разнообразие информации синтаксиса, сгенерированной кодером 20 видео для использования декодером 30 видео при декодировании видеоданных. Такой синтаксис также может быть включен в закодированные видеоданные, хранящиеся на носителе 17 информации или файловом сервере 19. В качестве одного примера, синтаксис может быть встроен в закодированные видеоданные, несмотря на то, что аспекты данного изобретения не должны рассматриваться как ограниченные таким требованием. Информация синтаксиса, определенная кодером 20 видео, которая также используется декодером 30 видео, может включать в себя элементы синтаксиса, которые описывают характеристики и/или обработку видео блоков, таких как древовидных единиц кодирования (CTU), древовидных блоков кодирования (CTB), единиц предсказания (PU), единиц кодирования (CU) и других единиц закодированного видео, например, видео слайсы, видео картинки, и видеопоследовательности или группы картинок (GOP). Каждый из кодера 20 видео и декодера 30 видео могут образовывать часть соответствующего кодера-декодера (CODEC), который выполнен с возможностью кодирования или декодирования видеоданных.

Устройство 32 отображения может быть встроенным или может быть внешним по отношению к устройству-получателю 14. В некоторых примерах, устройство-получатель 14 может включать в себя встроенное устройство отображения и также может быть выполнено с возможностью взаимодействия с внешним устройством отображения. В других примерах устройство-получатель 14 может быть устройством отображения. В целом, устройство 32 отображения отображает декодированные видеоданные пользователю и может быть выполнено в виде любого из разнообразных устройств отображения, такого как жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED), или другого типа устройства отображения.

В примере на Фиг. 1 канал 16 связи может быть выполнен в виде любого беспроводного или проводного средства связи, такого как радиочастотный (RF) спектр или одна или более физических линий передачи, или любой комбинации беспроводных и проводных средств. Канал 16 связи может образовывать часть основанной на пакетах сети, такой как локальная сеть, широкомасштабная сеть, или глобальная сеть, такая как Интернет. Канал 16 связи в целом представляет собой любое пригодное средство связи, или совокупность разных средств связи, для передачи видеоданных от устройства-источника 12 устройству-получателю 14, включая любое пригодное сочетание проводных или беспроводных средств. Канал 16 связи может включать в себя маршрутизаторы, коммутаторы, базовые станции, иди любое другое оборудование, которое может быть полезно для обеспечения связи от устройства-источника 12 к устройству-получателю 14.

Кодер 20 видео и декодер 30 видео могут функционировать в соответствии со стандартом сжатия видео, таким как, включая ITU-T H.261, ISO/IEC MPEG-1 Визуальный, ITU-T H.262 или ISO/IEC MPEG-2 Визуальный, ITU-T H.263, ISO/IEC MPEG-4 Визуальный и ITU-T H.264 (также известный как ISO/IEC MPEG-4 AVC), включая его расширения Масштабируемое Кодирование Видео (SVC) и Многовидовое Кодирование Видео (MVC). В дополнение, существует новый стандарт кодирования видео, а именно Высокоэффективное Кодирование Видео (HEVC), разрабатываемый Объединенной Командой по Кодированию Видео (JCT-VC) Экспертной Группы по Кодированию Видео (VCEG) ITU-T и Экспертной Группы по Кинематографии (MPEG) ISO/IEC. Последний Рабочий Проект (WD) стандарта HEVC, и именуемый ниже как HEVC WD8, доступен от 20 июля 2012г., по адресу: http://phenix.intevry.fr/jct/doc_end_ user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip.

Тем не менее, методы данного изобретения не ограничиваются любым конкретным стандартом кодирования. Лишь в целях иллюстрации, методы описываются в соответствии со стандартом HEVC.

Хотя не показано на Фиг. 1, в некоторых аспектах, кодер 20 видео и декодер 30 видео, каждый может быть интегрирован с аудио кодером и декодером, и может включать в себя соответствующие компоненты MUX-DEMUX (мультиплексирования-демультиплексирования) или другое аппаратное и программное обеспечение для обработки кодирования как аудио, так и видео, в общем потоке данных или отдельных потоках данных. Если применимо, компоненты MUX-DEMUX могут соответствовать протоколу мультиплексирования ITU H.223, или другим протоколам, таким как протокол пользовательских дейтаграмм (UDP).

Кодер 20 видео и декодер 30 видео каждый могут быть реализованы в качестве любой из разнообразных пригодных схем кодера, таких как: один или более процессоров, включая микропроцессоры, цифровые сигнальные процессоры (DSP), проблемно ориентированные интегральные схемы (ASIC), программируемые вентильные матрицы (FPGA), дискретная логика, программное обеспечение, аппаратное обеспечение, встроенное программное обеспечение или любые их комбинации. Когда методы реализуются частично в программном обеспечении, устройство может хранить инструкции для программного обеспечения на пригодном, постоянном машиночитаемом носителе информации, и исполнять инструкции в аппаратном обеспечении, используя один или более процессоров для выполнения методов данного изобретения.

Каждый из кодера 20 видео и декодера 30 видео может быть включен в один или более кодеров или декодеров, любой из которых может быть включен как часть объединенного кодера/декодера (CODEC) в соответствующем устройстве. В некоторых случаях, кодер 20 видео и декодер 30 видео могут обычно именоваться как компонент кодирования видео, который кодирует информацию (например, картинки и элементы синтаксиса). Кодирование информации может относиться к кодированию, когда компонент кодирования видео соответствует кодеру 20 видео. Кодирование информации может относиться к декодированию, когда компонент кодирования видео соответствует декодеру 30 видео.

Кроме того, методы, описываемые в данном изобретении, могут относиться к сигнализации информации кодером 20 видео. Когда кодер 20 видео сигнализирует информацию, то методы данного изобретения в целом относятся к любому способу, которым кодер 20 видео предоставляет информацию. Например, когда кодер 20 видео сигнализирует элементы синтаксиса декодеру 30 видео, это может означать, что кодер 20 видео передает элементы синтаксиса декодеру 30 видео через интерфейс 24 вывода и канал 16 связи, или что кодер 20 видео сохраняет элементы синтаксиса через интерфейс 24 вывода на носителе 17 информации и/или файловом сервере 19 для приема, в конечном счете, декодером 30 видео. Таким образом, сигнализация от кодера 20 видео декодеру 30 видео не должна интерпретироваться как требующая передачи от кодера 20 видео, которая непосредственно принимается декодером 30 видео, несмотря на то, что это может быть возможным. Наоборот, сигнализация от кодера 20 видео декодеру 30 видео должна интерпретироваться как любая методов а, с помощью которой кодер 20 видео предоставляет информацию для приема, в конечном счете, декодером 30 видео, либо непосредственно, либо через промежуточное хранилище (например, носитель 17 информации и/или файловый сервер 19).

Кодер 20 видео и декодер 30 видео могут быть выполнены с возможностью реализации примерных методов, описываемых в данном изобретении, для получения набора опорных картинок. Например, декодер 30 видео может вызывать процесс для получения набора опорных картинок один раз на картинку. Декодер 30 видео может вызывать процесс для получения набора опорных картинок после декодирования заголовка слайса, но перед декодированием любой единицы кодирования и перед процессом декодирования для построения списка опорных картинок слайса.

Как описано выше, набор опорных картинок является полным описанием опорных картинок, используемых в процессе декодирования текущей картинки и дальнейших закодированных картинок в очередности декодирования до следующей картинки мгновенного восстановления при декодировании (IDR), или картинки доступа с разорванной связью (BLA). В примерах, описываемых в данном изобретении, кодер 20 видео может явным образом сигнализировать значения, по которым декодер 30 видео может определять идентификаторы для опорных картинок, которые принадлежат к набору опорных картинок. Сигнализация набора опорных картинок является явной в том смысле, что все опорные картинки, включенные в набор опорных картинок, приведены в списке явным образом, за исключением некоторых картинок, например, картинок IDR, для которых элементы синтаксиса набора опорных картинок не включаются в заголовок слайса и получают пустой набор опорных картинок.

Могут существовать различные способы, которыми кодер 20 видео может сигнализировать элементы синтаксиса в закодированном битовом потоке, которые декодер 30 видео может использовать для получения набора опорных картинок. Например, кодер 20 видео может сигнализировать элементы синтаксиса в наборе параметров картинки (PPS), наборе параметров последовательности (SPS), заголовке картинки (если таковой имеется), заголовке слайса, или любой их комбинации. Лишь в целях иллюстрации, кодер 20 видео может сигнализировать элементы синтаксиса, используя SPS, PPS, и заголовок слайса, как описывается более подробно.

Для получения набора опорных картинок, декодер 30 видео может реализовывать процесс декодирования для определения идентификаторов для картинок, которые принадлежат к набору опорных картинок. Декодер 30 видео затем может строить множество подмножеств опорных картинок, при этом каждое их подмножеств идентифицирует ноль или больше опорных картинок, которые принадлежат к набору опорных картинок. Декодер 30 видео может получать набор опорных картинок из построенных подмножеств опорных картинок. Например, декодер 30 видео может регистрировать множество подмножеств опорных картинок в конкретной очередности для получения набора опорных картинок.

Могут существовать различные способы, которыми декодер 30 может определять идентификаторы для картинок, которые принадлежат к набору опорных картинок. В целом, кодер 20 видео может сигнализировать значения, по которым декодер 30 видео может определять идентификаторы для картинок, включая картинки, которые принадлежат к набору опорных картинок. Идентификаторы картинок могут быть PicOrderCnt (т.е., значениями номера очередности картинки (POC)). Как описано выше, значение POC может указывать очередность отображения или вывода картинки, при этом картинки с меньшими значениями POC отображаются раньше, чем картинки с большими значениями POC. Значение POC заданной картинки может указываться относительно предыдущей картинки мгновенного восстановления при декодировании (IDR). Например, PicOrderCnt (т.е., значение POC) для картинки IDR может быть равно 0, значение POC для картинки после картинки IDR в очередности отображения или вывода может быть равно 1, значение POC для картинки после картинки со значением POC равным 1, в очередности отображения или вывода может быть равно 2, и т.д.

В соответствии с методами, описываемыми в данном изобретении, когда текущая картинка не является картинкой IDR, то нижеследующее может быть применено для получения значения POC текущей картинки. Нижеследующее упомянуто для того, чтобы помочь в понимании, и не должно рассматриваться как накладывающее ограничения.

Например, рассмотрим список listD переменных, который включает в себя в качестве элементов значения PicOrderCnt (значения POC), связанные со списком картинок, включающим в себя все из следующего: (1) первая картинка в списке является предыдущей картинкой IDR в очередности декодирования, и (2) все другие картинки следуют в очередности декодирования за первой картинкой в списке и, либо предшествуют текущей картинке в очередности декодирования, либо являются текущей картинкой. В данном примере, текущая картинка включается в listD перед вызовом процесса получения для набора опорных картинок. Также, рассмотрим список listO переменных, который включает в себя элементы listD, отсортированные в порядке возрастания значения POC. В данном примере, listO может не содержать значение POC, значение которого равно значению POC другой картинки.

В некоторых примерах, значения POC могут быть ограничены диапазоном от -2pocLen-1 до 2pocLen-1-1, включительно. В данном примере, pocLen может быть равна long_term_ref_pic_id_ len_delta + long_term_ref_pic_id_delta_len_minus4 + 4. Элементы long_term_ref_pic_id_len_delta, и long_term_ref_pic_id_delta_len _minus4 могут быть элементами синтаксиса, которые декодер 30 видео принимает в закодированном битовом потоке как часть синтаксиса набора параметров картинки, как описывается более подробно ниже. В качестве другого примера, значения POC могут быть ограничены диапазоном от -231 до 231-1, включительно.

В качестве одного примера, декодер 30 видео может принимать в закодированном битовом потоке (т.е., битовом потоке, который сигнализируется кодером 20 видео), элемент pic_order_cnt_lsb синтаксиса. Элемент pic_order_cnt_lsb синтаксиса может указывать номера очередности картинки по модулю MaxPicOrderCntLsb для закодированной картинки. Длина элемента pic_order_cnt_lsb синтаксиса может быть log2_max_pic_order_cnt_ lsb_minus4+4 бита. Значение pic_order_cnt_lsb может находиться в диапазоне от 0 до MaxPicOrderCntLsb -1, включительно. Декодер 30 видео может принимать элемент pic_order_cnt_lsb синтаксиса в синтаксисе заголовка слайса для текущей картинки, которая должна быть декодирована.

Декодер 30 видео также может принимать элемент log2_max_pic_order_cnt_lsb_minus4 синтаксиса в закодированном битовом потоке, сигнализируемом кодером 20 видео. Декодер 30 видео может принимать элемент log2_max_pic_order_cnt_lsb _minus4 в наборе параметров последовательности. Значение элемента log2_max_pic_order_cnt_lsb_minus4 может находиться в диапазоне от 0 до 12, включительно. Элемент log2_max_pic_order_cnt_lsb _minu4 синтаксиса может указывать значение переменной MaxPicOrderCntLsb, которую декодер 30 видео использует в процессе декодирования для определения значений POC. Например:

MaxPicOrderCntLsb = 2(log2_max_pic_order_cnt_lsb_minus4+4).

По этим принятым элементам синтаксиса, декодер 30 видео может определять значение POC текущей картинки следующим образом. Например, декодер 30 видео может определять PicOrderCntMsb для текущей картинки. Значение POC для текущей картинки может быть определенным PicOrderCntMsb для текущей картинки полюс принятый pic_order_cnt_lsb для текущей картинки.

В нижеследующем, функция PicOrderCnt(picX) равна значению POC для картинки X. Функция DiffPicOrderCnt(picA, picB) равна PicOrderCnt(picA) минус PicOrderCnt(picB). В некоторых примерах, закодированный битовый поток может не включать в себя данные, которые приводят к значениям DiffPicOrderCnt(picA, picB), используемым в процессе декодирования, которые превышают диапазон от -215 до 215-1, включительно. Кроме того, пусть X будет текущей картинкой, а Y и Z будут двумя другими картинками в той же последовательности, причем Y и Z рассматриваются как находящиеся по одному и тому же направлению очередности вывода от X, когда как DiffPicOrderCnt(X, Y), так и DiffPicOrderCnt(X, Z), положительные или оба отрицательные. Также, в некоторых примерах, кодер 20 видео может назначать PicOrderCnt пропорционально шагу квантования по времени соответствующей картинки относительно шагу квантования по времени предыдущей картинки IDR.

В рамках процесса определения значения POC для текущей картинки, декодер 30 видео может определять переменные prevPicOrderCntMsb и prevPicOrderCntLsb. Например, если текущей картинкой является картинка IDR, то декодер 30 видео может установить prevPicOrderCntMsb равной 0, и установить prevPicOrderCntLsb равной 0. В противном случае (т.е., когда текущая картинка не является картинкой IDR), декодер 30 видео может установить prevPicOrderCntMsb равной PicOrderCntMsb предыдущей опорной картинки в очередности декодирования с меньшим или равным temporal_id, чем у текущей картинки, и установить prevPicOrderCntLsb равной значению pic_order_cnt_lsb предыдущей опорной картинки в очередности декодирования с меньшим или равным temporal_id, чем у текущей картинки.

С помощью этих значений переменных и значений элементов синтаксиса (например, значений prevPicOrderCntMsb, prevPicOrderCntLsb, pic_order_cnt_lsb, и MaxPicOrderCntLsb), декодер 30 видео может определять значение PicOrderCntMsb на основании этапов, изложенных в нижеследующем псевдокоде. Следует понимать, что декодер 30 видео может реализовывать этапы, изложенные в нижеследующем псевдокоде, для определения PicOrderCntMsb для каждой текущей картинки, которая используется для получения значения POC текущей картинки.

if((pic_order_cnt_lsb<prevPicOrderCntLsb) && ((prevPicOrderCntLsb - pic_order_cnt_lsb)>=(MaxPicOrderCntLsb/2)))

PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb

else if((pic_order_cnt_lsb>prevPicOrderCntLsb) && ((pic_order_cnt_lsb − prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))

PicOrderCntMsb = prevPicOrderCntMsb - MaxPicOrderCntLsb

else

PicOrderCntMsb = prevPicOrderCntMsb

После определения PicOrderCntMsb для текущей картинки, декодер 30 видео может определять значение POC для текущей картинки на основании PicOrderCntMsb для текущей картинки и pic_order_cnt_lsb для текущей картинки. Декодер 30 видео может определять значение POC для текущей картинки следующим образом:

PicOrderCnt = PicOrderCntMsb + pic_order_cnt_lsb

После декодирования картинки, декодер 30 видео может сохранять значение PicOrderCntMsb, значение pic_order_cnt_lsb, и значение POC для этой картинки, включая каждую из опорных картинок, которые принадлежат к набору опорных картинок, в буфере декодированных картинок (DPB) декодера 30 видео. Таким образом, каждая картинка в DPB связана со значением POC, значением PicOrderCntMsb, и значением pic_order_cnt_lsb.

Способ для определения значений POC опорных картинок, включенных в набор опорных картинок текущей картинки, описываются более подробно ниже. По определенным значениям POC, декодер 30 видео может реализовать процесс получения для набора опорных картинок. Тем не менее, перед описанием способа, посредством которого декодер 30 видео реализует процесс получения для набора опорных картинок, нижеследующее предоставляет таблицы элементов синтаксиса, которые декодер 30 видео может принимать в закодированном битовом потоке, сигнализируемые кодером 20 видео. Например, кодер 20 видео может сигнализировать элементы синтаксиса в следующих таблицах в битовом потоке, который принимает декодер 30 видео. Некоторые из этих элементов синтаксиса были описаны выше. По элементам синтаксиса, декодер 30 видео может определить значения POC опорных картинок, включенных в набор опорных картинок и затем получить набор опорных картинок.

Например, в методах, описываемых в данном изобретении, следующие структуры синтаксиса модифицированы по отношению к предыдущим стандартам кодирования видео: синтаксис полезной нагрузки последовательности необработанных байтов (RBSP) набора параметров последовательности (SPS), seq_paramater_set_rbsq(), синтаксис RBSP набора параметров картинки (PPS), pic_parameter_set_rbsp(), slice header syntax, slice_header(), и синтаксис модифицирования списка опорных картинок, ref_pic_list_modification(). Модифицирование списка опорных картинок более подробно описывается вслед за описанием получения набора опорных картинок и инициализацией одного или более списков опорных картинок.

Также в соответствии с методами, описываемыми в данном изобретении, следующие структуры синтаксиса добавляются в закодированный битовый поток: синтаксис набора краткосрочных опорных картинок, short_term_ref_pic_set(), и синтаксис набора долгосрочных опорных картинок, long_term_ref_pic_set(). Декодер 30 видео может использовать синтаксиса набора краткосрочных опорных картинок и синтаксис набора долгосрочных опорных картинок для построения подмножеств опорных картинок, из которых декодер 30 видео получает набор опорных картинок.

Например, для того чтобы декодер 30 видео определил значения POC для опорных картинок, которые принадлежат к набору опорных картинок, кодер 20 видео может сигнализировать информацию идентификации опорной картинки, которую декодер 30 видео использует для определения значения POC, в наборе параметров картинки, а индекс списка может упоминаться в заголовке слайса. Тем не менее, это один пример способа, посредством которого кодер 20 видео может просигнализировать такую информацию идентификации опорной картинки.

В одном альтернативном примере, кодер 20 видео может сигнализировать информацию опорной картинки в наборе параметров последовательности и индекс списка может упоминаться в заголовке слайса, что может сократить потери на сигнализацию. В другом альтернативном примере, компонент кодирования видео может сигнализировать информацию опорной картинки в новом типе набора параметров (например, наборе параметров набора опорных картинок (RPSPS)), а id RPSPS и индекс списка информации идентификации опорной картинки оба могут упоминаться в заголовке слайса. Это может сократить потери на сигнализацию, не увеличивая потребность в количестве наборов параметров картинки или наборов параметров последовательности. В других примерах, кодер 20 видео может использовать любую комбинацию этих примерных методов для сигнализации информации идентификации опорной картинки.

Таблица 1
Синтаксис RBSP Набора Параметров Последовательности
seq_parameter_set_rbsp() { Дескриптор
profile_idc u(8)
reserved_zero_8bits/* равен 0 */ u(8)
level_idc u(8)
seq_parameter_set_id ue(v)
max_temporal_layers_minus1 u(3)
pic_width_in_luma_samples u(16)

pic_height_in_luma_samples u(16)
bit_depth_luma_minus8 ue(v)
bit_depth_chroma_minus8 ue(v)
pcm_bit_depth_luma_minus1 u(4)
pcm_bit_depth_chroma_minus1 u(4)
log2_max_pic_order_cnt_lsb_minus4 ue(v)
max_num_ref_frames ue(v)
log2_min_coding_block_size_minus3 ue(v)
log2_diff_max_min_coding_block_size ue(v)
log2_min_transform_block_size_minus2 ue(v)
log2_diff_max_min_transform_block_size ue(v)
log2_min_pcm_coding_block_size_minus3 ue(v)
max_transform_hierarchy_depth_inter ue(v)
max_transform_hierarchy_depth_intra ue(v)
chroma_pred_from_luma_enabled_flag u(1)
loop_filter_across_slice_flag u(1)
sample_adaptive_offset_enabled_flag u(1)
adaptive_loop_filter_enabled_flag u(1)
pcm_loop_filter_disable_flag u(1)
cu_qp_delta_enabled_flag u(1)
temporal_id_nesting_flag u(1)
inter_4x4_enabled_flag u(1)
rbsp_trailing_bits()
}

Элемент pic_width_in_luma_samples может указывать ширину каждой декодированной картинки в выборках яркости. Значение pic_width_in_luma_samples может находиться в диапазоне от 0 до 216-1, включительно.

Элемент pic_height_in_luma_samples может указывать высоту каждой декодированной картинки в выборках яркости. Значение pic_height_in_luma_samples может находиться в диапазоне от 0 до 216-1, включительно.

Как указано в Таблице 1, декодер 30 видео может принимать в наборе параметров последовательности (SPS) элемент log2_max_pic_order_cnt_lsb_minus4 синтаксиса. Как описано выше, значение log2_max_pic_order_cnt_lsb_minus4 может указывать значение переменной MaxPicOrderCntLsb, которую декодер 30 видео использует в процессе декодирования для определения значений POC, при этом MaxPicOrderCntLsb = 2(log2_max_pic_order_cnt_lsb_minus4+4).

Таблица 2
Синтаксис RBSP Набора параметров Картинки
pic_parameter_set_rbsp() { Дескриптор
pic_parameter_set_id ue(v)
seq_parameter_set_id ue(v)
entropy_coding_mode_flag u(1)
num_short_term_ref_pic_sets_pps ue(v)
for(i=0; i< num_short_term_ref_pic_sets_pps; i++)
short_term_ref_pic_set( )
long_term_ref_pics_present_flag u(1)
if(long_term_ref_pics_present_flag) {
long_term_ref_pic_id_delta_len_minus4 ue(v)
long_term_ref_pic_id_len_delta ue(v)

num_long_term_ref_pics_pps ue(v)
for(i=0; i<num_long_term_ref_pics_pps; i++)
long_term_ref_pic_id_pps[i] i(v)
}
num_temporal_layer_switching_point_flags ue(v)
for(i=0; i< num_temporal_layer_switching_point_flags; i++)
temporal_layer_switching_point_flag[i] u(1)
num_ref_idx_l0_default_active_minus1 ue(v)
num_ref_idx_l1_default_active_minus1 ue(v)
pic_init_qp_minus26/* в сравнении с 26*/ se(v)
constrained_intra_pred_flag u(1)
slice_granularity u(2)
shared_pps_info_enabled_flag u(1)
if(shared_pps_info_enabled_flag)
if(adaptive_loop_filter_enabled_flag)
alf_param()
if(cu_qp_delta_enabled_flag)
max_cu_qp_delta_depth u(4)
rbsp_trailing_bits()
}

Элемент num_short_term_ref_pic_sets_pps указывает количество структур short_term_ref_pic_set() синтаксиса, включенных в набор параметров картинки. Значение num_short_term_ref_pic_sets_pps должно находиться в диапазоне от 0 до 32, включительно.

Элемент long_term_ref_pics_present_flag равный 0 указывает на то, что долгосрочная опорная картинка используется для интер-предсказания любой закодированной картинки, ссылающейся на набор параметров картинки, и элементы long_term_ref_ pic_id_delta_len_minus4, long_term_ref_pic_id_len _delta и num_long_term_ref_pics_pps синтаксиса отсутствуют. Элемент long_term_ref_pics_present_flag равный 1 указывает на то, что долгосрочные опорные картинки могут быть использованы для интер-предсказания одной или более закодированных картинок, ссылающихся на набор параметров картинки, и элементы long_term_ref_pic_id_delta_len_minus4, long_term_ref_pic_id_len _delta и num_long_term_ref_pics_pps присутствуют.

Элемент long_term_ref_pic_id_delta_len_minus4 плюс 4 указывает длину в битах элементов long_term_ref_pic_id_delta_add _foll[i] синтаксиса. Значение long_term_ref_pic_id_delta_len _minus4 должно находиться в диапазоне от 0 до 12, включительно.

Элемент long_term_ref_pic_id_len_delta плюс long_term _ref_pic_id_delta_len_minus4 плюс 4 указывает длину в битах элемента long_term_ref_pic_id_pps[i] синтаксиса. Значение long_term_ref_pic_id_len_delta может находиться в диапазоне от 0 до 28 - long_term_ref_pic_id_delta_len_minus4, включительно. Значение long_term_ref_pic_id_len_delta + long_term_ref_pic_id _delta_len_minus4 + 4 во всех наборах элементов картинки, ссылающихся на один конкретный набор параметров последовательности, может быть идентичным.

Элемент num_long_term_ref_pics_pps указывает количество идентификаторов долгосрочных опорных картинок, включенных в набор параметров картинки. Значение num_long_term _ref_pics_pps может находиться в диапазоне от 0 до 32, включительно.

Элемент long_term_ref_pic_id_pps[i] указывает информацию идентификации i-ой долгосрочной опорной картинки, включенной в набор параметров картинки. Количество бит, используемых для представления long_term_ref_pic_id_pps[i], может быть равно long_term_ref_pic_id_len_delta + long_term_pic _id_len_minus4 + 4.

Таблица 3
Синтаксис набора краткосрочных опорных картинок
short_term_ref_pic_set() { Дескриптор
num_short_term_curr0 ue(v)
num_short_term_curr1 ue(v)
num_short_term_foll0 ue(v)
num_short_term_foll1 ue(v)
NumShortTerm = num_short_term_curr0 + num_short_term_curr1 + num_short_term_foll0 + num_short_term_foll1
for(i=0; i < NumShortTerm; i++)
short_term_ref_pic_id_delta_minus1[i] ue(v)
}

Синтаксис набора краткосрочных опорных картинок может быть для краткосрочных картинок. Краткосрочная картинка может быть определена как опорная картинка для которой информация идентификации включена в структуру short_term_ref_pic_set() синтаксиса для закодированной картинки, включенную либо в заголовок(ки) слайса, либо в упомянутый набор параметров картинки и ссылку посредством элемента short_term_ref_pic_set _idx синтаксиса в заголовке(ах) слайса. Элементы синтаксиса заголовка слайса приведены в Таблице 4 ниже.

Элемент num_short_term_curr0 указывает количество краткосрочных опорных картинок в RefPicSetStCurr0, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывают ниже. Значение num_short_term_curr0 может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Элемент num_short_term_curr1 указывает количество краткосрочных опорных картинок в RefPicSetStCurr1, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывается ниже. Значение num_short_term_curr1 может находиться в диапазоне от 0 до max_num_ref_frames - num_short_term_curr0, включительно.

Элемент num_short_term_foll0 указывает количество краткосрочных опорных картинок в RefPicSetStFoll0, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывают ниже. Значение num_short_term_foll0 может находиться в диапазоне от 0 до max_num_ref_frames - num_short_term_curr0 - num_short_term_curr1, включительно.

Элемент num_short_term_foll1 указывает количество краткосрочных опорных картинок в RefPicSetStFoll1, когда структура short_term_ref_pic_set() синтаксиса используется для получения набора опорных картинок закодированной картинки, как описывают ниже. Значение num_short_term_foll1 должно находиться в диапазоне от 0 до max_num_ref_frames - num_short_term_curr0 - num_short_term_curr1 - num_short_term_foll0, включительно.

Элемент short_term_ref_pic_id_delta_minus1[i] указывает информацию идентификации i-ой краткосрочной опорной картинки, включенной в структуру short_term_ref_pic_set() синтаксиса.

Таблица 4
Синтаксис заголовка слайса
slice_header() { Дескриптор
lightweight_slice_flag u(1)
if(!lightweight_slice_flag) {
slice_type ue(v)
pic_parameter_set_id ue(v)
if(IdrPicFlag) {
idr_pic_id ue(v)
no_output_of_prior_pics_flag u(1)
}
pic_order_cnt_lsb u(v)
if(!IdrPicFlag) {
short_term_ref_pic_set_pps_flag u(1)
if(short_term_ref_pic_set_pps_flag)
short_term_ref_pic_set_idx ue(v)
Else
short_term_ref_pic_set()
if(long_term_ref_pics_present_flag)
long_term_ref_pic_set()

}
if(slice_type ==P || slice_type ==B){
num_ref_idx_active_override_flag u(1)
if(num_ref_idx_active_override_flag){
num_ref_idx_l0_active_minus1 ue(v)
if(slice_type == B)
num_ref_idx_l1_active_minus1 ue(v)
}
}
ref_pic_list_modification()
ref_pic_list_combination()
}
if(entropy_coding_mode_flag && slice_type !=I)
cabac_init_idc ue(v)
first_slice_in_pic_flag u(1)
if(first_slice_in_pic_flag ==0)
slice_address u(v)
if(!lightweight_slice_flag) {
slice_qp_delta se(v)
if(sample_adaptive_offset_enabled_flag)
sao_param()
if(deblocking_filter_control_present_flag){
disable_deblocking_filter_idc
if(disable_deblocking_filter_idc !=1){
slice_alpha_c0_offset_div2
slice_beta_offset_div2

}
}
if(slice_type == B)
collocated_from_l0_flag u(1)
if(adaptive_loop_filter_enabled_flag) {
if(!shared_pps_info_enabled_flag)
alf_param()
alf_cu_control_param()
}
}
}

Элемент no_output_of_prior_pics_flag указывает то, каким образом ранее декодированные картинки в буфере декодированных картинок обрабатываются после декодирования картинки IDR. Когда картинка IDR является первой картинкой IDR в битовом потоке, значение no_output_of_prior_pics_flag может не оказывать влияния на процесс декодирования. Когда картинка IDR не является первой картинкой IDR в битовом потоке и значение pic_width_in_luma_samples или pic_height_in_luma_samples или max_dec_frame_buffering полученное из активного набора параметров последовательности может быть отличным от значения pic_width_in_luma_samples или pic_height_in_luma_samples или max_dec_frame_buffering полученного из набора параметров последовательности активного для предшествующей картинки, то no_output_of_prior_pics_flag равный 1 может, но не обязательно, подразумеваться декодером, независимо от фактического значения no_output_of_prior_pics_flag.

Элемент short_term_ref_pic_set_pps_flag равный 1 указывает на то, что информация идентификации набора из краткосрочных опорных картинок, включенного в набор опорных картинок для текущей картинки присутствует в упомянутом наборе параметров картинки. Элемент short_term_ref_pic_set_pps _flag равный 0 указывает на то, что информация идентификации набора из краткосрочных опорных картинок, включенного в набор опорных картинок для текущей картинки, отсутствует в упомянутом наборе параметров картинки.

Элемент short_term_ref_pic_set_idx указывает индекс структуры short_term_ref_pic_set() синтаксиса, включенной в упомянутый набор параметров картинки, которая включает информацию идентификации набора из краткосрочных опорных картинок в набор опорных картинок для текущей картинки.

Переменная NumShortTermCurr0 и NumShortTermCurr1 задаются в виде:

NumShortTermCurr0 = num_short_term_curr0

NumShortTermCurr1 = num_short_term_curr1

При этом num_short_term_curr0 и num_short_term_curr1 являются элементами синтаксиса с одинаковыми именами, соответственно, в структуре short_term_ref_pic_set() синтаксиса, либо присутствующей в упомянутом наборе параметров картинки и на которую ссылается short_term_ref_pic_set_idx, либо непосредственно присутствующей в заголовке слайса.

Элемент num_ref_idx_l0_active_minus1 указывает максимальный опорный индекс для списка 0 опорных картинок, который должен быть использован для декодирования слайса.

Когда текущий слайс является P или B слайсом и отсутствует num_ref_idx_l0_active_minus1, то может подразумеваться, что num_ref_idx_l0_active_minus1 должен быть равен num_ref_idx_l0_default_active_minus1.

Значение num_ref_idx_l0_active_minus1 может находиться в диапазоне от 0 до 15, включительно.

Элемент num_ref_idx_l1_active_minus1 указывает максимальный опорный индекс для списка 1 опорных картинок, который должен быть использован для декодирования слайса.

Когда текущий слайс является P или B слайсом и отсутствует num_ref_idx_l1_active_minus1, то может подразумеваться, что num_ref_idx_l1_active_minus1 должен быть равен num_ref_idx_l1_default_active_minus1.

Значение num_ref_idx_l1_active_minus1 может находиться в диапазоне от 0 до 15, включительно.

Таблица 5
Синтаксис набора долгосрочных опорных картинок
long_term_ref_pic_set() { Дескриптор
num_long_term_pps_curr ue(v)
num_long_term_add_curr ue(v)
num_long_term_pps_foll ue(v)
num_long_term_add_foll ue(v)
for(i=0; i<num_long_term_ pps_curr + num_long_term_ pps_foll; i++)
long_term_ref_pic_set_idx_pps[i] ue(v)

for(i=0; i<num_long_term_add_curr + num_long_term _add_foll; i++)
long_term_ref_pic_id_delta_add[i] i(v)
}

Синтаксис набора долгосрочных опорных картинок может быть для долгосрочных картинок. Долгосрочная картинка может быть определена как опорная картинка, для которой информация идентификации включена в структуру long_term_ref_pic_set() синтаксиса для закодированной картинки.

Элемент num_long_term_pps_curr указывает количество всех долгосрочных опорных картинок, информация идентификации которых включена в упомянутый набор параметров картинки, и которые могут быть использованы для интер-предсказания текущей картинки. Если num_long_term_pps_curr отсутствует, то значение может быть получено как равное 0. Значение num_long_term_pps_curr может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Элемент num_long_term_add_curr указывает количество всех долгосрочных опорных картинок, информация идентификации которых не включена в упомянутый набор параметров картинки, и которые могут быть использованы для интер-предсказания текущей картинки. Если num_long_term_add_curr отсутствует, то значение может быть получено как равное 0. Значение num_long_term_add_curr может находиться в диапазоне от 0 до max_num_ref_frames - num_long_term_pps_curr, включительно.

Переменная NumLongTermCurr задается в виде:

NumLongTermCurr =num_long_term_pps_curr + num_long_term_add_curr

Элемент num_long_term_pps_foll указывает количество всех долгосрочных опорных картинок, информация идентификации которых включена в упомянутый набор параметров картинки, и которые не используются для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания любой из картинок, следующей за текущей картинкой в очередности декодирования. Если num_long_term_pps_foll отсутствует, то значение может быть получено как равное 0. Значение num_long_term_pps_foll может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Элемент num_long_term_add_foll указывает количество всех долгосрочных опорных картинок, информация идентификации которых не включена в упомянутый набор параметров картинки, которые не используются для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания любой из следующих картинок в очередности декодирования. Если num_long_term_add_foll отсутствует, значение может быть получено как равное 0. Значение num_long_term_add _foll может находиться в диапазоне от 0 до max_num_ref_frames -

num_long_term_pps_foll, включительно.

Элемент long_term_ref_pic_set_idx_pps[i] указывает индекс, для списка информации идентификации долгосрочной опорной картинки, включенного в упомянутый набор параметров картинки, i-ой долгосрочной опорной картинки, наследуемой из упомянутого набора параметров картинки в набор опорных картинок текущей картинки. Значение long_term_ref_pic_set_idx _pps[i] может находиться в диапазоне от 0 до 31, включительно.

Элемент long_term_ref_pic_id_delta_add[i] указывает информацию идентификации долгосрочной опорной картинки i-ой долгосрочной опорной картинки, которая не наследуется из упомянутого набора параметров картинки, но включается в набор опорных картинок текущей картинки. Количество бит, используемое для представления long_term_ref_pic_id_add_curr[i], может быть равно long_term_pic_id_len_minus4+4.

С помощью упомянутых просигнализированных или полученных значений (т.е., значений в Таблицах 1-5), декодер 30 видео может получить набор опорных картинок. Как описано выше, полученный набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для кодирования/предсказания текущей картинки (т.е., картинки, которая декодируется в настоящей момент), и картинок, которые следуют за текущей картинкой в очередности декодирования. В соответствии с методами, описываемыми в данном изобретении, очередность кодирования всех опорных картинок в полученном наборе опорных картинок находится раньше очередности декодирования текущей картинки.

Процесс получения может включать в себя построение набора опорных картинок из множества подмножеств опорных картинок. Данный процесс может вызываться один раз на картинку, после декодирования заголовка слайса, но перед декодированием любой единицы кодирования и перед процессом декодирования для построения списка опорных картинок слайса. Например, из полученных значений и просигнализированных элементов синтаксиса, декодер 30 видео может определять значения POC для опорных картинок, которые принадлежат к набору опорных картинок. Из определенных значений POC, декодер 30 видео может построить подмножества опорных картинок, которые вместе образуют набор опорных картинок. Таким образом, посредством построения подмножеств опорных картинок, декодер 30 видео может построить набор опорных картинок. Например, декодер 30 видео может упорядочить подмножества опорных картинок определенным образом, чтобы получить набор опорных картинок. Упорядочение может относиться к образу, посредством которого декодер 30 видео регистрирует подмножества опорных картинок для получения набора опорных картинок.

Как описано выше, для получения набора опорных картинок, декодер 30 видео может построить множество подмножеств опорных картинок. В некоторых примерах, декодер 30 видео может построить шесть подмножеств опорных картинок. Шесть подмножеств опорных картинок могут быть названы: RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll. RefPicSetStCurr0 может называться RefPicSetStCurrBefore, а RefPicSetStCurr1 может называться RefPicSetStCurrAfter.

Следует понимать, что шесть подмножеств опорных картинок описываются в целях иллюстрации, и они не должны рассматриваться, как накладывающие ограничения. В качестве одного примера, декодер 30 видео может строить меньше подмножеств опорных картинок, чем шесть подмножеств опорных картинок, например, посредством объединения некоторых из подмножеств. Некоторые из этих примеров, при которых декодер 30 видео строит меньше шести подмножеств опорных картинок, описываются ниже. Тем не менее, в целях иллюстрации, методы описываются с примерами, в которых декодер 30 видео строит шесть подмножеств опорных картинок.

Подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1 опорных картинок могут идентифицировать краткосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать краткосрочные опорные картинки на основании того, находятся ли краткосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка, как впрочем, и, могут ли краткосрочные опорные картинки потенциально быть использованы для интер-предсказания текущей картинки и картинок, следующих за текущей картинкой в очередности декодирования, или могут ли потенциально быть использованы для интер-предсказания только картинок, следующих за текущей картинкой в очередности декодирования.

Например, подмножество RefPicSetStCurr0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации, такую как значения POC, всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetStCurr1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Подмножество RefPicSetStFoll0 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения раньше, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки. Подмножество RefPicSetStFoll1 опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех краткосрочных опорных картинок, у которых очередность вывода или отображения позже, чем у текущей картинки, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

Подмножества RefPicSetLtCurr и RefPicSetLtFoll могут идентифицировать долгосрочные опорные картинки. В некоторых примерах, эти подмножества опорных картинок могут идентифицировать долгосрочные опорные картинки на основании того, находятся ли долгосрочные опорные картинки раньше в очередности отображения или позже в очередности отображения, чем текущая кодируемая картинка.

Например, подмножество RefPicSetLtCurr опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании текущей картинки, и которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подмножество RefPicSetLtFoll опорных картинок может включать в себя, и может включать в себя только, информацию идентификации всех долгосрочных опорных картинок, которые могут потенциально быть использованы для ссылки при интер-предсказании одной или более картинок, следующих за текущей картинкой в очередности декодирования, и которые не могут быть использованы для ссылки при интер-предсказании текущей картинки.

Если текущей картинкой, которая должна быть закодирована, является картинка IDR, декодер 30 видео может установить подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок, как пустые подмножества. Это может быть выполнено, поскольку в отношении картинки IDR не может быть выполнено интер-предсказание и поскольку ни одна картинка после картинки IDR в очередности кодирования не может использовать ни одну картинку перед картинкой IDR при декодировании для ссылки. В противном случае (например, когда текущая картинка не является картинкой IDR), декодер 30 видео может строить подмножества краткосрочных опорных картинок и подмножества долгосрочных опорных картинок посредством реализации следующего псевдокода.

Например, когда декодер 30 видео декодирует экземпляр структуры short_term_ref_pic_set() синтаксиса либо в заголовке слайса, либо обращаясь к упомянутому набору опорных картинок, декодер 30 видео может реализовать следующий псевдокод для построения подмножеств RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1 опорных картинок.

cIdx=0

for(i=0, pocPred = PicOrderCnt(CurrPic); i<num_short_term_curr0; pocPred = RefPicSetStCurr0[i], i++, cIdx++)

RefPicSetStCurr0[i] = pocPred - short_term_ref_pic_id_delta_minus1[cIdx]-1

for(i=0, pocPred = PicOrderCnt(CurrPic); i< num_short_term_curr1; pocPred = RefPicSetStCurr1[i], i++, cIdx++)

RefPicSetStCurr1[i]= short_term_ref_pic_id_delta_minus1[cIdx]+1 - pocPred

for(i=0, pocPred = PicOrderCnt(CurrPic); i< num_short_term_foll0; pocPred = RefPicSetStFoll[i], i++, cIdx++)

RefPicSetStFoll0[i] = pocPred - short_term_ref_pic_id_delta_minus1[cIdx]-1

for(i=0, pocPred = PicOrderCnt(CurrPic); i<num_short_term_foll1; pocPred = RefPicSetStFoll[i], i++, cIdx++)

RefPicSetStFoll1[i]= short_term_ref_pic_id_delta_minus1[cIdx]+1 - pocPred

Если декодер 30 видео определяет, что long_term_ref _pics_present_flag равен 0, декодер 30 видео может установить RefPicSetLtCurr и RefPicSetLtFoll как пустые потому, что, в данном случае, отсутствуют долгосрочные опорные картинки. В противном случае, если декодер 30 видео декодирует экземпляр структуры long_term_ref_pic_set() синтаксиса в заголовке слайса, декодер 30 видео может реализовать следующий псевдокод для построения подмножеств RefPicSetLtCurr и RefPicSetLtFoll опорных картинок.

cIdx=0

for(i=0; i<num_long_term_pps_curr; i++, cIdx++)

{

pIdx = long_term_ref_pic_idx_pps[i]

RefPicSetLtCurr[cIdx] = long_term_ref_pic_id_ pps[pIdx]

}

for(i=0; i<num_long_term_add_curr; i++, cIdx++)

{

picIdDelta = long_term_ref_pic_id_delta_add[i]

RefPicSetLtCurr[cIdx] = PicOrderCnt(CurrPic) - picIdDelta

}

cIdx=0

for(i=0; i<num_long_term_pps_foll; i++, cIdx++)

{

pIdx = long_term_ref_pic_idx_pps[i + num_long_term_pps_curr]

RefPicSetLtFoll[cIdx]=long_term_ref_pic_id_ pps[pIdx]

}

for(i=0; i < num_long_term_add_foll; i++, cIdx++)

{

picIdDelta = long_term_ref_pic_id_delta_add[i+ num_long_term_add_curr]

RefPicSetLtFoll[cIdx] = PicOrderCnt(CurrPic) - picIdDelta

}

В соответствии с методами, описываемыми в данном изобретении, опорная картинка с конкретным значением PicOrderCnt (значение POC) может называться включенной в набор опорных картинок закодированной картинки, если опорная картинка включена в любое из шести подмножеств набора опорных картинок данной закодированной картинки. Опорная картинка с конкретным PicOrderCnt называется включенной в конкретное подмножество набора опорных картинок, если конкретное значение PicOrderCnt (значение POC) равно одному из значений PicOrderCnt, включенных в это подмножество.

После построения подмножеств опорных картинок, декодер 30 видео может получить набор опорных картинок. Например, декодер 30 видео может упорядочить подмножества опорных картинок для получения набора опорных картинок. В качестве одного примера, декодер 30 видео может регистрировать подмножество RefPicSetStCurr0 опорных картинок, за которым следует подмножество RefPicSetStCurr1 опорных картинок, за которым следует подмножество RefPicSetStFoll0 опорных картинок, за которым следует подмножество RefPicSetFoll1 опорных картинок, за которым следует подмножество RefPicSetLtCurr опорных картинок, и затем подмножество RefPicSetLtFoll опорных картинок. В качестве другого примера, декодер 30 видео может регистрировать подмножество RefPicSetStCurr0 опорных картинок, за которым следует подмножество RefPicSetStCurr1 опорных картинок, за которым следует подмножество RefPicSetLtCurr опорных картинок, за которым следует подмножество RefPicSetStFoll0 опорных картинок, за которым следует подмножество RefPicSetFoll1 опорных картинок, и затем подмножество RefPicSetLtFoll опорных картинок.

Другие перестановки в отношении способа, посредством которого декодер 30 видео упорядочивает подмножества опорных картинок, могут быть возможны для получения набора опорных картинок. В некоторых примерах, этапы построения подмножеств опорных картинок и получения набора опорных картинок могут быть объединены вместе. Например, построение подмножеств опорных картинок может автоматически приводить к получению декодером 30 видео набора опорных картинок. Другими словами, декодеру 30 видео может не требоваться выполнять разные этапы для построения подмножеств опорных картинок и получения набора опорных картинок, несмотря на то, что для декодера 30 видео может быть возможным сначала построить подмножества опорных картинок, а затем получить набор опорных картинок.

Также, в соответствии с методами, описываемыми в данном изобретении, построение набора опорных картинок описанным выше способом может привести к тому, что декодер 30 видео выполняет следующие ограничения. Например, конкретная опорная картинка с конкретным значением PicOrderCnt может быть не включена более чем в одно из подмножеств опорных картинок набора опорных картинок текущей картинки. Другими словами, опорная картинка, идентифицированная в одном из подмножеств опорных картинок, может быть не идентифицирована в любом из других подмножеств опорных картинок. В качестве другого примера, в полученном наборе опорных картинок, может отсутствовать опорная картинка с temporal_id, значение которого больше, чем у текущей картинки, которая включена в любое из подмножеств опорных картинок, которые образуют набор опорных картинок.

Как описано выше, значение временной идентификации (temporal_id) может быть иерархическим значением, которое указывает, какие картинки могут быть использованы для кодирования/предсказания текущей картинки. В целом, картинка с конкретным значением temporal_id возможно может быть опорной картинкой для картинок с равными или более высокими значениями temporal_id, но не наоборот. Например, картинка со значением temporal_id равным 1 возможно может быть опорной картинкой для картинок со значениями temporal_id равными 1, 2, 3,..., но не для картинки со значением temporal_id равным 0.

Самое низкое значение temporal_id также может указывать на самую низкую частоту отображения. Например, если декодер 30 видео декодирует только картинки со значениями temporal_id равными 0, то частота отображения может быть 7,5 картинок в секунду. Если декодер видео декодирует только картинки со значениями temporal_id равными 0 и 1, то частота отображения может быть 15 картинок в секунду, и т.д.

В некоторых примерах, только картинки со значениями temporal_id меньшими или равными значению temporal_id текущей картинки могут быть включены в набор опорных картинок текущей картинки. Как описано выше, только картинки со значениями temporal_id меньшими или равными значению temporal_id текущей картинки могут быть использованы в качестве опорных картинок. Следовательно, все опорные картинки с более низкими или равными значениями temporal_id могут быть использованы текущей картинкой для интер-предсказания и могут быть включены в набор опорных картинок. Также, некоторые опорные картинки с более высокими значениями temporal_id, чем у текущей картинки, и которые будут использоваться картинками, следующими за текущей картинкой в очередности декодирования и с более высокими значениями temporal_id чем у текущей картинки, исключаются из набора опорных картинок.

С помощью этих методов, для получения набора опорных картинок не требуется сигнализация temporal_id в дополнение к идентификации картинки; следовательно, сигнализация набора опорных картинок становится более эффективной. Например, кодер 20 видео может не сигнализировать значения temporal_id опорных картинок, которые принадлежат к набору опорных картинок, и декодеру 30 видео может не требоваться принимать значения temporal_id опорных картинок, которые принадлежат к набору опорных картинок, в целях получения набора опорных картинок.

Кроме того, таким образом, построенные подмножества опорных картинок могут не идентифицировать опорные картинки со значениями temporal_id большими, чем значение у текущей картинки. Например, декодер 30 видео может быть выполнен с возможностью построения подмножеств опорных картинок, и обеспечения того, что ни одна опорная картинка, идентифицированная в любом из подмножеств опорных картинок, не имеет значение temporal_id большее, чем значение у текущей картинки, потому что согласование битового потока может требовать того, чтобы значения temporal_id не включались в битовый поток, сигнализируемый кодером 20 видео и принимаемый декодером 30 видео. Таким образом, декодер 30 видео может получать набор опорных картинок, не принимая значения временной идентификации для опорных картинок, которые принадлежат к набору опорных картинок.

В вышеприведенных примерах, декодер 30 может строить шесть подмножеств опорных картинок, четыре для краткосрочных опорных картинок (т.е., RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1), и два для долгосрочных опорных картинок (т.е., RefPicSetLtCurr и RefPicSetLtFoll). Тем не менее, аспекты данного изобретения этим не ограничиваются. В других примерах, два или более эти подмножества опорных картинок могут быть объединены в одно подмножество опорных картинок, приводя к меньшему числу подмножеств опорных картинок, которые строит декодер 30 видео. Нижеследующее описывает некоторые не накладывающие ограничений примеры, в которых декодер 30 видео может строить меньшее число подмножеств опорных картинок. Могут существовать другие способы, которыми декодер 30 видео может строить меньшее число подмножеств опорных картинок.

Например, в некоторых примерах, может отсутствовать разделение на подмножество для текущей картинки и подмножество для следующих картинок в очередности декодирования. Следовательно, может существовать два подмножества для краткосрочных опорных картинок, именуемых RefPicSetSt0 и RefPicSetSt1, и может существовать только одно подмножество для долгосрочных опорных картинок, именуемое RefPicSetLt. В данном примере, подмножество RefPicSetSt0 опорных картинок может быть последовательным соединением RefPicSetStCurr0 и RefPicSetStFoll0, при этом RefPicSetStCurr0 находится в начале результата последовательного соединения. В данном примере, подмножество RefPicSetSt1 опорных картинок может быть последовательным соединением RefPicSetStCurr1 и RefPicSetStFoll1, при этом RefPicSetStCurr1 находится в начале результата последовательного соединения. Подмножество RefPicSetLt опорных картинок может быть последовательным соединением RefPicSetLtCurr и RefPicSetLtFoll, при этом RefPicSetLtCurr находится в начале результата последовательного соединения.

В качестве другого примера, может отсутствовать разделение на подмножество с более ранней или более поздней очередностью вывода, чем у текущего кадра. Это может быть применено только к краткосрочным опорным картинкам. Следовательно, может существовать два подмножества для краткосрочных опорных картинок, именуемые как RefPicSetStCurr и RefPicSetStFoll. Подмножество RefPicSetStCurr опорных картинок может быть последовательным соединением RefPicSetStCurr0 и RefPicSetStCurr1, при этом RefPicSetStCurr0 находится в начале результата последовательного соединении. Подмножество RefPicSetStFoll опорных картинок может быть последовательным соединением RefPicSetStFoll0 и RefPicSetStFoll1, при этом RefPicSetStFoll0 находится в начале результата последовательного соединения.

В качестве другого примера, могут не применяться оба типа упомянутых выше разделений. Следовательно, может существовать только одно подмножество для краткосрочных опорных картинок, именуемое RefPicSetSt, и только одно подмножество для долгосрочных опорных картинок, именуемое RefPicSetLt. Подмножество RefPicSetSt опорных картинок может быть последовательным соединением RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1, в зарегистрированной очередности (или любой другой очередности), а RefPicSetLt может быть точно таким же, как то, что приведено выше.

Вышеприведенные методы описывают примерный способ, с помощью которого декодер 30 видео может получить набор опорных картинок. Во время процесса кодирования, кодеру 20 видео также может потребоваться декодировать закодированные картинки в целях кодирования последующих картинок, что именуется процессом восстановления. Соответственно, в некоторых примерах, кодер 20 видео также может быть выполнен с возможностью получения набора опорных картинок. В некоторых примерах, кодер 20 видео может реализовывать те же методы, что реализуются декодером 30 видео, для получения набора опорных картинок. Тем не менее, получение набора опорных картинок посредством кодера 20 видео может не требоваться в каждом примере, и декодер 30 видео может быть единственным компонентом кодирования видео, который получает набор опорных картинок.

Соответственно, в некоторых примерах, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может кодировать (например, кодировать или декодировать, соответственно) информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. Например, кодер 20 видео может сигнализировать закодированный битовый поток, который включает в себя значения для определения того, какие опорные картинки принадлежат к набору опорных картинок. Аналогичным образом, декодер 30 видео может декодировать битовый поток для определения того, какие опорные картинки принадлежат к набору опорных картинок.

Компонент кодирования видео может строить множество подмножеств опорных картинок, каждое из которых идентифицирует ноль или больше опорных картинок. Например, компонент кодирования видео может строить шесть подмножеств опорных картинок (т.е., подмножества RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr, и RefPicSetLtFoll опорных картинок), при этом каждое из подмножеств идентифицирует ноль или больше опорных картинок. В некоторых примерах, компонент кодирования видео может кодировать текущую картинку на основании множества подмножеств опорных картинок.

Например, компонент кодирования видео может получать набор опорных картинок из построенного множества подмножеств опорных картинок. Например, компонент кодирования видео может упорядочивать подмножества опорных картинок в любой очередности для получения набора опорных картинок, или может получать набор опорных картинок в рамках построения подмножеств опорных картинок. В некоторых примерах, из полученного набора опорных картинок, компонент кодирования видео может кодировать текущую картинку. Поскольку набор опорных картинок получается из множества подмножеств опорных картинок, компонент кодирования видео может рассматриваться как кодирующий текущую картинку на основании множества подмножеств опорных картинок.

В некоторых примерах, для того чтобы упорядочить подмножества опорных картинок, компонент кодирования видео может строить подмножества опорных картинок в очередности, в которой подмножества опорных картинок должны быть зарегистрированы в наборе опорных картинок. Например, компонент кодирования видео может сначала строить подмножество RefPicSetLtCurr опорных картинок, затем строить подмножество RefPicSetLtFoll опорных картинок, затем строить подмножество RefPicSetStCurr0 опорных картинок, затем строить подмножество RefPicSetStCurr1 опорных картинок, затем строить подмножество RefPicSetStFoll0 опорных картинок, и затем строить подмножество RefPicSetStFoll1 опорных картинок. В данном иллюстративном примере, очередность подмножеств опорных картинок в наборе опорных картинок может соответствовать очередности RefPicSetLtCurr, RefPicSetLtFoll, RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, и RefPicSetStFoll1, несмотря на то, что возможны другие очередности.

В соответствии с примерными методами, описываемыми в данном изобретении, после получения набора опорных картинок, декодер 30 видео может начать декодирование слайсов в текущей картинке. Часть процесса декодирования задействует построение одного или двух списков опорных картинок. Список опорных картинок является списком из опорных картинок, который используется для предсказания P или B слайса. Применительно к процессу декодирования P слайса, существует один список опорных картинок (Список 0). Применительно к процессу декодирования B слайса, существует два списка опорных картинок (Список 0 и Список 1). Список 0, иногда именуемый списком 0 опорных картинок или RefPicList0, является списком опорных картинок, используемым для интер-предсказания P или B слайса. Все интер-предсказание, используемое для P слайсов, использует Список 0. Список 0 опорных картинок является одним из двух списков опорных картинок, используемых для двунаправленного предсказания B слайса, при этом другим списком является список 1 опорных картинок. Список 1, иногда именуемый списком 1 опорных картинок или RefPicList1, является списком опорных картинок, используемым для предсказания B слайса. Список 1 опорных картинок является одним из двух списков опорных картинок, используемых для предсказания B слайса, при этом другим списком является список 0 опорных картинок. Некоторые блоки в B слайсе могут быть предсказанными посредством двунаправленного предсказания, используя как Список 0, так и Список 1, а некоторые блоки в B слайсе могут быть предсказанными посредством однонаправленного предсказания, используя либо Список 0, либо Список 1.

Для построения списков опорных картинок, декодер 30 видео может реализовывать методов у построения по умолчанию для построения исходного Списка 0, и, применительно к B слайсам, исходного Списка 1. Построение исходного Списка 0 и исходного Списка 1 может именоваться процессом инициализации. В некоторых примерах, закодированный битовый поток может указывать на то, что декодер 30 видео должен модифицировать исходный Список 0 и/или исходный Список 1, для генерирования итогового Списка 0 и итогового Списка 1. Модифицирование исходного Списка 0 и/или исходного Списка 1 может именоваться процессом модифицирования. Процесс модифицирования может не требоваться в каждом примере, и способ, которым декодер 30 видео может реализовывать процесс модифицирования, описывается более подробно ниже. В соответствии с методами, описываемыми в данном изобретении, когда не требуется модифицирование исходного Списка 0 или исходного Списка 1, итоговый Список 0 и итоговый Список 1 (т.е., список 0 или 1 опорных картинок, который используется для декодирования слайса текущей картинки) могут быть равны исходному Списку 0 или исходному Списку 1. Таким образом, может не требоваться переупорядочение списка опорных картинок.

В методах, описываемых в данном изобретении, декодер 30 видео может строить исходный Список 0 или исходный Список 1 таким образом, что декодеру 30 видео может не требоваться выполнение переупорядочения опорных картинок, которые должны быть включены в исходный Список 0 или исходный Список 1, независимо от того, требуется ли процесс модифицирования, поскольку опорные картинки в каждом из подмножеств опорных картинок уже расставлены в правильной очередности. Например, в некоторых других методах, независимо от того, требуется ли процесс модифицирования, требуется переупорядочение опорных картинок, которые должны быть включены в исходный Список 0 или исходный Список 1, в соответствии с их значениями POC, при добавлении или построении списка опорных картинок в исходный Список 0 или исходный Список 1.

В процессе инициализации, декодер 30 видео может реализовывать метод построения по умолчанию для построения исходного Списка 0 и исходного Списка 1. Метод построения по умолчанию означает то, что декодер 30 видео строит исходные списки опорных картинок, не принимая элементы синтаксиса от кодера 20 видео, касающиеся того, каким образом декодер 30 видео должен строить исходные списки опорных картинок, или того, какие опорные картинки должны быть идентифицированы в исходных списках опорных картинок.

Декодер 30 видео может вызывать процесс построения списка опорных картинок при декодировании заголовка P или B слайса. Например, при декодировании P слайса, декодер 30 видео может вызывать процесс построения исходного Списка 0, но может не вызывать процесс построения исходного Списка 1, так как блок в P слайсе предсказывается посредством однонаправленного предсказания по отношению к опорной картинке, идентифицированной в Списке 0. При декодировании B слайса, декодер 30 видео может вызывать процесс для построения исходного Списка 0 и построения исходного Списка 1, так как блок в B слайсе может быть предсказан посредством двунаправленного предсказания по отношению к опорным картинкам, идентифицированным в каждом из Списка 0 и Списка 1.

В соответствии с примерными методами, описываемыми в данном изобретении, декодер 30 видео может использовать подмножества опорных картинок для построения исходного Списка 0 и исходного Списка 1. Например, исходный Список 0 и исходный Список 1 могут регистрировать ноль или больше опорных картинок, идентифицированных в RefPicSetStCurr0, RefPicSetStCurr1, или

RefPicSetLtCurr. В данном примере, когда вызван процесс построения списка опорных картинок, может существовать, по меньшей мере, одна опорная картинка в RefPicSetStCurr0,

RefPicSetStCurr1, и RefPicSetLtCurr. Несмотря на то, что исходный Список 0 и исходный Список 1 могут идентифицировать одну или более опорных картинок из одних и тех же подмножеств опорных картинок, очередность, в которой декодер 30 видео добавляет опорные картинки в исходный Список 0, может отличаться от очередности, в которой декодер 30 видео добавляет опорные картинки в исходный Список 1.

В данном изобретении, когда декодер 30 видео добавляет (например, регистрирует) опорные картинки из одного или более подмножеств опорных картинок в исходный Список 0 или исходный Список 1, данное изобретение относится к декодеру 30 видео, идентифицирующему опорные картинки в исходном Списке 0 или исходном Списке 1. Например, множество подмножеств опорных картинок каждое может идентифицировать ноль или больше опорных картинок. Для построения исходного Списка 0 и исходного Списка 1, декодер 30 видео может идентифицировать одну или более опорных картинок, которые идентифицированы в подмножествах опорных картинок в исходном Списке 0 или исходном Списке 1.

Для того чтобы избежать путаницы и обеспечения ясности, данное изобретение может относиться к декодеру 30 видео, который регистрирует или добавляет ноль или больше опорных картинок, которые идентифицированы в подмножествах опорных картинок, в исходный Список 0 и исходный Список 1, для построения исходного Списка 0 и исходного Списка 1. Таким образом, под декодером 30 видео, который добавляет или регистрирует опорные картинки, понимается декодер 30 видео, который добавляет или регистрирует идентификатор опорной картинки, идентифицированный в подмножестве опорных картинок. Соответственно, результирующий исходный Список 0 и исходный Список 1 включают в себя множество идентификаторов для опорных картинок, которые могут потенциально быть использованы для кодирования блока или слайса текущей картинки. Эти опорные картинки хранятся в соответствующих буферах декодированных картинок декодера 30 видео и кодера 20 видео.

Например, для построения исходного Списка 0, декодер 30 видео может сначала регистрировать (например, добавлять) в исходном Списке 0 опорные картинки, идентифицированные в RefPicSetStCurr0, за которыми в исходном Списке 0 следуют опорные картинки, идентифицированные в RefPicSetStCurr1, и затем в исходном Списке 0 следуют опорные картинки, идентифицированные в RefPicSetLtCurr. Для построения исходного Списка 1, декодер 30 видео может сначала регистрировать (например, добавлять) в исходном Списке 1 опорные картинки, идентифицированные в RefPicSetStCurr1, за которыми в исходном Списке 1 следуют опорные картинки, идентифицированные в RefPicSetStCurr0, и затем в исходном Списке 1 следуют опорные картинки, идентифицированные в RefPicSetLtCurr.

Более того, в дополнение к добавлению опорных картинок из подмножеств опорных картинок в разной очередности, декодер 30 видео может использовать разное количество опорных картинок из каждого из подмножеств опорных картинок, при построении Списка 0 и Списка 1. Например, Список 0 и Список 1 не обязательно должны включать в себя все опорные картинки из RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr. Наоборот, количество опорных картинок, которое регистрируется из этих примерных подмножеств опорных картинок для построения исходного Списка 0 и исходного Списка 1, может быть основано на элементах синтаксиса, которые указывают максимальное количество опорных картинок в каждом из исходного Списка 0 и исходного Списка 1.

Например, применительно к исходному Списку 0, кодер 20 видео может сигнализировать элемент num_ref_idx_l0_active_minus1 синтаксиса для P и B слайсов в заголовке слайса, и элемент num_ref_idx_l1_active_minus1 синтаксиса для B слайсов, которые являются предсказываемыми посредством двунаправленного предсказания. Как описано выше, num_ref_idx_l0_active_minus1 может определять максимальное количество опорных картинок, которые могут находиться в исходном Списке 0, а num_ref_idx_l1_active_minus1 может определять максимальное количество опорных картинок, которые могут находиться в исходном Списке 1. В некоторых примерах, может существовать возможность того, что значение num_ref_idx_l0_active_minus1 отличается от значения num_ref_idx_l1_active_minus1, несмотря на то, что это не является необходимым в каждом примере. В некоторых примерах, значение num_ref_idx_l0_active_minus1 может быть точно таким же, что и значение num_ref_idx_l1_active_minus1.

Как описано выше, декодер 30 видео может принимать в закодированном битовом потоке значения для num_short_term_curr0 и num_short_term_curr1. Декодер 30 видео может задавать переменную NumShortTermCurr0 равной num_short_term_curr0 и задавать переменную NumShortTermCurr1 равной num_short_term _curr1. NumShortTermCurr0 может указывать количество опорных картинок в подмножестве RefPicSetStCurr0 опорных картинок, а NumShortTermCurr1 может указывать количество опорных картинок в подмножестве RefPicSetStCurr1 опорных картинок.

Декодер 30 видео также может принимать в закодированном битовом потоке значения для num_long_term_pps_curr и num_long_term_add_curr. Декодер 30 видео может задавать переменную NumLongTermCurr равной num_long_term_pps_curr плюс

num_long_term_add_curr. NumLongTermCurr может указывать количество опорных картинок в RefPicSetLtCurr.

Для построения исходного Списка 0, декодер 30 видео может сначала добавлять опорные картинки из RefPicSetStCurr0 в исходный Список 0 до тех пор, пока декодер 30 видео не добавит все опорные картинки из RefPicSetStCurr0 в исходный Список 0, и пока количество записей в исходном Списке 0 (например, количество опорных картинок, идентифицированных в Списке 0) меньше либо равно num_ref_idx_l0_active_minus1. Например, NumShortTermCurr0 может указывать количество опорных картинок в подмножестве RefPicSetStCurr0 опорных картинок. В данном примере, декодер 30 видео может регистрировать (например, добавлять) опорные картинки из подмножества RefPicSetStCurr0 опорных картинок до тех пор, пока количество опорных картинок вносимых в список из RefPicSetStCurr0 не станет равно NumShortTermCurr0. Тем не менее, при регистрации опорных картинок из RefPicSetStCurr0 в исходном Списке 0, если общее количество записей в исходном Списке 0 равно num_ref_idx_l0_active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr0, которые не были зарегистрированы в исходном Списке 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0.

После того, как декодер 30 видео зарегистрировал все опорные картинки из подмножества RefPicSetStCurr0 опорных картинок и общее количество записей в исходном Списке 0 меньше num_ref_idx_l0_active_minus1, затем декодер 30 видео может добавлять опорные картинки из RefPicSetStCurr1 до тех пор, пока декодер 30 видео не идентифицирует все опорные картинки из RefPicSetStCurr1, и пока количество записей в исходном Списке 0 (например, количество опорных картинок идентифицированных в Списке 0) меньше либо равно num_ref_idx_l0_active_minus1. Например, подобно вышеприведенному, NumShortTermCurr1 может указывать количество опорных картинок в подмножестве RefPicSetStCurr1 опорных картинок. В данном примере, декодер 30 видео может регистрировать опорные картинки из подмножества RefPicSetStCurr1 опорных картинок до тех пор, пока количество опорных картинок, зарегистрированных из RefPicSetStCurr1, не станет равно NumShortTermCurr1. Тем не менее, при регистрации опорных картинок из RefPicSetStCurr1, если общее количество записей в исходном Списке 0 равно num_ref_idx_l0_active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr1 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr1, которые не были зарегистрированы в исходном Списке 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0.

После того, как декодер 30 видео зарегистрирует все опорные картинки из подмножества RefPicSetStCurr1 опорных картинок и общее число записей в исходном Списке 0 меньше num_ref_idx_l0_active_minus1, затем декодер 30 видео может регистрировать опорные картинки из RefPicSetLtCurr до тех пор, пока декодер 30 видео не зарегистрирует все опорные картинки из RefPicSetLtCurr, и пока количество записей в исходном Списке 0 (например, количество опорных картинок идентифицированных в Списке 0) меньше либо равно num_ref_idx_l0_active_minus1. Например, подобно вышеприведенному, NumLongTermCurr может указывать количество опорных картинок в подмножестве RefPicSetLtCurr опорных картинок. В данном примере, декодер 30 видео может регистрировать опорные картинки из подмножества RefPicSetLtCurr опорных картинок до тех пор, пока количество опорных картинок, зарегистрированных из RefPicSetLtCurr, не станет равно NumLongTermCurr. Тем не менее, при регистрации опорных картинок из RefPicSetLtCurr, если общее количество записей в исходном Списке 0 равно num_ref_idx_l0_active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetLtCurr опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetLtCurr, которые не были зарегистрированы в исходном Списке 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0.

Нижеследующий псевдокод иллюстрирует способ, посредством которого декодер 30 видео может строить исходный Список 0.

cIdx=0

while(cIdx<=num_ref_idx_l0_active_minus1)

{

for(i=0; i<NumShortTermCurr0 && cIdx<=num_ref_idx_l0_active_minus1; cIdx++, i++)

RefPicList0[cIdx] = RefPicSetStCurr0[i]

for(i=0; i<NumShortTermCurr1 && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++)

RefPicList0[cIdx]=RefPicSetStCurr1[i]

for(i=0; i<NumLongTermCurr && cIdx <= num_ref_idx_l0_active_minus1; cIdx++, i++)

RefPicList0[cIdx] = RefPicSetLtCurr[i]

}

В вышеприведенном псевдокоде, RefPicList0 может быть исходным Списком 0. В примерах, где не требуется модифицирование Списка 0, итоговый Список 0 может быть равен исходному Списку 0. Вследствие этого, в примерах, где модифицирование Списка 0 не требуется, RefPicList0, в вышеприведенном псевдокоде, может быть итоговым Списком 0.

Декодер 30 видео может подобным образом строить исходный Список 1. Тем не менее, для построения исходного Списка 1, декодер 30 видео может сначала добавлять опорные картинки из подмножества RefPicSetStCurr1 опорных картинок в исходный Список 1, после чего из подмножества RefPicSetStCurr0 опорных картинок в исходный Список 1, и после чего из подмножества RefPicSetLtCurr опорных картинок в исходный Список 1. Также, подобно вышеприведенному, если, при регистрировании опорных картинок из любого из подмножеств RefPicSetStCurr1, RefPicSetStCurr0, и RefPicSetLtCurr опорных картинок, общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, декодер 30 видео может останавливать добавление опорных картинок, даже если присутствуют дополнительные опорные картинки в этих подмножествах опорных картинок.

Например, для построения исходного Списка 1, декодер 30 видео может сначала регистрировать опорные картинки из RefPicSetStCurr1 до тех пор, пока декодер 30 видео не идентифицирует все опорные картинки из RefPicSetStCurr1, и пока количество записей в исходном Списке 1 (например, количество опорных картинок, идентифицированных в Списке 1) меньше либо равно num_ref_idx_l1_active_minus1. Например, значение NumShortTermCurr1 может указывать, когда декодер 30 видео завершает регистрирование всех опорных картинок из подмножества RefPicSetStCurr1 опорных картинок. Тем не менее, при регистрировании опорных картинок из RefPicSetStCurr1, если общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr1 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr1, которые не были зарегистрированы в исходном Списке 1. В данном случае, декодер 30 видео может завершать построение исходного Списка 1.

После того как декодер 30 видео регистрирует все опорные картинки из подмножества RefPicSetStCurr1 опорных картинок и общее количество записей в исходном Списке 1 меньше num_ref_idx_l1_active_minus1, затем декодер 30 видео может регистрировать опорные картинки из RefPicSetStCurr0 до тех пор, пока декодер 30 видео не зарегистрирует все опорные картинки из RefPicSetStCurr0, и пока количество записей в исходном Списке 1 (например, количество опорных картинок, идентифицированных в Списке 1) меньше либо равно num_ref_idx_l1_active_minus1. Например, подобно вышеприведенному, значение NumShortTermCurr0 может указывать, когда декодер 30 видео завершает регистрирование всех опорных картинок из подмножества RefPicSetStCurr0 опорных картинок. Тем не менее, при регистрировании опорных картинок из RefPicSetStCurr0, если общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetStCurr0, которые не были зарегистрированы в исходном Списке 1. В данном случае, декодер 30 видео может завершать построение исходного Списка 1.

После того как декодер 30 видео регистрирует все опорные картинки из подмножества RefPicSetStCurr0 опорных картинок и общее количество записей в исходном Списке 1 меньше num_ref_idx_l1_active_minus1, затем декодер 30 видео может регистрировать опорные картинки из RefPicSetLtCurr до тех пор, пока декодер 30 видео не зарегистрирует все опорные картинки из RefPicSetLtCurr, и пока количество записей в исходном Списке 1 (например, количество опорных картинок, идентифицированных в Списке 1) меньше либо равно num_ref_idx_l1_active_minus1. Например, подобно вышеприведенному, значение NumLongTermCurr может указывать, когда декодер 30 видео завершает регистрирование всех опорных картинок из подмножества RefPicSetLtCurr опорных картинок. Тем не менее, при регистрировании опорных картинок из RefPicSetLtCurr, если общее количество записей в исходном Списке 1 равно num_ref_idx_l1 _active_minus1, тогда декодер 30 видео может останавливать добавление опорных картинок из подмножества RefPicSetLtCurr опорных картинок, даже если присутствуют дополнительные картинки в RefPicSetLtCurr, которые не были зарегистрированы в исходном Списке 1. В данном случае, декодер 30 видео может завершать построение исходного Списка 1.

Нижеследующий псевдокод иллюстрирует способ, посредством которого декодер 30 видео может строить исходный Список 1.

cIdx=0

while(cIdx <= num_ref_idx_l1_active_minus1)

{

for(i=0; i<NumShortTermCurr1 && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++)

RefPicList1[cIdx] = RefPicSetStCurr1[i]

for(i=0; i<NumShortTermCurr0 && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++)

RefPicList1[cIdx] = RefPicSetStCurr0[i]

for(i=0; i< NumLongTermCurr && cIdx <= num_ref_idx_l1_active_minus1; cIdx++, i++

RefPicList1[cIdx] = RefPicSetLtCurr[i]

}

В вышеприведенном псевдокоде, RefPicList1 может быть исходным Списком 1. В примерах, где не требуется модифицирование Списка 1, итоговый Список 1 может быть равен исходному Списку 1. Вследствие этого, в примерах, где не требуется модифицирование Списка 1, RefPicList1, в вышеприведенном псевдокоде, может быть итоговым Списком 1.

Предшествующее является одним примером способа, посредством которого декодер 30 видео может строить итоговый список 0 и итоговый список 1, когда не требуется модифицирование списка опорных картинок. В других примерах, декодер 30 видео может добавлять подмножества опорных картинок в очередностях отличных от тех, что описаны выше. В еще одних некоторых примерах, декодер 30 видео может добавлять подмножества опорных картинок отличные от тех, что описаны выше.

Несмотря на то, что предшествующие примеры описывают методы для построения списка опорных картинок, выполняемые декодером 30 видео, аспекты данного изобретения этим не ограничиваются, и кодер 20 видео может реализовывать аналогичные методы для построения списков опорных картинок. Тем не менее, для кодера 20 видео может быть не обязательным выполнение построения списков опорных картинок способом, аналогичным тому, посредством которого декодер 30 видео строит списки опорных картинок.

Соответственно, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может быть выполнен с возможностью кодирования (например, кодирования или декодирования) информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. Как описано выше, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Компонент кодирования видео также может быть выполнен с возможностью построения множества подмножеств опорных картинок, каждое из которых идентифицирует ноль или больше опорных картинок. Например, компонент кодирования видео может строить, по меньшей мере, подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Компонент кодирования видео может строить дополнительные подмножества опорных картинок, такие как те, что описаны выше.

Затем, компонент кодирования видео может добавлять в исходный список опорных картинок опорные картинки из первого подмножества опорных картинок, после чего опорные картинки из второго подмножества опорных картинок, и после чего опорные картинки из третьего подмножества опорных картинок, пока количество записей исходного списка опорных картинок не больше максимального количества разрешенных записей списка опорных картинок. Например, компонент кодирования видео может регистрировать опорные картинки из подмножества RefPicSetStCurr0 опорных картинок, после чего из подмножества RefPicSetStCurr1 опорных картинок, и после чего из подмножества RefPicSetLtCurr, в исходном Списке 0 до тех пор, пока количество записей в исходном Списке 0 не больше num_ref_idx_l0_active_minus1. Вновь, значение num_ref_idx_l0_active_minus1 может указывать максимальное количество разрешенных записей списка опорных картинок для Списка 0.

В некоторых примерах, компонент кодирования видео может добавлять опорные картинки из первого подмножества опорных картинок в исходный список опорных картинок до тех пор, пока все опорные картинки из первого подмножества опорных картинок не будут зарегистрированы в исходном списке опорных картинок или количество записей исходного списка опорных картинок не станет равно максимальному количеству разрешенных записей списка опорных картинок. Когда количество записей исходного списка опорных картинок меньше максимального количества разрешенных записей списка опорных картинок, и после добавления опорных картинок из первого подмножества опорных картинок, компонент кодирования видео может добавлять опорные картинки из второго подмножества опорных картинок в исходный список опорных картинок пока все опорные картинки из второго подмножества опорных картинок не будут зарегистрированы в исходном списке опорных картинок или количество записей исходного списка опорных картинок не станет равно максимальному количеству разрешенных записей списка опорных картинок. Когда количество записей исходного списка опорных картинок меньше максимального количества разрешенных записей списка опорных картинок, и после добавления опорных картинок из второго подмножества опорных картинок, компонент кодирования видео может добавлять опорные картинки из третьего подмножества опорных картинок в исходный список опорных картинок пока все опорные картинки из третьего подмножества опорных картинок не будут зарегистрированы в исходном списке опорных картинок или количество записей исходного списка опорных картинок не станет равно максимальному количеству разрешенных записей списка опорных картинок.

Подобным образом компонент кодирования видео может строить исходный Список 1. Например, компонент кодирования видео может добавлять в исходный Список 1 опорные картинки из второго подмножества опорных картинок, после чего опорные картинки из первого подмножества опорных картинок, и после чего опорные картинки из третьего подмножества опорных картинок, пока количество записей исходного списка опорных картинок в исходном Списке 1 не больше num_ref_idx_l1_active_minus1. Элемент num_ref_idx_l1_active _minus1 синтаксиса может определять максимальное количество разрешенных записей в Списке 1.

В некоторых примерах, таких как, когда не требуется модифицирование, исходный Список 0 и исходный Список 1 могут быть равны итоговому Списку 0 и итоговому Списку 1. Другими словами, компонент кодирования видео может строить итоговый Список 0 и итоговый Список 1, не модифицируя исходный Список 0 и исходный Список 1, когда модифицирование не требуется. В этих случаях, после построения исходного Списка 0 и исходного Списка 1, компоненту кодирования видео может не требоваться выполнение дополнительных этапов для построения итогового Списка 0 и итогового Списка 1 (т.е., списков опорных картинок, которые компонент кодирования видео использует для кодирования блока текущей картинки).

Как указано в вышеприведенном псевдокоде, декодер 30 видео может строить исходный Список 0, до тех пор, пока cIdx меньше либо равна num_ref_idx_l0_active_minus1, и может строить исходный Список 1, до тех пор, пока cIdx меньше либо равна num_ref_idx_l1_active_minus1. Это может привести к тому, что декодер 30 видео, строит исходный Список 0 и исходный Список 1 без какой-либо незавершенной записи в списках опорных картинок. Например, в некоторых других методах кодирования видео, декодер видео применительно к этим другим видео методам будет строить исходный Список 0 и Список 1, используя методы, отличные от тех, что описываются в данном изобретении. Применительно к этим другим методам кодирования видео, если количество записей в исходном Списке 0 и исходном Списке 1 было меньше максимального разрешенного количества записей, декодер видео этих других методов кодирования видео, будет заполнять оставшиеся записи в Списке 0 и Списке 1 с помощью «нет опорной картинки» для незавершенных записей. Незавершенные записи относятся к записям в Списке 0 и Списке 1 после последней записи, которая идентифицирует опорную картинку вплоть до последней возможной записи.

В качестве иллюстративного примера, декодер видео применительно к этим другим методам кодирования видео может строить Список 0 с пятью записями, при этом максимальное количество разрешенных записей составляет десять записей. В данном примере, декодер видео применительно к этим другим методам кодирования видео будет заполнять с шестой по десятую запись как «нет опорной картинки». В данном примере, незавершенными записями будут с шестой записи (например, записи после последней записи, которая идентифицирует опорную картинку) вплоть до десятой записи (например, последней возможной записи, как определено максимальным количеством разрешенных записей).

В соответствии с методами данного изобретения, декодер 30 видео может строить исходный Список 0 и исходный Список 1 таким образом, что отсутствуют незавершенные записи. Также, в примерах, где не требуется модифицирования списка опорных картинок, итоговый Список 0 и итоговый Список 1 могут быть равны исходному Списку 0 и исходному Списку 1. Вследствие этого, в примерах, где не требуется модифицирование списка опорных картинок, декодер 30 видео может строить итоговый Список 0 и итоговый Список 1 таким образом, что отсутствуют незавершенные записи. Даже в тех случаях, где требуется модифицирование списка опорных картинок, модифицирование может не приводить к каким-либо незавершенным записям. Вследствие этого, даже в примерах, где требуется модифицирование списка опорных картинок, декодер 30 видео может строить итоговый Список 0 и итоговый Список 1 таким образом, что отсутствуют незавершенные записи.

Например, Список 0 и Список 1 могут быть рассмотрены в качестве списков с записями, и каждая запись может идентифицировать опорную картинку (например, посредством ее значения POC). Другими словами, декодер 30 видео может идентифицировать опорную картинку посредством ее значения POC в каждой записи Списка 0 и Списка 1. Количество записей в Списке 0 и Списке 1 может быть определено посредством элементов num_ref_idx_l0_active_minus1 и num_ref_idx_l1_active_minus1 синтаксиса, соответственно.

Для того чтобы гарантировать отсутствие незавершенных записей, декодер 30 видео может неоднократно регистрировать (например, добавлять или идентифицировать) опорные картинки из подмножеств опорных картинок в исходном Списке 0 и исходном Списке 1 до тех пор, пока декодер 30 видео не определяет, какая опорная картинка должна быть идентифицирована в каждой возможной записи исходного Списка 0 и исходного Списка 1. Например, как описано выше, для построения исходного Списка 0, после добавления опорных картинок из подмножеств RefPicSetStCurr0 и RefPicSetStCurr1 опорных картинок в исходный Список 0, декодер 30 видео может добавлять опорные картинки из подмножества RefPicSetLtCurr опорных картинок в исходный Список 0.

В некоторых примерах, может существовать возможность того, что общее количество записей в исходном Списке 0 меньше максимального количества разрешенных записей в Списке 0 после того, как декодер 30 видео добавляет опорные картинки из подмножества RefPicSetLtCurr опорных картинок в исходный Список 0. Например, в псевдокоде для построения исходного Списка 0, переменная cIdx может указывать количество записей в Списке 0. В некоторых примерах, после того, как декодер 30 видео идентифицирует опорные картинки из RefPicSetLtCurr в исходном Списке 0, значение cIdx может быть меньше num_ref_idx_l0_active _minus1, где num_ref_idx_l0_active_minus1 указывает максимальное количество разрешенных записей в Списке 0.

В соответствии с методами, описываемыми в данном изобретении, после регистрирования опорных картинок из трех из множества подмножеств опорных картинок, если количество записей в исходном Списке 0 меньше максимального количества разрешенных записей, то декодер 30 видео может неоднократно добавлять опорные картинки из трех подмножеств опорных картинок до тех пор, пока не будут заполнены все записи в Списке 0. Например, после того, как декодер 30 видео добавляет опорные картинки из подмножества RefPicSetLtCurr опорных картинок и количество записей в исходном Списке 0 меньше максимального количества разрешенных записей, то затем декодер 30 видео может повторно регистрировать (например, повторно добавлять или повторно идентифицировать) опорные картинки из подмножества RefPicSetStCurr0 опорных картинок.

В аспектах, описываемых в данном изобретении, когда декодер 30 видео регистрирует опорные картинки из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок, декодер 30 видео может быть рассмотрен как добавляющий опорные картинки из этого множества подмножеств опорных картинок в первый набор записей в списке опорных картинок (например, Списке 0). Например, первым набором записей могут быть записи в списке опорных картинок, в которых декодер 30 видео идентифицирует опорные картинки из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Затем, если количество записей в списке опорных картинок меньше максимального разрешенного количества записей, декодер 30 видео может повторно регистрировать (например, повторно добавлять или повторно идентифицировать) одну или более опорных картинок, по меньшей мере, из одного из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок в записях в списке опорных картинок, которые являются следующими за первым набором записей. Записи, следующие за первым набором записей могут быть записями, которые следуют за первым набором записей, в которые декодер 30 видео добавляет уже зарегистрированные опорные картинки из одного или боле подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок, как описано ниже.

Если, при повторном добавлении опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, общее количество записей в исходном списке 0 равно num_ref_idx_l0_active_minus1, декодер 30 видео может останавливать повторное добавление опорных картинок в исходный Список 0. В данном случае, декодер 30 видео может завершать построение исходного Списка 0, и в нем могут отсутствовать незавершенные записи. В противном случае, декодер 30 видео может повторно добавлять опорные картинки из подмножества RefPicSetStCurr0 опорных картинок до тех пор, пока все опорные картинки из подмножества RefPicSetStCurr0 опорных картинок не будут повторно зарегистрированы.

Если после повторного добавления всех опорных картинок из подмножества RefPicSetStCurr0 опорных картинок, количество записей в исходном Списке 0 меньше num_ref_idx_l0_active_minus1, то затем декодер 30 видео может повторно добавлять опорные картинки из подмножества RefPicSetStCurr1 опорных картинок, способом аналогичным тому, посредством которого декодер 30 видео повторно регистрирует опорные картинки из подмножества RefPicSetStCurr0 опорных картинок. Если после повторного добавления всех опорных картинок из подмножества RefPicSetStCurr1 опорных картинок, количество записей в исходном Списке 0 меньше num_ref_idx_l0 _active_minus1, то затем декодер 30 видео может повторно добавлять опорные картинки из подмножества RefPicSetLtCurr опорных картинок, способом аналогичным тому, посредством которого декодер 30 видео повторно регистрирует опорные картинки из подмножеств RefPicSetStCurr0 и RefPicSetStCurr1 опорных картинок. Декодер 30 видео неоднократно добавляет опорные картинки из подмножеств опорных картинок до тех пор, пока количество записей в исходном Списке 0 не станет равно максимальному количеству разрешенных записей для Списка 0 (т.е., равно num_ref_idx_l0_active_minus1).

Используемые в данном изобретении понятия повторной регистрации или повторного добавления относятся к добавлению вновь (например, идентификации вновь) опорной картинки, которая была ранее добавлена (например, идентифицирована) в исходный список опорных картинок. Тем не менее, при повторном добавлении опорной картинки, опорная картинка может быть расположена в двух разных записях в исходном списке опорных картинок. Другими словами, при повторном добавлении опорной картинки, может присутствовать два значения индекса в исходном списке опорных картинок, которые идентифицируют одну и ту же опорную картинку.

Например, предположим, что присутствует одна опорная картинка в RefPicSetStCurr0, одна опорная картинка в RefPicSetCurr1, и одна опорная картинка в RefPicSetLtCurr. Также предположим, что num_ref_idx_l0_active_minus1 равен пяти. В данном примере, декодер 30 видео может идентифицировать опорную картинку из RefPicSetStCurr0 в двух записях в исходном Списке 0. Например, декодер 30 видео может идентифицировать опорную картинку из RefPicSetStCurr0 в первой записи исходного Списка 0 и повторно идентифицировать опорную картинку из RefPicSetStCurr0 в четвертой записи исходного Списка 0. В данном примере, значение индекса для опорной картинки в RefPicSetStCurr0 может быть index[0] для первой записи в исходном списке 0, и index[3] для четвертой записи в исходном списке 0. Соответственно, в некоторых примерах, одна опорная картинка из одного из подмножеств опорных картинок может быть зарегистрирована (например, идентифицирована) более одного раза в исходных списках опорных картинок.

Декодер 30 видео может подобным образом строить исходный Список 1, так что отсутствуют незавершенные записи в исходном Списке 1. Например, декодер 30 видео может неоднократно добавлять опорные картинки из подмножеств RefPicSetStCurr1, RefPicSetStCurr0, и RefPicSetLtCurr, в такой очередности, до тех пор, пока количество записей в исходном Списке 1 не станет равно максимальному количеству разрешенных записей в Списке 1 (т.е., равно num_ref_idx_l1_active_minus1).

Таким образом, из-за того что циклы с параметром вложены в цикл с предусловием, в вышеприведенном псевдокоде для построения исходного Списка 0 и исходного Списка 1, декодер 30 видео может строить исходный Список 0 и исходный Список 1 таким образом, что отсутствуют незавершенные записи в исходном Списке 0 и исходном Списке 1 (т.е., отсутствуют незавершенные записи после процесса инициализации). В некоторых примерах, каждая из записей в исходном Списке 0 и исходном Списке 1 может идентифицировать опорную картинку из одного из подмножеств опорных картинок. В некоторых примерах, существует возможность того, что одна или более опорных картинок из одного из подмножеств опорных картинок идентифицируется больше чем один раз в итоговых списках опорных картинок, но в разных записях с разными значениями индекса.

Несмотря на то, что предшествующие примеры описывают методы для построения списка опорных картинок без незавершенных записей, как выполняемые декодером 30 видео, аспекты данного изобретения этим не ограничиваются, и кодер 20 видео может реализовывать подобные методы для построения списков опорных картинок без незавершенных записей. Тем не менее, для кодера 20 видео может отсутствовать необходимость выполнения построения списков опорных картинок образом аналогичным тому, посредством которого строит списки опорных картинок декодер 30 видео.

Соответственно, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео), может быть выполнен с возможностью кодирования (например, кодирования или декодирования) информации, указывающей опорные картинки, которые принадлежат к набору опорных картинок. Как описано выше, набор опорных картинок идентифицирует опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Компонент кодирования видео может строить множество подмножеств опорных картинок, каждое из которых идентифицирует ноль или больше опорных картинок (например, подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок). Компонент кодирования видео может регистрировать (например, идентифицировать или добавлять) опорные картинки из множества подмножеств опорных картинок в первый набор записей в списке опорных картинок. Компонент кодирования видео может определять, равно ли количество записей в списке опорных картинок максимальному количеству разрешенных записей в списке опорных картинок.

Когда количество записей в списке опорных картинок не равно максимальному количеству разрешенных записей в списке опорных картинок, компонент кодирования видео может неоднократно повторно добавлять (например, повторно идентифицировать) одну или более опорных картинок, по меньшей мере, из одной из опорных картинок в записи в списке опорных картинок, которые являются следующими за первым набором записей, до тех пор, пока количество записей в списке опорных картинок не станет равно максимальному количеству разрешенных записей в списке опорных картинок. Компонент кодирования видео затем может кодировать текущую картинку на основании построенного списка опорных картинок.

Как описано выше, в некоторых примерах, кодер 20 видео может сигнализировать элементы синтаксиса, которые предписывают декодеру 30 видео модифицировать исходный список или списки опорных картинок. Например, декодер 30 видео может строить исходный список или списки опорных картинок описанным выше способом. Тогда, в некоторых случаях, декодер 30 видео может декодировать элементы синтаксиса из закодированного битового потока, которые предписывают декодеру 30 видео модифицировать исходный список или списки опорных картинок, для построения итогового списка или списков опорных картинок. В целом, при модифицировании, декодер 30 видео может сопоставлять одну или более картинок, идентифицированных в одном или более из множества подмножеств опорных картинок, с записью одного из списков опорных картинок после инициализации списка опорных картинок.

Например, после того как декодер 30 видео строит исходный список или списки опорных картинок описанным выше способом, декодер 30 видео может модифицировать, по меньшей мере, одну из записей в одном из исходных списков опорных картинок образом, который предписывается закодированным битовым потоком. Например, кодер 20 видео может указывать в рамках элементов синтаксиса модифицирования, какая картинка из одного из множества подмножеств опорных картинок должна быть идентифицирована в записи списка опорных картинок, даже несмотря на то, что запись списка опорных картинок может уже идентифицировать опорную картинку в рамках процесса инициализации. В некоторых примерах, методы модифицирования списка опорных картинок, описываемые в данном изобретении, могут обеспечить возможность модифицирования гибким образом. Например, декодеру 30 видео может быть предоставлена возможность идентификации в одном или обоих списках опорных картинок опорной картинки, которая не присутствует в исходных списках опорных картинок.

Используемая в данном изобретении фраза «модифицированный список опорных картинок» относится к списку опорных картинок после модифицирования исходного списка опорных картинок. Модифицированный список опорных картинок может быть итоговым списком опорных картинок. Количество записей в модифицированном списке опорных картинок равно num_ref_idx_l0 _active_minus1+1 для Списка 0, и num_ref_idx_l1_active_minus1+1 для Списка 1. Опорная картинка может появляться под более чем одним индексом (например, записью) в модифицированных ссылочных списках применительно к Списку 0 и Списку 1.

Применительно к модифицированию списка опорных картинок, кодер 20 видео может сигнализировать элементы синтаксиса Таблицы 6.

Таблица 6
Синтаксис Модифицирования Списка Опорных Картинок
ref_pic_list_modification() { Дескриптор
if(slice_type != 2) {
ref_pic_list_modification_flag_l0 u(1)
if(ref_pic_list_modification_flag_l0)
do {
modification_of_ref_pic_ idc ue(v)
if(modification_of_ref_pic_idc !=3)
ref_pic_set_idx
} while(modification_of_ref_pic_idc !=3)
}
if(slice_type == 1) {
ref_pic_list_modification_flag_l1 u(1)
if(ref_pic_list_modification_flag_l1)
do {
modification_of_ref_pic_ idc ue(v)
if(modification_of_ref_pic_idc != 3)
ref_pic_set_idx
} while(modification_of_ref_pic_idc != 3)
}
}

Элементы modification_of_ref_pic_idc, short_term_ref _pic_set_idx и long_term_ref_pic_set_idx синтаксиса могут указывать изменение по отношению к исходным спискам опорных картинок в списках опорных картинок, которые должны использоваться для декодирования слайса.

Элемент ref_pic_list_modification_flag_l0 равный 1 может указывать на то, что присутствует элемент modification_of _ref_pic_idc синтаксиса для указания списка 0 опорных картинок. Элемент ref_pic_list_modification_flag_l0 равный 0 указывает на то, что данный элемент синтаксиса отсутствует.

Когда элемент ref_pic_list_modification_flag_l0 равен 1, то количество раз, которое modification_of_ref_pic_idc не равен 3 вслед за ref_pic_list_modification_flag_l0 может не превышать num_ref_idx_l0_active_minus1 + 1.

Элемент ref_pic_list_modification_flag_l1 равный 1 может указывать на то, что присутствует элемент modification_of _ref_pic_idc синтаксиса для указания списка 1 опорных картинок. Элемент ref_pic_list_modification_flag_l1 равный 0 может указывать на то, что элемент синтаксиса отсутствует.

Когда элемент ref_pic_list_modification_flag_l1 равен 1, то количество раз, которое modification_of_ref_pic_idc не равен 3 вслед за ref_pic_list_modification_flag_l1 может не превышать num_ref_idx_l1_active_minus1 + 1.

Элемент modification_of_ref_pic_idc совместно с short_term_ref_pic_set_idx или long_term_ref_pic_set_idx может указывать на то, какие из опорных картинок подвергаются повторному сопоставлению. Значения элемента modification_of_ref _pic_idc указаны в Таблице 7. Значение первого modification_of _ref_pic_idc, который следует непосредственно за ref_pic_list _modification_flag_l0 или ref_pic_list_modification_flag_l1 не может быть равно 3.

Элемент ref_pic_set_idx указывает индекс, применительно к RefPicSetStCurr0, RefPicSetStCurr1 или RefPicSetLtCurr, текущей картинки, перемещаемой в текущий индекс в списке опорных картинок. Значение ref_pic_set_idx может находиться в диапазоне от 0 до max_num_ref_frames, включительно.

Таблица 7
Операции modification_of_ref_pic_idc применительно к модифицированию списков опорных картинок
modification_of_ref
_pic_idc
указанное модифицирование
0 Для списка 0: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr0; Для списка 1: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr1
1 Для списка 0: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr1; Для списка 1: присутствует ref_pic_set_idx и соответствует индексу в RefPicSetStCurr0
2 присутствует ref_pic_set_idx и соответствует индексу в RefPicSetLtCurr
3 ref_pic_idx отсутствует и завершается цикл для модифицирования исходного списка опорных картинок

Применительно к модифицированию списка опорных картинок, когда элемент ref_pic_list_modification_flag_l0 равен 1, декодер 30 видео может модифицировать исходный список 0 опорных картинок (т.е., исходный Список 0), а когда элемент ref_pic_list_modification_flag_l1 равен 1, декодер 30 видео может модифицировать исходный список 1 опорных картинок (т.е., исходный Список 1). Чтобы помочь в понимании модифицирования списка опорных картинок, предположим, что переменная refIdxL0 является индексом в исходном Списке 0, а переменная refIdxL1 является индексом в исходном Списке 1. Другими словами, refIdxL0 может идентифицировать запись исходного Списка 0 (т.е., индекс в исходном Списке 0 идентифицирует запись в исходном Списке 0), а refIdxL1 может идентифицировать запись в исходном Списке 1. Переменные refIdxL0 и refIdxL1 могут быть исходно установлены равными 0.

Декодер 30 видео может обрабатывать элементы синтаксиса применительно к modification_of_ref_pic_idc в процессе возникновения элементов синтаксиса в битовом потоке. Например, если кодер 20 видео сигнализирует о том, что требуется модифицирование списка опорных картинок применительно к исходному Списку 0, тогда декодер 30 видео может обработать очередность, в которой кодер 20 видео сигнализирует элементы modification_of_ref_pic_idc синтаксиса для модифицирования исходного Списка 0. Подобным образом, если кодер 20 видео сигнализирует о том, что требуется модифицирование списка опорных картинок применительно к исходному Списку 1, тогда декодер 30 видео может обработать очередность, в которой кодер 20 видео сигнализирует элементы modification_of_ref_pic_idc синтаксиса для модифицирования исходного Списка 1.

Значения элемента modification_of_ref_pic_idc синтаксиса могут быть 0, 1, 2, или 3, как указывается в Таблице 7. Если значение элемента modification_of_ref_pic_idc синтаксиса равно 3, тогда декодер 30 видео может останавливать модифицирование исходного списка опорных картинок. В противном случае, декодер 30 видео может продолжать модифицирование списка опорных картинок до тех пор, пока значение элемента modification_of_ref_pic_idc синтаксиса не станет равно 3. Например, кодер 20 видео может сигнализировать множество значений для элемента modification_of_ref_pic_idc синтаксиса, и декодер 30 видео может обрабатывать каждое из значений в очередности, в которой значения представлены в закодированном битовом потоке. Когда декодер 30 обрабатывает значение элемента modification_of_ref_pic_idc синтаксиса равное 3, декодер 30 видео может определять, что дальнейшее модифицирование не требуется.

Значение элемента modification_of_ref_pic_idc синтаксиса, которое является любым отличным от 3 (т.е., 0, 1, или 2) может указывать на то, из какого подмножества опорных картинок декодер 30 видео должен идентифицировать опорную картинку, которая должна быть зарегистрирована (например, добавлена) в текущей записи списка опорных картинок. Как описано выше, текущая запись списка опорных картинок может быть идентифицирована посредством значения refIdxLX, где LX является либо Списком 0, либо Списком 1. Например, если декодер 30 видео модифицирует исходный Список 0, и modification_of_ref_pic_idc равен 0, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr0 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. Если декодер 30 видео модифицирует исходный Список 1, и modification_of_ref_pic _idc равен 0, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr1 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. Например, переменная curRefPicSet может определять то, какое подмножество опорных картинок декодер 30 видео должен использовать для модифицирования исходного Списка 0 или исходного Списка 1.

Например, если modification_of_ref_pic_idc равен 0, и декодер 30 видео модифицирует исходный Список 0, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr0 опорных картинок. Если modification_of_ref_pic_idx равен 0, и декодер 30 видео модифицирует исходный Список 1, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr1 опорных картинок.

Если декодер 30 видео модифицирует исходный Список 0, и modification_of_ref_pic_idc равен 1, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr1 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. Если декодер 30 видео модифицирует исходный Список 1, и modification_of_ref_pic_idc равен 1, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetStCurr0 должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx.

В данном случае, если modification_of_ref_pic_idc равен 1, и декодер 30 видео модифицирует исходный Список 0, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr1 опорных картинок. Если modification_of_ref_pic_idx равен 1, и декодер 30 видео модифицирует исходный Список 1, тогда переменная curRefPicSet равна подмножеству RefPicSetStCurr0 опорных картинок.

Если декодер 30 видео модифицирует исходный Список 0 или исходный Список 1, и modification_of_ref_pic_idc равен 2, тогда в соответствии с Таблицей 7, декодер 30 видео может определять, какая опорная картинка из RefPicSetLtCurr должна быть идентифицирована в текущей записи списка опорных картинок на основании значения ref_pic_set_idx. В данном примере, если modification_of_ref_pic_idc равен 2, и декодер 30 видео модифицирует исходный Список 0 или исходный Список 1, тогда переменная curRefPicSet равна подмножеству RefPicSetLtCurr опорных картинок.

Как описано выше, элемент ref_pic_set_idx синтаксиса может указывать индекс в одном из множестве подмножеств опорных картинок. Другими словами, элемент ref_pic_set_idx синтаксиса может указывать декодеру 30 видео запись из одного из множества подмножеств опорных картинок. Декодер 30 видео может определять опорную картинку, идентифицированную в записи одного из множества подмножеств опорных картинок в качестве опорной картинки, которая должна быть идентифицирована в текущем индексе исходного Списка 0 или исходного Списка 1.

Переменная curRefPicPoc может быть равна PicOrderCnt(curRefPicSet[ref_pic_set_idx]). Таким образом, значение curRefPicPoc может быть значением POC опорной картинки, идентифицированной в записи ref_pic_set_idx в curRefPicSet. Как описано выше, curRefPicSet может быть равна RefPicSetStCurr0,

RefPicSetStCurr1, или RefPicSetLtCurr, на основании значения элемента modification_of_ref_pic_idc синтаксиса и на основании того, модифицирует ли декодер 30 видео исходный Список 0 или исходный Список 1.

Декодер 30 видео может реализовывать следующий псевдокод для модифицирования списка опорных картинок. Например, в следующем псевдокоде, декодер 30 видео может идентифицировать картинку со значение POC равным curRefPicPoc в записи исходного списка опорных картинок. Переменная refIdxLX указывает позицию индекса для записи в исходном списке опорных картинок. Например, когда декодер 30 видео модифицирует исходный Список 0, то refIdxLX может быть refIdxL0, а когда декодер 30 видео модифицирует исходный Список 1, то refIdxLX может быть refIdxL1.

После того, как декодер 30 видео идентифицирует опорную картинку со значением POC равным curRefPicPOC в исходном списке опорных картинок (т.е., исходном Списке 0 или исходном Списке 1), декодер 30 видео может сдвинуть позиции других оставшихся картинок на более поздние в списке. Например, декодер 30 видео может переместить опорные картинки, идентифицированные в исходном списке опорных картинок в записях, следующих за текущей записью, на следующую запись, для построения модифицированного списка опорных картинок. В качестве иллюстративного примера, предположим, что текущей записью в исходном списке опорных картинок является третья запись с индексом [2]. Декодер 30 видео может перемещать опорную картинку, идентифицируемую в настоящей момент в третьей записи с индексом [2], в следующую запись (например, четвертую запись с индексом [3]). Декодер 30 видео может перемещать опорную картинку, идентифицируемую в настоящий момент в четвертой записи с индексом [3] в пятую запись с индексом [4]. В некоторых примерах, декодер 30 видео может начинать с последней записи в исходном списке опорных картинок, и перемещать опорную картинку, идентифицированную в записи, во временно новую запись. Затем перемещать опорную картинку, идентифицированную в предпоследней записи в последнюю запись, и т.д., до тех пор, пока декодер 30 видео не достигает текущей записи.

Декодер 30 видео затем может увеличивать значение переменной refIdxLX. В данном псевдокоде, длина RefPicListX (т.е., RefPicList0 или RefPicList1) временно задается на один элемент длиннее той длины, которая требуется для итогового списка опорных картинок. Например, как описано выше, декодер 30 видео может начинать с последней записи в исходном списке опорных картинок, перемещать последнюю запись во временную запись, перемещать предпоследнюю запись в последнюю запись, и т.д. для модифицирования исходного списка опорных картинок. После исполнения псевдокода, декодер 30 видео может сохранять только записи с индексом от 0 до num_ref_idx_lX_active_minus1, где num_ref_idx_lX_active_minus1 является num_ref_idx_l0_active _minus1 для Списка 0, и num_ref_idx_l1_active_minus1 для Списка 1.

for(cIdx = num_ref_idx_lX_active_minus1+1; cIdx > refIdxLX; cIdx−−)

RefPicListX[cIdx]=RefPicListX[cIdx−1]

RefPicListX[refIdxLX++]=опорная картинка с PicOrderCnt равным currRefPicPoc

nIdx = refIdxLX

for(cIdx = refIdxLX; cIdx <= num_ref_idx_lX_active_minus1 + 1; cIdx++)

if(PicOrderCnt(RefPicListX[cIdx]) != currRefPicPoc)

RefPicListX[nIdx++] = RefPicListX[cIdx]

В вышеприведенном псевдокоде, RefPicListX относится либо к RefPicList0 (т.е., итоговому Списку 0), либо к RefPicList1 (т.е., итоговому Списку 1) на основании того, модифицирует ли декодер 30 видео исходный Список 0 или исходный Список 1. Элемент num_ref_idx_lX_active_minus1 относится либо к num_ref_idx_l0_active_minus1, либо ref_idx_l1_active_minus1 на основании того, модифицирует ли декодер 30 видео исходный Список 0 или исходный Список 1.

Вышеприведенные методы описывают примерный способ, посредством которого декодер 30 видео может модифицировать исходный список опорных картинок. Во время процесса кодирования, кодеру 20 видео также требуется декодировать закодированную картинку в целях кодирования последующих картинок. Соответственно, в некоторых примерах, кодер 20 видео также может быть выполнен с возможностью построения исходных списков опорных картинок, и модифицирования исходных списков опорных картинок описанным выше способом. Тем не менее, кодеру 20 видео не обязательно требуется модифицирование списка или списков опорных картинок в каждом примере. В некоторых примерах, декодер 30 видео может быть единственным компонентом кодирования видео, который модифицирует исходный список опорных картинок, используя описанные выше методы.

Соответственно, в некоторых примерах, компонент кодирования видео (например, кодер 20 видео или декодер 30 видео) может строить исходный список опорных картинок (например, исходный Список 0 или исходный Список 1), используя описанные выше методы. Компонент кодирования видео может определять, требуется ли модифицирование списка опорных картинок, на основании закодированных элементов синтаксиса в закодированном битовом потоке. Когда требуется модифицирование списка опорных картинок, компонент кодирования видео может модифицировать исходный список опорных картинок.

Например, когда требуется модифицирование списка опорных картинок, компонент кодирования видео может идентифицировать опорную картинку, по меньшей мере, в одном из построенных подмножествах опорных картинок. Компонент кодирования видео может регистрировать (например, добавлять) идентифицированную опорную картинку в текущую запись исходного списка опорных картинок для построения модифицированного списка опорных картинок. Затем компонент кодирования видео может кодировать (например, кодировать или декодировать) текущую картинку на основании модифицированного списка опорных картинок.

В качестве одного примера, компонент кодирования видео может строить подмножества RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок. Для идентификации опорной картинки, по меньшей мере, в одном из этих подмножеств опорных картинок, компонент кодирования видео может определять индекс, по меньшей мере, в одном из этих подмножеств опорных картинок. Затем компонент кодирования видео может определять опорную картинку, идентифицированную в записи, по меньшей мере, одного из этих подмножеств опорных картинок на основании определенного индекса.

Например, компонент кодирования видео может кодировать (например, кодировать или декодировать) первый элемент синтаксиса, такой как элемент modification_of_ref_pic _idc синтаксиса, посредством которого компонент кодирования видео идентифицирует одно из подмножеств опорных картинок (например, одно из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок). Компонент кодирования видео может кодировать второй элемент синтаксиса, такой как элемент ref_pic_set_idx синтаксиса, который указывает индекс в идентифицированном подмножестве опорных картинок (например, одном из подмножеств RefPicSetStCurr0, RefPicSetStCurr1, и RefPicSetLtCurr опорных картинок).

В некоторых примерах, компонент кодирования видео может быть дополнительно выполнен с возможностью перемещения опорных картинок в исходном списке опорных картинок. Например, компонент кодирования видео может перемещать опорные картинки, идентифицированные в списке опорных картинок в записях, следующих за текущей записью, в следующую запись в модифицированном списке опорных картинок.

Предыдущие примеры описывают способ, посредством которого кодер 20 видео и декодер 30 видео могут получать набор опорных картинок, а также примерные методы для построения списков опорных картинок, когда не требуется модифицирование и когда модифицирование требуется. Тем не менее, методы, описываемые в данном изобретении, этим не ограничиваются. В некоторых примерах, методы, описываемые в данном изобретении, могут быть направлены на управление буфером декодированных картинок (DPB). DPB может быть буфером, который хранит декодированные картинки.

Каждый из кодера 20 видео и декодера 30 видео может включать в себя соответствующие DPB. Например, в рамках процесса кодирования, кодер 20 видео может декодировать текущую картинку, сохранять декодированную картинку в DPB кодера 20 видео, и использовать декодированную картинку, сохраненную в DPB, для интер-предсказания последующей картинки. Аналогичным образом, в рамках процесса декодирования, декодер 30 видео может декодировать текущую картинку и сохранять декодированную картинку в DPB декодера 30 видео. Затем декодер 30 видео может использовать декодированную картинку для интер-предсказания последующей картинки.

В некоторых примерах, DPB либо для кодера 20, либо для декодера 30 видео, может хранить декодированные картинки для переупорядочения вывода или отсрочки вывода. Например, декодер 30 видео может определять, что декодированные картинки должны быть переупорядочены для вывода или, что вывод декодированной картинки должен быть отсрочен. В этих примерах, DPB декодера 30 видео может хранить декодированные картинки для переупорядочения вывода или отсрочки вывода.

Методы управления DPB, описываемые в данном изобретении, могут быть направлены на способ, посредством которого DPB выводит и удаляет декодированные картинки. Элемент output_flag синтаксиса может оказывать влияние на процесс вывода и удаления декодированной картинки, и может быть определен в рамках семантики единицы сетевого уровня абстракции (NAL). Единица NAL может быть определена в качестве структуры синтаксиса, которая включает в себя указание типа данных, которого следует придерживаться, и байтов, которые включают в себя данные в форме полезной нагрузки последовательности необработанных байтов (RBSP) с внедренными, при необходимости, байтами предотвращения эмуляции. RBSP может быть структурой синтаксиса, которая включает в себя целое число байт, которые инкапсулированы в единицу NAL. RBSP может быть либо пустой, либо иметь форму строки битов данных, которая включает в себя элементы синтаксиса, за которыми следует стоповый бит RBSP и за которыми следует ноль или больше последующих бит, равных 0. Таблица 8 определяет синтаксис единицы NAL.

Таблица 8
Синтаксис единицы NAL
nal_unit(NumBytesInNALunit) { Описатель
forbidden_zero_bit f(1)

nal_ref_idc u(2)
nal_unit_type u(5)
NumBytesInRBSP=0
nalUnitHeaderBytes = 1
if(nal_unit_type ==1 || nal_unit_type ==4 || nal_unit_type ==5) {
temporal_id u(3)
output_flag u(1)
reserved_one_4bits u(4)
nalUnitHeaderBytes +=1
}
for(i=nalUnitHeaderBytes; i<NumBytesInNALunit; i++) {
if(i+2<NumBytesInNALunit && next_bits(24)== 0x000003) {
rbsp_byte[NumBytesInRBSP++] b(8)
rbsp_byte[NumBytesInRBSP++] b(8)
i += 2
emulation_prevention_three_byte/* равен 0x03*/ f(8)
} else
rbsp_byte[NumBytesInRBSP++] b(8)
}
}

В Таблице 8, элемент output_flag может оказывать влияние на процесс вывода и удаления декодированной картинки как более подробно описывается ниже. Для любой картинки, если output_flag равен 1, картинка предназначена для вывода. В противном случае, картинка никогда не выводиться. В методах, описываемых в данном изобретении, переменная OutputFlag равна элементу output_flag синтаксиса.

В некоторых примерах, любая единица NAL закодированного слайса закодированной картинки текущей единицы доступа может отличаться от единицы NAL закодированного слайса закодированной картинки предыдущей единицы доступа по одному или более из следующих признаков. Например, могут быть разными значения pic_parameter_set_id, могут быть разными значения nal_ref_idc, при этом одно из значений nal_ref_idc является равным 0. Могут быть разными значения pic_order_cnt_lsb. Могут быть разными значения IdrPicFlag. Элемент IdrPicFlag может быть равен 1 для обоих случаев, и могут быть разными значения idr_pic_id.

В методах, описываемых в данном изобретении, единица доступа может быть определена как набор единиц NAL, которые являются последовательными в очередности декодирования и содержат одну закодированную картинку. В дополнение к закодированной картинке одна вспомогательная закодированная картинка, или другие единицы NAL, могут не содержать слайсы закодированной картинки. В некоторых примерах, декодирование единицы доступа может приводить к декодированной картинке. Закодированная картинка может быть закодированным представление картинки, которая должна быть использована процессом декодирования.

Как указано в Таблице 4, синтаксис заголовка слайса может включать в себя элемент pic_parameter_set_id синтаксиса, элемент pic_order_cnt_lsb синтаксиса, элемент IdrPicFlag синтаксиса, и элемент idr_pic_id синтаксиса. Как указано в Таблице 8, синтаксис единицы NAL может включать в себя элемент nal_ref_idc синтаксиса.

В целях иллюстрации, методы управления DPB описываются с точки зрения гипотетического эталонного декодера (HRD). HRD может быть определен в качестве модели гипотетического декодера, которая указывает ограничения на непостоянство согласующихся потоков единиц NAL или согласующихся потоков байтов, которые может создавать процесс кодирования. Тем не менее, в соответствии с методами, описываемыми в данном изобретении, декодер 30 видео может реализовывать методы управления DPB, и в некоторых примерах, также существует возможность реализации методов управления DPB посредством кодера 20 видео.

Модель HDR может определять буфер закодированных картинок (CPB), процесс мгновенного декодирования, и буфер декодированных картинок (DPB). CPB может быть подобен CPB моделей HDR, которые определены в других предыдущих стандартах (т.е., CPB может хранить закодированные картинки). Методы, описываемые в данном изобретении, направлены на операции DPB, которые отличаются от операций в других стандартах. Вновь следует понимать, что декодер 30 видео и возможно кодер 20 видео могут реализовывать операции DPB, как описывается ниже.

В целом, методы, описываемые в данном изобретении, относятся к выводу и удалению декодированных картинок в DPB. Вывод декодированных картинок, в данном контексте, означает вывод декодированной картинки для отображения, хранения или в других целях. Тем не менее, декодированная картинка, которая выводиться, не обязательно должна удаляться из DPB. Например, декодер 30 видео может не удалять декодированную картинку, которая выводится из DPB, так как декодеру 30 видео может потребоваться использовать эту декодированную картинку в качестве опорной картинки для интер-предсказания последующей картинки. Удаление декодированной картинки, в данном контексте, означает удаление декодированной картинки из DPB.

Например, декодер 30 видео может сохранять декодированные картинки в DPB декодера 30 видео в очередности, в которой картинки декодируются. Тем не менее, очередность декодирования картинок может быть не точно такой же, что и очередность вывода картинок. Например, могут присутствовать картинки, которые являются последующими для текущей картинки в очередности декодирования, но которые должны выводиться раньше текущей картинки. Соответственно, в некоторых примерах, декодер 30 видео может выполнять переупорядочение, посредством которого декодер 30 видео переупорядочивает картинки в DPB, которые упорядочены в очередности декодирования, в очередность вывода. Декодер 30 видео затем может выводить декодированные картинки в их очередности вывода. Декодер 30 видео также может удалять картинки из буфера декодированных картинок, если картинка не требуется для вывода (т.е., была выведена или не предназначена для вывода) и не требуется для интер-предсказания (т.е., не требуется для использования в качестве опорной картинки при интер-предсказании).

В методах, описываемых в данном изобретении, декодер 30 видео может удалять декодированную картинку из DPB, если декодированная картинка была выведена или не предназначена для вывода, и если декодированная картинка не идентифицирована в полученном наборе опорных картинок, что эквивалентно тому, что она более не требуется для ссылки при интер-предсказании (т.е., более не требуется для того, чтобы использоваться в качестве опорной картинки для интер-предсказания). Вновь, как описано выше, набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки, и которые могут потенциально быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. В соответствии с методами, описываемыми в данном изобретении, если декодированная картинка не идентифицирована в полученном наборе опорных картинок, тогда декодированная картинка может не требоваться в качестве опорной картинки для интер-предсказания (например, декодирования) текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования. Вследствие этого, такая декодированная картинка может быть удалена из DPB, если декодированная картинка не требуется для вывода, поскольку может отсутствовать необходимость в удержании такой декодированной картинки DPB, при условии, что декодированная картинка не будет использоваться для интер-предсказания.

Кроме того, в методах, описываемых в данном изобретении, декодер 30 видео может удалять декодированную картинку перед декодированием текущей картинки. Например, как описано выше, декодер 30 видео может получать набор опорных картинок, и строить список(и) опорных картинок перед декодированием текущей картинки. Поскольку декодер 30 видео может получать набор опорных картинок перед декодированием текущей картинки, декодер 30 видео может быть выполнен с возможностью определения того, должна ли декодированная картинка, которая не требуется для вывода, быть удалена перед декодированием текущей картинки. Например, после получения набора опорных картинок и перед декодированием текущей картинки, декодер 30 видео может определять, является ли выведенная декодированная картинка или декодированная картинка, не предназначенная для вывода, той, что не идентифицирована в наборе опорных картинок. Затем, перед декодированием текущей картинки, декодер 30 видео может удалять декодированную картинку, которая не требуется для вывода (т.е., уже выведенную или не предназначенную для вывода), если декодированная картинка не идентифицирована в наборе опорных картинок.

В некоторых примерах, декодер 30 видео может удалять декодированную картинку перед декодированием текущей картинки. Тем не менее, декодер 30 видео может удалять декодированную картинку после построения списка(ов) опорных картинок. Например, декодер 30 видео может получать набор опорных картинок, и может строить списки опорных картинок на основании набора опорных картинок. Затем, перед декодированием текущей картинки, декодер 30 видео может удалять декодированную картинку. В некоторых примерах, декодер 30 видео также может выводить декодированную картинку после построения списка(ов) опорных картинок.

Данное изобретение описывает методы удаления декодированных картинок в DPB, по меньшей мере, с двух точек зрения. С первой точки зрения, декодер 30 видео может удалять декодированные картинки на основании времени вывода, если картинки предназначены для вывода. Со второй точки зрения, декодер 30 видео может удалять декодированные картинки на основании значений POC, если картинки предназначены для вывода. С обеих точек зрения, декодер 30 видео может удалять декодированные картинки, которые не предназначены для вывода (т.е., уже выведены или не предназначены для вывода), когда декодированная картинка отсутствует в наборе опорных картинок, и перед декодированием текущей картинки.

DPB может включать в себя множество буферов, и каждый буфер может хранить декодированную картинку, которая должна быть использована в качестве опорной картинки или удерживается для дальнейшего вывода. Исходно, DPB пуст (т.е., наполненность DPB установлена равной нулю). В описываемых примерных методах, удаление декодированных картинок из DPB может происходить до декодирования текущей картинки, но после того, как декодер 30 видео анализирует заголовок слайса первого слайса текущей картинки.

С первой точки зрения, следующие методы могут происходить мгновенно в момент tr(n) времени в следующей последовательности. В данном примере, момент tr(n) времени является временем удаления CPB (т.е., временем декодирования) единицы n доступа, содержащей текущую картинку. Как описывается в данном изобретении, понятие методов, которые происходят мгновенно, может означать, что в модели HDR, предполагается, что декодирование картинки является мгновенным (т.е., неограниченно быстрым), при этом период времени для декодирования картинки равен нулю.

Если текущая картинка является картинкой IDR, и когда картинка IDR не является первой картинкой IDR и значение значения pic_width_in_luma_samples или pic_height_in_luma _samples или max_dec_frame_buffering, полученное из активного набора параметров последовательности отличается от значения pic_width_in_luma_samples или pic_height_in_luma_samples или max_dec_frame_buffering, полученного из набора параметров последовательности, который был активен для предшествующей картинки, соответственно, то декодер 30 видео может предположить, что элемент no_output_of_prior_pics_flag синтаксиса равен 1, независимо от фактического значения no_output_of_prior_pics_flag. Если текущая картинка является картинкой IDR, и когда no_output_of_prior_pics_flag равен 1 или предполагается равным 1, декодер 30 видео может очищать все буферы DPB, без вывода картинки из DPB, и может устанавливать наполненность DPB равной 0.

Как указано выше в Таблице 1, набор параметров последовательности может включать в себя элементы pic_width_in_luma_samples и pic_height_in_luma_samples синтаксиса. Набор параметров последовательности также может включать в себя элемент max_dec_frame_buffering синтаксиса. Как указывается выше в Таблице 4, синтаксис заголовка слайса может включать в себя элемент no_output_of_prior_pics_flag синтаксиса.

Когда текущая картинка не является картинкой IDR, декодер 30 видео может удалять все картинки (m) в DPB, для которых следующие условия являются истиной. Первое условие может заключаться в том, что картинка не включена в набор опорных картинок текущей картинки. Второе условие может заключаться в том, что картинка имеет OutputFlag равный 0 или ее время вывода DPB меньше либо равно времени удаления CPB текущей картинки. В данном примере, временем удаления CPB является tr(n), что является этапом, на котором происходит процесс удаления (например, временем перед декодированием текущей картинки). Время вывода DPB декодированной картинки m может быть определено посредством переменной to,dpb(m). Вследствие этого, время вывода DPB, которое меньше либо равно времени удаления CPB, может быть представлено как to,dpb(m)≤tr(n). Получение времени to,dpb(m) вывода DPB более подробно определяется ниже.

Таким образом, декодер 30 видео может удалять декодированные картинки из DPB, перед декодированием картинки, на основании времени вывода декодированной картинки и когда декодированная картинка не идентифицирована в наборе опорных картинок. Когда декодер 30 видео удаляет декодированную картинку из DPB, декодер 30 видео может уменьшать наполненность DPB на единицу.

Нижеследующее описывает способ, посредством которого декодер 30 видео может определять время, когда выводить декодированную картинку (например, время вывода DPB декодированной картинки), а также описывает то, когда декодер 30 видео может сохранять декодированную картинку в DPB. Как описано выше, время вывода DPB картинки может быть фактором при определении того, удаляется или нет эта картинка из DPB.

Когда декодер 30 видео декодирует картинку, декодер 30 видео сохраняет картинку в DPB, и увеличивает наполненность DPB на единицу. Когда картинка имеет OutputFlag равный 1, декодер 30 видео может получить время вывода DPB для картинки на основании следующего уравнения.

to,dpb(n) = tr(n)+tc*dpb_output_delay(n)

В уравнении, элемент dpb_output_delay(n) может быть указан в сообщении SEI синхронизации картинки, связанном с единицей доступа, которая включает в себя картинку. Сообщение SEI может быть определено в некоторых стандартах, таком как стандарт H.264/AVC.

Значение to,dpb(n) может определять то, когда должна выводиться картинка. Например, если OutputFlag равен 1 и to,dpb(n) равно tr(n), декодер 30 видео может выводить картинку. В противном случае, если OutputFlag равен 0, декодер 30 видео может не выводить картинку. В случаях, где OutputFlag равен 1 и to,dpb(n) больше tr(n), декодер 30 видео может выводить картинку позже по времени (например, в момент to,dpb(n) времени).

В некоторых примерах, когда декодер 30 видео выводит картинку, декодер 30 видео может обрезать картинку. Например, декодер 30 видео может использовать прямоугольник обрезки, указанный в активном наборе параметров последовательности для картинки. Методы для обрезки картинки в целом хорошо известны и описываются в стандартах, таких как стандарт H.264/AVC.

В некоторых примерах, декодер 30 видео может определять разность между временем вывода DPB для картинки и временем вывода DPB для картинки, следующей за картинкой в очередности вывода. Например, когда картинка (n) является картинкой, которую декодер 30 видео выводит, и не является последней картинкой битового потока, который выводится, то декодер 30 видео может определять значение Δto,dpb(n), которое определяется как:

Δto,dpb(n)=to,dpb(nn)−to,dpb(n)

В вышеприведенном уравнении, nn указывает картинку, которая следует за картинкой (n) в очередности вывода и имеет OutputFlag равный 1. Также, в вышеприведенном уравнении Δto,dpb(n) представляет собой разность времен вывода DPB между картинкой и следующей картинкой в очередности вывода.

Со второй точки зрения для удаления декодированных картинок, HDR может реализовывать методы мгновенно, когда единица доступа удаляется из CPB. Вновь, декодер 30 видео может реализовывать удаление декодированных картинок из DPB, и декодер 30 видео не обязательно может включать в себя CPB. В целом, в данном изобретении, удаление декодированных картинок выполняется декодером 30 видео, и может также выполняться кодером 20 видео. В этих примерах, для декодера 30 видео и кодера 20 видео может не требоваться наличие CPB. Наоборот, CPB описывается в рамках модели HDR только в целях иллюстрации.

Как описано выше, со второй точки зрения для удаления декодированных картинок, декодер 30 видео может удалять картинки из DPB перед декодированием текущей картинки, но после анализа заголовка слайса первого слайса текущей картинки. Также, подобно первой точки зрения для удаления декодированных картинок, во второй точке зрения, декодер 30 видео может выполнять функции подобные тем, что описываются выше в отношении первой точки зрения, когда текущая картинка является картинкой IDR.

В противном случае, если текущая картинка не является картинкой IDR, декодер 30 видео может очищать, без вывода, буферы DPB, которые хранят картинку, которая промаркирована как «не требуется для вывода» и которые хранят картинки, не включенные в набор опорных картинок текущей картинки. Декодер 30 видео также может уменьшать наполненность DPB на количество буферов, которое высвобождает декодер 30 видео. Когда отсутствует пустой буфер (т.е., наполненность DPB равна размеру DPB), декодер 30 видео может реализовывать описываемый ниже процесс «выталкивания». В некоторых примерах, когда отсутствует свободный буфер, декодер 30 видео может реализовывать процесс выталкивания неоднократно, до тех пор, пока не сформируется пустой буфер, в котором декодер 30 может сохранить текущую декодированную картинку.

Когда текущая картинка является картинкой IDR, для которой no_output_of_prior_pics_flag не равен 1, и не предполагается равным 1, декодер 30 видео может выполнять следующее. Декодер 30 видео может очищать, без вывода, буферы DPB, которые хранят картинку, которая промаркирована как «не требуется для вывода» и которая не включена в набор опорных картинок текущей картинки. Декодер 30 видео может очищать все не пустые буферы в DPB посредством неоднократного вызова процесса «выталкивания», и может устанавливать наполненность DPB равной 0.

Другими словами, когда текущей картинкой является картинка IDR, декодер 30 видео может реализовывать методы для очищения всех буферов в DPB. Когда текущая картинка не является картинкой IDR, декодер 30 видео может реализовывать методы для удаления декодированных картинок для освобождения буферов для сохранения текущей декодированной картинки.

Например, после того как декодер 30 видео декодирует текущую картинку, декодер 30 видео может сохранять текущую картинку в DPB, и увеличивать наполненность DPB на единицу. В некоторых примерах, если OutputFlag текущей картинки равен 1, декодер 30 видео может маркировать текущую картинку как «требуется для вывода». В противном случае, если OutputFlag текущей картинки равен 0, декодер 30 видео может маркировать текущую картинку как «не требуется для вывода».

Как описано выше, в некоторых примерах, декодер 30 видео может реализовывать процесс выталкивания. В целом, процесс выталкивания вызывает вывод декодированных картинок. Например, декодер 30 видео может реализовывать процесс выталкивания, когда текущей картинкой является картинка IDR и no_output_of_prior _pics_flag не равен 1, и не предполагается равным 1. Декодер 30 видео также может реализовывать процесс выталкивания, если в DPB отсутствует пустой буфер (т.е., наполненность DPB равна размеру DPB), и требуется пустой буфер для сохранения декодированной (не IDR) картинки.

В целом, декодер 30 видео может реализовывать следующие этапы для реализации процесса выталкивания. Декодер 30 видео может сначала определять картинку, которая должна быть выведена. Например, декодер 30 видео может выбирать картинку с наименьшим значением PicOrderCnt (POC) из всех картинок в DPB, которые промаркированы как «требуется для вывода». Декодер 30 видео может обрезать выбранную картинку, используя прямоугольник обрезки, указанный в активном наборе параметров последовательности для картинки. Декодер 30 видео может выводить обрезанную картинку, и может маркировать картинку как «не требуется для вывода». Декодер 30 видео может проверять буфер DPB, который хранит обрезанную и выведенную картинку. Если картинка не включена в набор опорных картинок, то декодер 30 видео может очищать данный буфер и может уменьшать наполненность DPB на единицу.

Несмотря на то, что вышеприведенные методы для управления DPB описываются в контексте декодера 30 видео, в некоторых примерах, кодер 20 видео может реализовывать подобные методы. Тем не менее, не требуется, чтобы кодер 20 видео реализовывал подобные методы в каждом примере. В некоторых примерах, декодер 30 видео может реализовывать эти методы, а кодер 20 может не реализовывать эти методы.

Таким образом, компонент кодирования видео (например, кодер 20 видео или декодер 20 видео) может кодировать информацию, указывающую опорные картинки, которые принадлежат к набору опорных картинок. Вновь, набор опорных картинок может идентифицировать опорные картинки, которые могут потенциально быть использованы для интер-предсказания текущей картинки и могут потенциально быть использованы для интер-предсказания одной или более картинок, следующей за текущей картинкой в очередности декодирования.

Компонент кодирования видео может получать набор опорных картинок любым способом, включая описанные выше примерные методы. Компонент кодирования видео может определять, является ли декодированная картинка, хранящаяся в буфере декодированных картинок, той, что не требуется для вывода и не идентифицирована в наборе опорных картинок. Когда декодированная картинка была выведена и не идентифицирована в наборе опорных картинок, компонент кодирования видео может удалять декодированную картинку из буфера декодированных картинок. Вслед за удалением декодированной картинки, компонент кодирования видео может кодировать текущую картинку. Например, компонент кодирования видео может строить список(и) опорных картинок, как описано выше, и кодировать текущую картинку на основании списка(ов) опорных картинок.

Предыдущие примеры описывают методы, которые кодер 20 видео и декодер 30 видео могут использовать для получения набора опорных картинок, построения списков опорных картинок из подмножеств опорных картинок, когда не требуется модифицирование и когда модифицирование требуется, как впрочем, и методы для управления буфером декодированных картинок (DPB). Тем не менее, аспекты данного изобретения этим не ограничиваются. В некоторых примерах, методы, описываемые в данном изобретении, могут относиться к способу, посредством которого кодер 20 видео сигнализирует то, какие картинки принадлежат к набору опорных картинок и являются долгосрочными опорными картинками (или, другими словами, какие картинки принадлежат к набору долгосрочных опорных картинок), и способу, посредством которого декодер 30 видео определяет, какая картинка принадлежит к набору долгосрочных опорных картинок.

Например, Таблица 2 включает в себя элементы num_long_term_ref_pics_pps, и long_term_ref_pic_id_pps[i] синтаксиса в рамках набора параметров картинки. Тем не менее, аспекты данного изобретения этим не ограничиваются. В некоторых примерах, набор параметров последовательности (например, в Таблице 1) может включать в себя элементы num_long_term_ref_pics _pps и the long_term_ref_pic_id_pps[i] синтаксиса. В примерах, где набор параметров последовательности включает в себя эти элементы синтаксиса, данное изобретение может относиться к элементам синтаксиса, таким как num_long_term_ref_pics_sps и long_term_ref_pic_id_sps[i], чтобы избежать путаницы. В целях иллюстрации, методы описываются с помощью примеров, в которых набор параметров последовательности включает в себя эти элементы синтаксиса.

Подобно определению num_long_term_ref_pics_pps, элемент num_long_term_ref_pics_sps синтаксиса может указывать количество потенциальных долгосрочных опорных картинок, которые включаются в набор параметров последовательности. Значение num_long_term _ref_pics_sps может находиться в диапазоне от 0 до 32, включительно. Подобно определению элемента long_term_ref_pic_id _pps[i] синтаксиса, элемент long_term_ref_pic_id_sps[i] синтаксиса может указывать информацию идентификации i-ой долгосрочной опорной картинки, включенной в набор параметров последовательности.

В некоторых примерах, элемент long_term_ref_pic_id _sps[i] синтаксиса может указывать потенциальные долгосрочные опорные картинки, которые принадлежат к набору опорных картинок текущей картинки. Потенциальные долгосрочные опорные картинки являются одной или более потенциальными долгосрочными опорными картинками, которые могут быть долгосрочными опорными картинками, которые декодер 30 видео может использовать для интер-предсказания текущей картинки или одной или более картинок, следующих за текущей картинкой в очередности декодирования. Другими словами, потенциальные долгосрочные опорные картинки могут указывать картинки, которые являются долгосрочными опорными картинками и которые возможно могут быть использованы для интер-предсказания текущей картинки и использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования. В некоторых примерах, элемент long_term_ref_pic _id_sps[i] синтаксиса может включать в себя значения POC, для потенциальных долгосрочных опорных картинок.

Тем не менее, не все потенциальные долгосрочные опорные картинки обязательно используются для интер-предсказания. Например, не все потенциальные долгосрочные опорные картинки принадлежат к набору опорных картинок текущей картинки. Наоборот, ноль или больше потенциальных долгосрочных опорных картинок принадлежит к набору опорных картинок.

В методах, описываемых в данном изобретении, кодер 20 видео может сигнализировать элемент long_term_ref _pic_id синтаксиса в наборе параметров (например, элемент long_term_ref _pic_id_sps синтаксиса в наборе параметров последовательности, или элемент long_term_ref_pic_id_pps синтаксиса в наборе параметров картинки). Декодер 30 видео может принимать элемент long_term_ref_pic_id синтаксиса и идентифицировать потенциальные долгосрочные опорные картинки. В соответствии с методами, описываемыми в данном изобретении, декодер 30 видео может дополнительно определять, какая одна из потенциальных долгосрочных опорных картинок принадлежит к набору опорных картинок. Например, декодер 30 видео может быть выполнен с возможностью выполнения данного определения на основании дополнительных элементов синтаксиса, сигнализируемых кодером 20 видео в закодированном битовом потоке.

Как указывается в Таблице 4, кодер 20 видео может сигнализировать структуру long_term_ref_pic_set() синтаксиса в заголовке слайса текущей картинки. Таблица 5 описывает структур long_term_ref_pic_set() синтаксиса. Например, структура long_term_ref_pic_set() синтаксиса может включать в себя элементы num_long_term_pps_curr и num_long_term_pps_foll синтаксиса. Вновь, следует отметить, что несмотря на то, что элементы num_long_term_pps_curr и num_long_term_pps_foll синтаксиса определены в качестве количества долгосрочных опорных картинок, включенного в набор параметров картинки, в примерах, где потенциальные долгосрочные опорные картинки включаются в набор параметров последовательности, эти элементы синтаксиса могут определять количество потенциальных долгосрочных опорных картинок, включенных в набор параметров последовательности. Например, чтобы избежать путаницы, элемент num_long_term_pps _curr синтаксиса может именоваться элементом num_long_term_sps _curr синтаксиса, а элемент num_long_term_pps_foll синтаксиса может именоваться элементом num_long_term_sps_foll синтаксиса.

Подобно элементу num_long_term_pps_curr синтаксиса, элемент num_long_term_sps_curr синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации включена в упомянутый набор параметров последовательности, в качестве потенциальных долгосрочных опорных картинок, и которые могут быть использованы для интер-предсказания текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования. Подобно элементу num_long_term_pps_foll синтаксиса, элемент num_long_term_sps_foll синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации включена в набор параметров последовательности, в качестве потенциальных долгосрочных опорных картинок, которые не используются для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Также, структура long_term_ref_pic_set() синтаксиса, сигнализируемая в заголовке слайса, может включать в себя элемент long_term_ref_pic_set_idx_pps[i] синтаксиса. Вновь, в примерах, где потенциальные долгосрочные опорные картинки сигнализируются в наборе параметров последовательности, элемент long_term_ref_pic_set_idx_pps[i] синтаксиса может рассматриваться в качестве элемента long_term_ref_pic_set_idx _sps[i] синтаксиса. Подобно элементу long_term_ref_pic_set_idx _pps[i] синтаксиса, элемент long_term_ref_pic_set_idx_sps[i] синтаксиса может определять индекс, в списке информации идентификации потенциальной долгосрочной опорной картинки, включенном в упомянутый набор параметров последовательности, i-ой долгосрочной опорной картинки, которая наследуется набором опорных картинок текущей картинки из набора параметров опорной картинки. Другими словами, элемент long_term_ref_pic_set_idx _sps[i] синтаксиса может идентифицировать индекс в списке потенциальных долгосрочных опорных картинок в наборе параметров последовательности. По индексу, декодер 30 видео может идентифицировать долгосрочную опорную картинку в потенциальных долгосрочных опорных картинках, и может определять то, что идентифицированная долгосрочная опорная картинка принадлежит к набору опорных картинок текущей картинки.

Например, декодер 30 видео может реализовывать следующий псевдокод, подобный тому, что приведен в Таблице 5, для определения того, какая из потенциальных долгосрочных опорных картинок принадлежит к набору опорных картинок текущей картинки.

for (i=0; i<num_long_term_sps_curr + num_long_term_sps_foll; i++)

long_term_ref_pic_set_idx_sps[i]

Таким образом, декодер 30 видео может декодировать элементы синтаксиса, указывающие потенциальные долгосрочные опорные картинки, которые идентифицированы в наборе параметров. Например, если набором параметров является набор параметров последовательности, то декодер 30 видео может декодировать элементы long_term_ref_pic_id_sps[i] синтаксиса, которые указывают потенциальные долгосрочные опорные картинки, которые идентифицированы в наборе параметров последовательности. Если набором параметров является набор параметров картинки, то декодер 30 видео может декодировать элементы long_term_ref_pic _id_pps[i] синтаксиса, которые указывают потенциальные долгосрочные опорные картинки, которые идентифицированы в наборе параметров картинки.

Декодер 30 видео также может декодировать элементы синтаксиса, которые указывают на то, какие потенциальные долгосрочные опорные картинки, идентифицированные в наборе параметров, принадлежат к набору опорных картинок текущей картинки. Например, если набором параметров является набор параметров последовательности, то декодер 30 видео может декодировать элементы num_long_term_sps_curr, num_long_term_ sps_foll, и long_term_ref_pic_set_idx_sps[i] синтаксиса, а если набором параметров является набор параметров картинки, то декодер 30 видео может декодировать элементы num_long_term_pps _curr, num_long_term_pps_foll, и long_term_ref_pic_set_idx _pps[i] синтаксиса. В любом примере, декодер 30 видео может декодировать эти элементы синтаксиса из заголовка слайса текущей картинки.

В соответствии с методами, описанными в данном изобретении, элементы long_term_ref_pic_id_sps[i] и long_term _ref_pic_id_pps[i] синтаксиса могут быть рассмотрены в качестве списка значений номера очередности картинки (POC) для потенциальных долгосрочных опорных картинок, которые принадлежат к набору опорных картинок, и могут быть закодированы (закодированы или декодированы) в рамках набора параметров (например, набора параметров картинки и набора параметров последовательности). Элемент long_term_ref_pic _set_idx_sps[i] или long_term_ref_pic_set_idx_pps[i] синтаксиса может быть рассмотрен как предоставляющий значение индекса в списке значений POC для потенциальных долгосрочных опорных картинок (например, индекса в long_term_ref_pic_id_sps[i] или

long_term_ref_pic_id_pps[i]). В некоторых примерах, элемент long_term_ref_pic_set_idx_sps[i] или long_term_ref_pic_set_idx _pps[i] синтаксиса может быть закодирован в рамках заголовка слайса текущей картинки.

Выше описан способ, посредством которого кодер 20 видео и декодер 30 видео может кодировать или декодировать, соответственно, элементы синтаксиса для указания того, какие картинки принадлежат к набору долгосрочных опорных картинок текущей картинки. По элементам синтаксиса, декодер 30 видео или кодер 20 видео может определять, какие картинки принадлежат к набору долгосрочных опорных картинок текущей картинки. После того как декодер 30 видео и кодер 20 видео определяет, какие картинки принадлежат к набору долгосрочных опорных картинок, кодер 20 видео и декодер 30 видео могут построить, по меньшей мере, одно подмножество опорных картинок из множества подмножеств опорных картинок, и получить набор опорных картинок описанным выше способом. Например, на основании определения того, какие картинки принадлежат к набору долгосрочных опорных картинок, кодер 20 видео и декодер 30 видео могут построить подмножество RefPicSetLtCurr опорных картинок, которое кодер 20 видео и декодер 30 видео используют для получения набора опорных картинок.

В некоторых примерах, могут присутствовать картинки, которые принадлежат к набору опорных картинок, и которые не включены в потенциальные долгосрочные опорные картинки. Соответственно, могут существовать дополнительные способы, посредством которых кодер 20 видео и декодер 30 видео могут определять, какие картинки принадлежат к набору долгосрочных опорных картинок текущей картинки.

Например, как указано в Таблице 5, структура long_term _ref_pic_set() синтаксиса заголовка слайса включает в себя элемент long_term_ref_pic_id_delta_add[i] синтаксиса. Данный элемент синтаксиса может указывать идентификацию долгосрочной опорной картинки, такую как значения POC, i-ой долгосрочной опорной картинки, которая не наследуется из набора параметров опорной картинки, но включена в набор опорных картинок текущей картинки. Вновь, в примерах, где потенциальные долгосрочные опорные картинки идентифицируются в наборе параметров последовательности, элемент long_term_ref_pic_id_delta_add[i] синтаксиса может указывать идентификацию долгосрочной опорной картинки i-ой долгосрочной опорной картинки, которая не наследуется из набора параметров последовательности, но включена в набор опорных картинок текущей картинки.

Другими словами, элемент long_term_ref_pic_id_pps[i] или long_term_ref_pic_id_sps[i] синтаксиса может идентифицировать потенциальные долгосрочные опорные картинки, но не обязательно идентифицирует все долгосрочные опорные картинки в наборе опорных картинок текущей картинки. Например, могут существовать долгосрочные опорные картинки, которые должны быть использованы для интер-предсказания текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования, которые не включены в список потенциальных долгосрочных опорных картинок. Для таких долгосрочных опорных картинок, кодер 20 видео и декодер 30 видео могут кодировать или декодировать, соответственно, информацию идентификации, которая идентифицирует долгосрочные опорные картинки, которые принадлежат к набору опорных картинок текущей картинки.

Например, как указано в Таблице 5, кодер 20 видео и декодер 30 видео могут кодировать или декодировать соответственно, элементы num_long_term_add_curr и num_long_term _add_foll синтаксиса. Элемент num_long_term_add_curr синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации не включена в упомянутый набор параметров картинки или набор параметров последовательности (если применимо), и которые могут быть использованы для интер-предсказания текущей картинки и одной или более картинок, следующих за текущей картинкой в очередности декодирования. Элемент num_long_term_add_foll синтаксиса может определять количество всех долгосрочных опорных картинок, чья информация идентификации не включена в упомянутый набор параметров картинки или набор параметров последовательности (если применимо), которые не могут быть использованы для интер-предсказания текущей картинки, и которые могут быть использованы для интер-предсказания одной или более картинок, следующих за текущей картинкой в очередности декодирования.

Декодер 30 видео может реализовывать следующий псевдокод для определения того, какие долгосрочные опорные картинки принадлежат к набору опорных картинок. В данном примере, долгосрочные опорные картинки могут быть не включены в потенциальные долгосрочные опорные картинки.

for (i=0; i<num_long_term_add_curr + num_long_term_add_foll; i++)

long_term_ref_pic_id_delta_add[i]

Как описано выше, методы, описанные в данном изобретении, могут быть выполнены в соответствии со стандартом HEVC. Нижеследующее является кратким описанием стандарта HEVC для помощи в понимании. Кроме того, несмотря на то, что методы, описываются в контексте стандарта HEVC, методы могут быть расширены на другие стандарты, включая собственные стандарты.

Над разработкой стандарта HEVC работает JCT-VC. Работа по стандартизации HEVC основана на оценке модели компонента кодирования видео, именуемого Тестовая Модель HEVC (HM). HM предполагает ряд дополнительных способностей компонентов кодирования видео по отношению к существующим устройствам в соответствии с, например, стандартом ITU-T H.264/AVC. Например, тогда как стандарт H.264 предусматривает девять режимов интра- предсказания, HM может предоставлять вплоть до тридцати трех режимов интра-предсказания.

В целом, рабочая модель HM описывает то, что видео кадр или картинка может быть разделен на последовательность древовидных блоков или самых больших единиц кодирования (LCU), которые включают в себя выборки как яркости, так и цветности. Назначение древовидного блока аналогично назначению макроблока стандарта H.264. Слайс включает в себя некоторое количество последовательных древовидных блоков в очередности декодирования. Видео кадр или картинка может быть разбит на один или более слайсов. Каждый древовидный блок может быть раздроблен на единицы кодирования (CU) в соответствии с квадродеревом. Например, древовидный блок, как корневой узел квадродерева, может быть раздроблен на четыре дочерних узла, и каждый дочерний узел в свою очередь может быть родительским узлом, и может быть раздроблен на другие четыре дочерних узла. Итоговый, нераздробленный дочерний узел, как концевой узел квадродерева, содержит узел кодирования, т.е., закодированный видео блок. Данные синтаксиса, связанные с закодированным битовым потоком, могут определять максимальное количество раз, которое может быть раздроблен древовидный блок, и также может указывать минимальный размер узлов кодирования. Древовидные блоки могут именоваться LCU в некоторых примерах.

CU включает в себя узел кодирования и единицы предсказания (PU) и единицы преобразования (TU), связанные с узлом кодирования. Размер CU соответствует размеру узла кодирования и должен быть квадратным по форме. Размер CU может находиться в диапазоне от 8х8 пикселей вплоть до размера древовидного блока с максимуму 64х64 пикселями или более. Каждая CU может содержать одну или более PU и одну или более TU. Данные синтаксиса, связанные с CU, могут описывать, например, разбиение CU на одну или более PU. Режимы разбиения могут отличаться в зависимости от того, кодируется ли CU в режиме пропуска или в непосредственном режиме, кодируется ли CU в режиме интра-предсказания, или кодируется ли CU в режиме интер-предсказания. PU могут быть разбиты таким образом, что не имеют неквадратную форму. Данные синтаксиса, связанные с CU также могут описывать, например, разбиение CU на одну или более TU, в соответствии с квадродеревом. TU может иметь квадратную или неквадратную форму.

Стандарт HEVC предусматривает преобразования в соответствии с TU, которые могут быть разными для разных CU. Как правило, размер TU определяется на основании размера PU в рамках заданной CU, определенной для разбитой LCU, несмотря на то, что это не всегда может быть так. TU, как правило, имеют тот же размер или меньше, размера PU. В некоторых примерах, остаточные выборки, соответствующие CU, могут быть дополнительно разделены на более мелкие единицы, используя структуру квадродерева, известную как «остаточное к