Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО МАСШТАБИРУЕМОГО КОДИРОВАНИЯ ВИДЕО

Перекрестная ссылка на родственные заявки

[0001] Настоящее изобретение испрашивает приоритет предварительной заявки на патент (США), порядковый номер 61/495,740, поданной 10 июня 2011 года, озаглавленной "Scalable Coding of High Efficiency Video Coding", и предварительной заявки на патент (США), порядковый номер 61/567,774, поданной 7 декабря 2011 года. Предварительная заявка на патент (США) полностью содержится в данном документе по ссылке.

Область техники, к которой относится изобретение

[0002] Настоящее изобретение относится к кодированию видео. В частности, настоящее изобретение относится к масштабируемому кодированию видео, которое использует информацию базового слоя для кодирования слоя улучшения.

Уровень техники

[0003] Сжатое цифровое видео широко используется в различных приложениях, таких как потоковая передача видео по цифровым сетям и передача видео по цифровым каналам. Очень часто один видеоконтент может доставляться по сетям с различными характеристиками. Например, прямая трансляция спортивного соревнования может переноситься в формате широкополосной потоковой передачи по широкополосным сетям для услуги платной передачи видео по подписке. В таких приложениях сжатое видео обычно сохраняет как высокое разрешение, так и высокое качество, так что видеоконтент подходит для устройств высокой четкости, таких как HDTV или ЖК-дисплей высокого разрешения. Тот же самый контент также может переноситься через сотовую сеть передачи данных, так что контент может просматриваться на портативном устройстве, таком как смартфон или подключенное к сети портативное мультимедийное устройство. В таких приложениях вследствие проблем полосы пропускания сети, а также типичного устройства отображения низкого разрешения на смартфоне или портативных устройствах, видеоконтент обычно сжимается до более низкого разрешения и более низких частот следования битов. Следовательно, для различных сетевых окружений и для различных приложений, требования по разрешению видео и качеству видео очень отличаются. Даже для одинакового типа сети пользователям могут предоставляться различные доступные полосы частот вследствие различной сетевой инфраструктуры и состояния сетевого трафика. Следовательно, пользователь может желать принимать видео с более высоким качеством, когда доступная полоса пропускания является высокой, и принимать видео более низкого качества, но плавное, когда возникает перегрузка сети. В другом сценарии, высокопроизводительный мультимедийный проигрыватель может обрабатывать сжатое видео высокого разрешения и с высокой частотой следования битов, в то время как недорогой мультимедийный проигрыватель допускает только обработку сжатого видео низкого разрешения и с низкой частотой следования битов вследствие ограниченных вычислительных ресурсов. Соответственно, желательно составлять сжатое видео масштабируемым способом, так что видео с различным пространственным временным разрешением и/или качеством может извлекаться из одного и того же самого сжатого потока битов.

[0004] В текущем видеостандарте H.264/AVC существует расширение стандарта H.264/AVC, называемое масштабируемым кодированием видео (SVC). SVC предоставляет временную, пространственную масштабируемости и масштабируемость по качеству на основе одного потока битов. Поток SVC-битов содержит масштабируемую видеоинформацию от низкой частоты кадров, низкого разрешения и низкого качества до высокой частоты кадров, высокой четкости и высокого качества, соответственно. Соответственно, SVC является подходящим для различных видеоприложений, таких как передача видео в широковещательном режиме, потоковая передача видео и видеонаблюдение, чтобы адаптироваться к сетевой инфраструктуре, состоянию трафика, предпочтениям пользователя и т.д.

[0005] В SVC предоставляется три типа масштабируемости, т.е. временная масштабируемость, пространственная масштабируемость и масштабируемость по качеству. SVC использует многослойную структуру кодирования для того, чтобы реализовывать три измерения масштабируемости. Основная цель SVC состоит в том, чтобы формировать один масштабируемый поток битов, который может быть легко и быстро адаптирован к требованию по частоте следования битов, ассоциированному с различными каналами передачи, разнообразными характеристиками отображения и различными вычислительными ресурсами, без транскодирования или повторного кодирования. Важная особенность SVC-схемы заключается в том, что масштабируемость предоставляется на уровне потока битов. Другими словами, потоки битов для извлечения видео с уменьшенным пространственным и/или временным разрешением могут быть получены просто посредством извлечения из масштабируемого потока битов единиц уровня абстракции сети (NAL) (или сетевых пакетов), которые требуются для декодирования запланированного видео. Единицы NAL для повышения качества дополнительно могут усекаться, чтобы сокращать поток битов и ассоциированное качество видео.

[0006] Например, временная масштабируемость может извлекаться из иерархической структуры кодирования на основе B-изображений согласно стандарту H.264/AVC. Фиг. 1 иллюстрирует пример иерархической структуры B-изображений с 4 временными слоями и группой изображений (GOP) с восемью изображениями. Изображения 0 и 8 на фиг. 1 называются ключевыми изображениями. Внешнее прогнозирование ключевых изображений использует только предыдущие ключевые изображения в качестве опорных изображений. Другие изображения между двумя ключевыми изображениями прогнозируются иерархически. Видео, имеющее только ключевые изображения, формирует самое приблизительное временное разрешение масштабируемой системы. Временная масштабируемость достигается посредством прогрессивной детализации (грубого) видео низшего уровня посредством добавления большего числа B-изображений, соответствующих слоям улучшения масштабируемой системы. В примере по фиг. 1, изображение 4 сначала двунаправленно прогнозируется с использованием ключевых изображений, т.е. изображений 0 и 8, после того как упомянутые два ключевых изображения кодированы. После того, как изображение 4 обработано, обрабатываются изображения 2 и 6. Изображение 2 двунаправленно прогнозируется с использованием изображения 0 и 4, и изображение 6 двунаправленно прогнозируется с использованием изображения 4 и 8. После того, как изображения 2 и 6 кодированы, оставшиеся изображения, т.е. изображения 1, 3, 5 и 7, обрабатываются двунаправленно с использованием двух соответствующих соседних изображений, как показано на фиг. 1. Соответственно, порядок обработки для GOP представляет собой 0, 8, 4, 2, 6, 1, 3, 5 и 7. Изображения, обработанные согласно иерархическому процессу по фиг. 1, приводят к иерархическим четырехуровневым изображениям, при этом изображения 0 и 8 принадлежат первому временному порядку, изображение 4 принадлежит второму временному порядку, изображения 2 и 6 принадлежат третьему временному порядку, и изображения 1, 3, 5 и 7 принадлежат четвертому временному порядку. Посредством декодирования изображений базового уровня и добавления изображений высшего временного порядка можно предоставлять видео верхнего уровня. Например, изображения 0 и 8 базового уровня могут быть комбинированы с изображением 4 второго временного порядка, чтобы формировать изображения второго уровня. Посредством дополнительного добавления изображений третьего временного порядка в видео второго уровня можно формировать видео третьего уровня. Аналогично, посредством добавления изображений четвертого временного порядка в видео третьего уровня можно формировать видео четвертого уровня. Соответственно, достигается временная масштабируемость. Если исходное видео имеет частоту кадров 30 кадров в секунду, видео базового уровня имеет частоту кадров 30/8=3,75 кадра в секунду. Видео второго уровня, третьего уровня и четвертого уровня соответствует 7,5, 15 и 30 кадрам в секунду. Изображения первого временного порядка также называются видео базового уровня или изображениями базового уровня. Изображения от второго временного порядка до четвертого временного порядка также называются видео уровня улучшения или изображениями уровня улучшения. Помимо этого, чтобы обеспечивать временную масштабируемость, структура кодирования иерархических B-изображений также повышает эффективность кодирования по сравнению с типичной IBBP GOP-структурой за счет увеличенной задержки при кодировании-декодировании.

[0007] В SVC пространственная масштабируемость поддерживается на основе пирамидальной схемы кодирования, как показано на фиг. 2. В SVC-системе с пространственной масштабируемостью видеопоследовательность сначала понижающе дискретизируется, чтобы получать меньшие изображения при различных пространственных разрешениях (слоях). Например, изображение 210 с исходным разрешением может быть обработано посредством пространственного прореживания 220, чтобы получать изображение 211 с уменьшенным разрешением. Изображение 211 с уменьшенным разрешением дополнительно может обрабатываться посредством пространственного прореживания 221, чтобы получать дополнительное изображение 212 с уменьшенным разрешением, как показано на фиг. 2. В дополнение к двухэлементному пространственному разрешению, когда пространственное разрешение уменьшается наполовину на каждом уровне, SVC также поддерживает произвольные разрешающие способности, что называется расширенной пространственной масштабируемостью (ESS). SVC-система на фиг. 2 иллюстрирует пример пространственной масштабируемой системы с тремя слоями, в которой слой 0 соответствует изображениям с наименьшим пространственным разрешением, а слой 2 соответствует изображениям с наибольшим разрешением. Изображения слоя 0 кодируются независимо от других слоев, т.е. как однослойное кодирование. Например, изображение 212 самого нижнего слоя кодируется с использованием прогнозирования 230 с компенсацией движения и внутреннего прогнозирования.

[0008] Прогнозирование 230 с компенсацией движения и внутреннее прогнозирование формируют элементы синтаксиса, а также связанную с кодированием информацию, такую как информация движения для дополнительного энтропийного кодирования 240. Фиг. 2 фактически иллюстрирует комбинированную SVC-систему, которая предоставляет пространственную масштабируемость, а также масштабируемость по качеству (также называемую SNR-масштабируемостью). Система также может предоставлять временную масштабируемость, которая явным образом не показана. Для каждого однослойного кодирования, ошибки остаточного кодирования могут быть детализированы с использованием кодирования 250 SNR-слоя улучшения. SNR-слой улучшения на фиг. 2 может предоставлять несколько уровней качества (масштабируемость по качеству). Каждый поддерживаемый слой разрешения может быть кодирован посредством соответствующего однослойного прогнозирования с компенсацией движения и внутреннего прогнозирования, к примеру, как в системе не масштабируемого кодирования. Каждый верхний пространственный слой также может быть кодирован с использованием межслойного кодирования на основе одного или более нижних пространственных слоев. Например, видео слоя 1 может быть адаптивно кодировано с использованием межслойного прогнозирования на основе видео слоя 0 либо однослойного кодирования на основе макроблоков или другой единицы блоков. Аналогично, видео слоя 2 может быть адаптивно кодировано с использованием межслойного прогнозирования на основе видео восстановленного слоя 1 или однослойного кодирования. Как показано на фиг. 2, изображения 211 слоя 1 могут быть кодированы посредством прогнозирования 231 с компенсацией движения и внутреннего прогнозирования, энтропийного кодирования 241 базового слоя и кодирования 251 SNR-слоя улучшения. Аналогично, изображения 210 слоя 2 могут быть кодированы посредством прогнозирования 232 с компенсацией движения и внутреннего прогнозирования, энтропийного кодирования 242 базового слоя и кодирования 252 SNR-слоя улучшения. Эффективность кодирования может быть повышена вследствие межслойного кодирования. Кроме того, информация, требуемая для того, чтобы кодировать пространственный слой 1, может зависеть от восстановленного слоя 0 (межслойное прогнозирование). Межслойные разности называются слоями улучшения. H.264 SVC предоставляет три типа инструментальных средств межслойного прогнозирования: межслойное прогнозирование движения, межслойное внутреннее прогнозирование и межслойное остаточное прогнозирование.

[0009] В SVC, слой (EL) улучшения может многократно использовать информацию движения в базовом слое (BL), чтобы уменьшать избыточность межслойных данных движения. Например, макроблочное EL-кодирование может использовать такой флаг, как base_mode_flag, до того как определено то, что mb_type указывает то, извлекается или нет информация движения EL непосредственно из BL. Если base_mode_flag равен 1, данные сегментирования EL-макроблока вместе с ассоциированными опорными индексами и векторами движения извлекаются из соответствующих данных совместно размещенного блока 8x8 в BL. Индекс опорного изображения BL непосредственно используется в EL. Векторы движения EL масштабируются из данных, ассоциированных с BL. Кроме того, масштабированный вектор движения BL может быть использован в качестве дополнительного предиктора вектора движения для EL.

[0010] Межслойное остаточное прогнозирование использует информацию BL-остатков после повышающей дискретизации для того, чтобы уменьшать информацию EL-остатков. Совместно размещенный остаток BL может быть поблочно повышающе дискретизирован с использованием билинейного фильтра и может быть использован в качестве прогнозирования для остатка текущего макроблока в EL. Повышающая дискретизация остатка опорного слоя выполняется на основе блоков преобразования, чтобы обеспечивать то, что фильтрация не применяется через границы блоков преобразования.

[0011] Аналогично межслойному остаточному прогнозированию, межслойное внутреннее прогнозирование уменьшает избыточную информацию текстуры EL. Прогнозирование в EL формируется посредством поблочной повышающей дискретизации совместно размещенного сигнала восстановления BL. В процедуре повышающей дискретизации при межслойном внутреннем прогнозировании 4-отводные и 2-отводные FIR-фильтры применяются для компонентов сигнала яркости и сигнала цветности, соответственно. В отличие от межслойного остаточного прогнозирования, фильтрация для межслойного внутреннего прогнозирования всегда выполняется через границы субблоков. Для простоты декодирования межслойное внутреннее прогнозирование может ограничиваться только внутренне кодированными макроблоками в BL.

[0012] В SVC, масштабируемость по качеству реализуется посредством кодирования нескольких качественных EL, которые состоят из коэффициентов детализации. Масштабируемый поток видеобитов может легко усекаться или извлекаться, чтобы предоставлять различные потоки видеобитов с различным качеством видео или размерами потока битов. В SVC, масштабируемость по качеству (также называемая SNR-масштабируемостью) может предоставляться через две стратегии, крупномодульную масштабируемость (CGS) и среднемодульную масштабируемость (MGS). CGS может рассматриваться в качестве частного случая пространственной масштабируемости, при которой пространственное разрешение BL и EL является одинаковым. Тем не менее, качество EL лучше (QP EL меньше QP BL). Может использоваться тот же самый механизм межслойного прогнозирования для пространственного масштабируемого кодирования. Тем не менее, соответствующие операции повышающей дискретизации или удаления блочности не выполняются. Кроме того, межслойное внутреннее и остаточное прогнозирование непосредственно выполняется в области преобразования. Для межслойного прогнозирования в CGS детализация информации текстуры типично осуществляется посредством повторного квантования остаточного сигнала в EL с меньшим размером шага квантования, чем шаг квантования, используемый для предыдущего CGS-слоя. CGS может предоставлять несколько предварительно заданных баллов оценки качества.

[0013] Чтобы предоставлять более точную степень детализации скорости передачи битов при поддержании обоснованной сложности для масштабируемости по качеству, MGS используется посредством H.264 SVC. MGS может рассматриваться как расширение CGS, в котором квантованные коэффициенты в одной серии последовательных SGS-макроблоков могут быть разделены на несколько серий последовательных MGS-макроблоков. Квантованные коэффициенты в CGS классифицируются на 16 категорий на основе позиции сканирования в зигзагообразном порядке сканирования. Эти 16 категорий коэффициентов могут быть распределены в различные серии последовательных макроблоков, чтобы предоставлять большее число баллов извлечения качества, чем CGS.

[0014] В текущем HEVC, это предоставляет только однослойное кодирование на основе структуры кодирования иерархических B без пространственной масштабируемости и масштабируемости по качеству. Желательно предоставлять характеристики пространственной масштабируемости и масштабируемости по качеству для текущего HEVC. Кроме того, желательно предоставлять улучшенное SVC по сравнению с H.264 SVC, чтобы достигать более высокой эффективности и/или большей гибкости.

Сущность изобретения

[0015] Раскрываются способ и устройство для масштабируемого кодирования видео, которые используют информацию базового слоя (BL) для слоя (EL) улучшения, при этом EL имеет и/или лучшее качество более высокого разрешения, чем BL. Варианты осуществления настоящего изобретения используют различные фрагменты BL-информации, чтобы повышать эффективность кодирования EL. В одном варианте осуществления согласно настоящему изобретению, способ и устройство используют информацию структуры CU, информацию режима или информацию движения BL для того, чтобы извлекать соответствующую информацию структуры CU, информацию режима или информацию предиктора вектора движения (MVP) для EL. Комбинация структуры CU, информации режима, движения также может быть использована для того, чтобы извлекать соответствующую информацию для EL. В другом варианте осуществления согласно настоящему изобретению способ и устройство извлекают кандидатов предикторов вектора движения (MVP) или кандидатов слияния EL на основе MVP-кандидатов или кандидатов слияния BL. В еще одном другом варианте осуществления настоящего изобретения способ и устройство извлекают режим внутреннего прогнозирования EL на основе режима внутреннего прогнозирования BL.

[0016] Вариант осуществления настоящего изобретения использует информацию структуры в виде остаточного дерева квадрантов BL для того, чтобы извлекать структуру в виде остаточного дерева квадрантов для EL. Другой вариант осуществления настоящего изобретения извлекает текстуру EL посредством повторной дискретизации текстуры BL. Дополнительный вариант осуществления настоящего изобретения извлекает предиктор остатка EL посредством повторной дискретизации остатка BL.

[0017] Один аспект настоящего изобретения направлен на эффективность кодирования контекстно-адаптивного энтропийного кодирования для EL. Вариант осуществления настоящего изобретения определяет контекстную информацию для обработки элемента синтаксиса EL с использованием информации BL. Другой аспект настоящего изобретения направлен на связанную с эффективностью кодирования внутриконтурную обработку. Вариант осуществления настоящего изобретения извлекает ALF-информацию, SAO-информацию или DF-информацию для EL с использованием ALF-информации, SAO-информации или DF-информации BL, соответственно.

Краткое описание чертежей

[0018] Фиг. 1 иллюстрирует пример временного масштабируемого кодирования видео с использованием иерархических B-изображений.

[0019] Фиг. 2 иллюстрирует пример комбинированной системы масштабируемого кодирования видео, которая предоставляет пространственную масштабируемость, а также масштабируемость по качеству, при которой предоставляются три пространственных слоя.

[0020] Фиг. 3 иллюстрирует пример многократного использования структуры CU для масштабируемого кодирования видео, при этом структура CU для базового слоя масштабируется и используется в качестве начальной структуры CU для слоя улучшения.

[0021] Фиг. 4 иллюстрирует примерную блок-схему последовательности операций способа кодирования структуры CU или кодирования информации движения для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0022] Фиг. 5 иллюстрирует примерную блок-схему последовательности операций способа извлечения MVP или извлечения кандидатов слияния для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0023] Фиг. 6 иллюстрирует примерную блок-схему последовательности операций способа извлечения режима внутреннего прогнозирования для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0024] Фиг. 7 иллюстрирует примерную блок-схему последовательности операций способа кодирования структуры в виде остаточного дерева квадрантов для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0025] Фиг. 8 иллюстрирует примерную блок-схему последовательности операций способа прогнозирования текстуры и повторной дискретизации для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0026] Фиг. 9 иллюстрирует примерную блок-схему последовательности операций способа остаточного прогнозирования и повторной дискретизации для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0027] Фиг. 10 иллюстрирует примерную блок-схему последовательности операций способа контекстно-адаптивного энтропийного кодирования для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

[0028] Фиг. 11 иллюстрирует примерную блок-схему последовательности операций способа кодирования ALF-информации, кодирования SAO-информации и кодирования DF-информации для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения.

Подробное описание изобретения

[0029] В HEVC, структура единицы кодирования (CU) введена в качестве новой блочной структуры для процесса кодирования. Изображение разделяется на наибольшие CU (LCU), и каждая LCU адаптивно сегментируется на CU до тех пор, пока концевая CU не будет получена, или минимальный CU-размер не будет достигнут. Информация структуры CU должна быть передана на сторону декодера, так что та же самая структура CU может быть восстановлена на стороне декодера. Чтобы повышать эффективность кодирования, ассоциированную с CU-структурой для масштабируемого HEVC, вариант осуществления согласно настоящему изобретению дает возможность CU-структуре BL повторно использоваться посредством EL. На уровне EL LCU или CU один флаг передается, чтобы указывать то, используется многократно или нет структура CU из соответствующей CU BL. Если BL структура CU многократно используется, BL структура CU масштабируется так, что она совпадает с разрешениями EL, и масштабированная BL структура CU многократно используется посредством EL. В некоторых вариантах осуществления, информация структуры CU, которая может быть многократно использована посредством EL, включает в себя флаг разбиения CU и флаг разбиения остаточного дерева квадрантов. Кроме того, концевая CU масштабированных CU-структур дополнительно может разбиваться на суб-CU. Фиг. 3 иллюстрирует пример многократного использования CU-сегмента. Сегмент 310 соответствует CU-структуре BL. Разрешение видео EL в два раза превышает разрешение видео BL по горизонтали и по вертикали. Структура CU соответствующего CU-сегмента 315 BL масштабируется с повышением на 2. Масштабированная структура CU 320 затем используется в качестве начальной структуры CU для EL LCU. Концевые CU масштабированной CU в EL дополнительно могут разбиваться на суб-CU, и результат указывается посредством 330 на фиг. 3. Флаг может быть использован для того, чтобы указывать то, разделяется или нет концевая CU дополнительно на суб-CU. Хотя фиг. 3 иллюстрирует пример, в котором многократно используется структура CU, другая информация также может быть многократно использована. Например, тип прогнозирования, размер прогнозирования, индекс слияния, опорное направление внешнего кодирования, индекс опорного изображения, векторы движения, индекс MVP и внутренний режим. Информация/данные могут масштабироваться при необходимости до того, как информация/данные многократно используются в EL.

[0030] В другом варианте осуществления согласно настоящему изобретению, информация режима для концевой CU многократно используется. Информация режима может включать в себя флаг пропуска, тип прогнозирования, размер прогнозирования, опорное направление внешнего кодирования, индекс опорного изображения, векторы движения, индекс вектора движения, флаг слияния, индекс слияния, режим пропуска, режим слияния и внутренний режим. Информация режима концевой CU в EL может совместно использовать тот же самый или масштабируемую информацию режима соответствующей CU в BL. Один флаг может быть использован для того, чтобы указывать то, использует многократно или нет EL информацию режима из BL. Для одного или более фрагментов информации режима один флаг может быть использован для того, чтобы указывать то, использует многократно или нет EL эту информацию режима из BL. В еще одном другом варианте осуществления согласно настоящему изобретению информация движения соответствующей единицы прогнозирования (PU) или единицы кодирования (CU) в BL многократно используется для того, чтобы извлекать информацию движения PU или CU в EL. Информация движения может включать в себя направление внешнего прогнозирования, индекс опорного изображения, векторы движения (MV), предикторы вектора движения (MVP), индекс MVP, индекс слияния, кандидатов слияния и внутренний режим. Информация движения для BL может быть использована в качестве предикторов или кандидатов для информации предиктора вектора движения (MVP) в EL. Например, BL MV (вектор движения BL) и BL MVP (предиктор вектора движения BL) могут добавляться в список MVP и/или список слияния для извлечения MVP EL. Вышеуказанные MV из BL могут быть MV соответствующей PU в BL, MV соседних PU соответствующих PU в BL, MV кандидатов слияния соответствующих PU в BL, MVP соответствующих PU в BL или совместно размещенные MV соответствующих PU в BL.

[0031] В другом примере, извлечение кандидатов слияния для EL может использовать информацию движения BL. Например, кандидаты слияния соответствующей PU в BL могут добавляться в список кандидатов слияния и/или в список MVP. Вышеуказанная информация движения BL может быть информацией движения соответствующей PU в BL, информацией движения, ассоциированной с соседней PU соответствующей PU в BL, кандидатами слияния соответствующих PU в BL, MVP соответствующих PU в BL или совместно размещенной PU соответствующей PU в BL. В этом случае, информация движения включает в себя направление внешнего прогнозирования, индекс опорного изображения и векторы движения.

[0032] В еще одном другом примере, внутренний режим соответствующей PU или CU в BL может быть многократно использован для EL. Например, внутренний режим соответствующей PU или CU в BL может добавляться в список наиболее вероятных внутренних режимов. Вариант осуществления согласно настоящему изобретению использует информацию движения BL для того, чтобы прогнозировать внутренний режим для EL. Порядок относительно списка наиболее вероятных режимов в EL может быть адаптивно изменен согласно информации режима внутреннего прогнозирования в BL. Соответственно, длины кодовых слов для кодовых слов в списке наиболее вероятных режимов в EL могут быть адаптивно изменены согласно информации режима внутреннего прогнозирования в BL. Например, кодовым словам оставшихся внутренних режимов с направлениями прогнозирования, близкими к направлению прогнозирования кодированного внутреннего BL-режима, назначается меньшая длина. В качестве другого примера, режимы соседних направлений внутреннего BL-режима также могут добавляться в список наиболее вероятных внутренних режимов (MPM) кодирования внутреннего EL-режима. Информация режима внутреннего прогнозирования BL может быть режимом внутреннего прогнозирования соответствующей PU в BL или режимами соседних направлений внутреннего BL-режима, или режимом внутреннего прогнозирования соседней PU соответствующей PU в BL.

[0033] Выбранный индекс MVP, индекс слияния и индекс внутреннего режима информации движения BL могут быть использованы для того, чтобы адаптивно изменять порядок индексов в EL списке MVP, списке индекса слияния и списке наиболее вероятных внутренних режимов. Например, в версии 3.0 тестовой модели HEVC (HM 3.0), порядок списка MVP представляет собой {левого MVP, вышерасположенного MVP, совместно размещенного MVP}. Если соответствующая BL PU выбирает вышерасположенного MVP, то порядок вышерасположенного MVP перемещается вперед в EL. Соответственно, список MVP в EL становится {вышерасположенный MVP, левый MVP, совместно размещенный MVP}. Кроме того, BL-кодированный MV, масштабированный кодированный MV, MVP-кандидаты, масштабированные MVP-кандидаты, кандидаты слияния и масштабированные кандидаты слияния могут заменять часть EL MVP-кандидатов и/или кандидатов слияния. Процесс извлечения информации движения для PU или CU в EL на основе информации движения для соответствующей PU или CU в BL активируется, когда MVP-кандидат или кандидат слияния для PU или CU в EL требуется для кодирования или декодирования.

[0034] Как упомянуто выше, информация структуры CU для BL может быть использована для того, чтобы определять информацию структуры CU для EL. Кроме того, информация структуры CU, информация режима и информация движения для BL может быть использована совместно, чтобы определять информацию структуры CU, информацию режима и информацию движения для EL. Информация режима или информация движения для BL также может быть использована для того, чтобы определять информацию режима или информацию движения для EL. Процесс извлечения информации структуры CU, информации режима, информации движения или любой комбинации для EL на основе соответствующей информации для B, может активироваться, когда информация структуры CU, информация режима, информация движения или любая комбинация для EL должна быть кодирована либо декодирована.

[0035] В HM 3.0, остаток прогнозирования дополнительно обрабатывается с использованием сегментирования с помощью дерева квадрантов, и тип кодирования выбирается для каждого блока результатов сегмента остаточного дерева квадрантов. Как информация сегмента остаточного дерева квадрантов, так и информация шаблона блока кодирования (CBP) должны быть включены в поток битов, так что декодер может восстанавливать информацию остаточного дерева квадрантов. Вариант осуществления согласно настоящему изобретению многократно использует сегмент остаточного дерева квадрантов и CBP соответствующей CU в BL для EL. Сегмент остаточного дерева квадрантов и CBP могут масштабироваться и использоваться в качестве предиктора для кодирования сегментов остаточного дерева квадрантов EL и CBP-кодирования. В HEVC, единица для блочного преобразования называется "единицей преобразования (TU)", и TU может быть сегментирована на меньшие TU. В варианте осуществления настоящего изобретения, один флаг для корневого TU-уровня или TU-уровня EL передается, чтобы указывать то, используется или нет структура кодирования остаточного дерева квадрантов (RQT) соответствующей TU в BL для того, чтобы прогнозировать RQT-структуру текущей TU в EL. Если RQT-структура соответствующей TU в BL используется для того, чтобы прогнозировать RQT-структуру текущей TU в EL, RQT-структура соответствующей TU в BL масштабируется и используется в качестве начальной RQT-структуры текущей TU в EL. В концевой TU начальной RQT-структуры для EL один флаг разбиения может быть передан, чтобы указывать то, разделяется или нет TU на под-TU. Процесс извлечения RQT-структуры EL на основе информации RQT-структуры BL выполняется, когда кодер должен кодировать RQT-структуру EL, или декодер должен декодировать RQT-структуру EL.

[0036] В масштабируемом расширении H.264/AVC 4-отводные и 2-отводные FIR-фильтры приспосабливаются для операции повышающей дискретизации сигнала текстуры для компонентов сигнала яркости и сигнала цветности, соответственно. Вариант осуществления согласно настоящему изобретению повторно дискретизирует BL-текстуру в качестве предиктора EL-текстуры, при этом повторная дискретизация использует улучшенные способы повышающей дискретизации для того, чтобы заменять 4-отводный и 2-отводный FIR-фильтр в масштабируемом расширении H.264/AVC. Фильтр согласно настоящему изобретению использует один из следующих фильтров или комбинацию следующих фильтров: интерполяционный фильтр на основе дискретного косинусного преобразования (DCTIF), интерполяционный фильтр на основе дискретного синусного преобразования (DSTIF), фильтр Винера, фильтр нелокальных средних значений, сглаживающий фильтр и билатеральный фильтр. Фильтр согласно настоящему изобретению может пересекать границы TU или может быть ограничен рамками границ TU. Вариант осуществления согласно настоящему изобретению может пропускать процедуры дополнения и удаления блочности в межслойном внутреннем прогнозировании, чтобы снижать остроту вычислительной проблемы и проблемы зависимости по данным. Дискретизированное адаптивное смещение (SAO), адаптивный контурный фильтр (ALF), фильтр нелокальных средних значений и/или сглаживающий фильтр в BL также может пропускаться. Пропуск дополнения, удаления блочности, SAO, ALF, фильтр нелокальных средних значений и сглаживающий фильтр может применяться ко всей LCU, концевой CU, PU, TU, предварительно заданной области, границе LCU, границе концевой CU, границе PU, границе TU или границе предварительно заданной области. В другом варианте осуществления, текстура BL обрабатывается с использованием фильтра, чтобы формировать фильтрованную BL-текстуру, и BL-текстура имеет разрешение, тот же самый разрешению EL-текстуры, и используется в качестве предиктора текстуры EL. Фильтр Винера, ALF (адаптивный контурный фильтр), фильтр нелокальных средних значений, сглаживающий фильтр или SAO (дискретизированное адаптивное смещение) может применяться к текстуре BL до того, как текстура BL используется в качестве предиктора текстуры EL.

[0037] Чтобы повышать качество изображений, вариант осуществления настоящего изобретения применяет фильтр Винера или адаптивный фильтр к текстуре BL до того, как текстура BL повторно дискретизируется. Альтернативно, фильтр Винера или адаптивный фильтр может применяться к текстуре BL после того, как текстура BL повторно дискретизируется. Кроме того, вариант осуществления настоящего изобретения применяет SAO или ALF к текстуре BL до того, как текстура BL повторно дискретизируется.

[0038] Другой вариант осуществления согласно настоящему изобретению использует фильтр Винера на основе CU или на основе LCU и/или адаптивное смещение для межслойного внутреннего прогнозирования. Фильтрация может применяться к данным BL-текстуры или данным BL-текстуры после повышающей дискретизации.

[0039] В H.264 SVC, 2-отводный FIR-фильтр приспосабливается для операции повышающей дискретизации остаточного сигнала для обоих компонентов сигнала яркости и сигнала цветности. Вариант осуществления согласно настоящему изобретению использует улучшенные способы повышающей дискретизации для того, чтобы заменять 2-отводный FIR-фильтр H.264 SVC. Фильтр может быть одним из следующих фильтров или комбинацией следующих фильтров: интерполяционный фильтр на основе дискретного косинусного преобразования (DCTIF), интерполяционный фильтр на основе дискретного синусного преобразования (DSTIF), фильтр Винера, фильтр нелокальных средних значений, сглаживающий фильтр и билатеральный фильтр. Когда EL имеет более высокое пространственное разрешение, чем BL, вышеуказанные фильтры могут применяться для того, чтобы повторно дискретизировать BL-остаток. Все вышеуказанные фильтры могут быть ограничены таким образом, что они пересекают или не пересекают границы TU. Кроме того, остаточное прогнозирование может быть выполнено в пространственной области или в частотной области, если BL и EL имеют то же самое разрешение, или EL имеет более высокое разрешение, чем BL. Когда EL имеет более высокое пространственное разрешение, чем BL, остаток BL может быть повторно дискретизирован в частотной области, чтобы формировать предикторы для EL-остатка. Процесс извлечения предиктора остатка EL посредством повторной дискретизации остатка BL может быть выполнен, когда кодер или декодер должен извлекать предиктор остатка EL на основе повторно дискретизированного остатка BL.

[0040] Вариант осуществления согласно настоящему изобретению может использовать BL-информацию для контекстно-адаптивного энтропийного кодирования в EL. Например, формирование контекста или преобразование в двоичную форму CABAC (контекстно-адаптивного двоичного арифметического кодирования) может использовать информацию BL. EL может использовать различные контекстные модели, различные способы формирования контекста или различные контекстные наборы на основе соответствующей информации в BL. Например, EL PU может использовать различные контекстные модели в зависимости от того, кодируется соответствующая PU в BL в режиме пропуска или нет. В другом варианте осуществления настоящего изобретения, вероятность или наиболее вероятный символ (MPS) части контекстных моделей для CABAC в BL может быть многократно использована для того, чтобы извлекать начальную вероятность и MPS части контекстных моделей для CABAC в EL. Элемент синтаксиса может представлять собой флаг разбиения, флаг пропуска, флаг слияния, индекс слияния, внутренний режим сигнала цветности, внутренний режим сигнала яркости, размер сегмента, режим прогнозирования, направление внешнего прогнозирования, разность векторов движения, индекс предиктора вектора движения, опорный индекс, параметр дельта-квантования, флаг значимости, последняя значимая позиция, коэффициент, больший единицы (coefficient-greater-than-one), абсолютную величину коэффициента минус один (coefficient-magnitude-minus-one), флаг управления ALF (адаптивным контурным фильтром), ALF-флаг, размер ALF-следа, флаг ALF-слияния, решение по активации-деактивации ALF, ALF-коэффициент, флаг дискретизированного адаптивного смещения (SAO), SAO-тип, SAO-смещение, флаг SAO-слияния, SAO-серию, решение по активации-деактивации SAO, флаги подразделения преобразования, CBF (флаг кодированного блока) остаточного дерева квадрантов или CBF корня остаточного дерева квадрантов. Кодовое слово, соответствующее элементам синтаксиса, может быть адаптивно изменено согласно информации BL, и порядок кодового слова, соответствующий элементам синтаксиса EL в таблице кодовых слов поиска, также может быть адаптивно изменен согласно информации BL. Процесс определения контекстной информации для обработки элемента синтаксиса EL с использованием информации BL выполняется, когда элемент синтаксиса EL должен быть кодирован или декодирован.

[0041] Вариант осуществления настоящего изобретения использует некоторую ALF-информацию в BL для того, чтобы извлекать ALF-информацию в EL. ALF-информация может включать в себя режим адаптации фильтра, коэффициенты фильтрации, след фильтра, сегментацию на области, решение по активации-деактивации, флаг разрешения и результаты слияния. Например, EL может использовать часть ALF-параметров в BL в качестве ALF-параметров или предикторов ALF-параметров в EL. Когда ALF-информация многократно используется непосредственно из ALF-информации BL, нет необходимости передавать ассоциированные ALF-параметры для EL. Флаг может быть использован для того, чтобы указывать то, прогнозируется или нет ALF-информация для EL из ALF-информации BL. Если флаг указывает то, что ALF-информация для EL прогнозируется из ALF-информации BL, ALF-информация BL может масштабироваться и использоваться в качестве предиктора для ALF-информации EL. Значение может быть использовано для того, чтобы обозначать разность между предиктором ALF-информации и ALF-информацией EL. Процесс извлечения ALF-информации для EL с использованием ALF-информации BL выполняется, когда кодер или декодер должен извлекать ALF-информацию EL.

[0042] Вариант осуществления настоящего изобретения использует некоторую SAO-информацию в BL для того, чтобы извлекать SAO-информацию в EL. SAO-информация может включать в себя тип смещения, смещения, сегментацию на области, решение по активации-деактивации, флаг разрешения и результаты слияния. Например, EL может использовать часть SAO-параметров в BL в качестве SAO-параметров для EL. Когда SAO-информация многократно используется непосредственно из SAO-информации BL, нет необходимости передавать ассоциированные SAO-параметры для EL. Флаг может быть использован для того, чтобы указывать то, прогнозируется или нет SAO-информация для EL из SAO-информации BL. Если флаг указывает то, что SAO-информация для EL прогнозируется из SAO-информации BL, SAO-информация BL может масштабироваться и использоваться в качестве предиктора для SAO-информации EL. Значение может быть использовано для того, чтобы обозначать разность между предиктором SAO-информации и SAO-информацией EL. Процесс извлечения SAO-информации для EL с использованием SAO-информации BL выполняется, когда кодер или декодер должен извлекать SAO-информацию EL.

[0043] Вариант осуществления настоящего изобретения использует некоторую информацию фильтра удаления блочности (DF) в BL для того, чтобы извлекать DF-информацию в EL. DF-информация может включать в себя пороговые значения, такие как пороговые значения α, β и t_c, которые используются для того, чтобы определять граничную интенсивность (BS). DF-информация также может включать в себя параметры фильтра, решение по активации-деактивации фильтра, выбор слабого/сильного фильтра или интенсивность фильтрации. Когда DF-информация многократно используется непосредственно из DF-информации BL, нет необходимости передавать ассоциированные DF-параметры для EL. Флаг может быть использован для того, чтобы указывать то, прогнозируется или нет DF-информация для EL из DF-информации BL. Если флаг указывает то, что DF-информация для EL прогнозируется из DF-информации BL, DF-информация BL может масштабироваться и использоваться в качестве предиктора для DF-информации EL. Значение может быть использовано для того, чтобы обозначать разность между предиктором DF-информации и DF-информацией EL. Процесс извлечения DF-информации для EL с использованием DF-информации BL выполняется, когда кодер или декодер должен извлекать DF-информацию EL.

[0044] Фиг. 4-11 иллюстрируют примерные блок-схемы последовательности операций способа для масштабируемого кодирования видео согласно различным вариантам осуществления настоящего изобретения. Фиг. 4 иллюстрирует примерную блок-схему последовательности операций способа кодирования структуры CU или кодирования информации движения для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL. структура CU (структура единицы кодирования), информация движения или комбинация структуры CU и информации движения для CU (единицы кодирования) в BL определяются на этапе 410. Структура CU, информация предиктора вектора движения (MVP) или комбинация структуры CU и информации MVP для соответствующей CU в EL на основе структуры CU, информации движения или комбинации структуры CU и информации движения для CU в BL, соответственно, определяются на этапе 420. Фиг. 5 иллюстрирует примерную блок-схему последовательности операций способа извлечения MVP или извлечения кандидатов слияния для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL. Информация движения для BL определяется на этапе 510. Кандидаты предикторов вектора движения (MVP) или кандидаты слияния в EL на основе информации движения BL извлекаются на этапе 520. Фиг. 6 иллюстрирует примерную блок-схему последовательности операций способа извлечения режима внутреннего прогнозирования для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL. Информация режима внутреннего прогнозирования BL определяется на этапе 610. Режим внутреннего прогнозирования EL на основе информации режима внутреннего прогнозирования BL извлекается на этапе 620.

[0045] Фиг. 7 иллюстрирует примерную блок-схему последовательности операций способа кодирования структуры в виде остаточного дерева квадрантов для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL. Информация RQT-структуры (структуры кодирования остаточного дерева квадрантов) BL определяется на этапе 710. RQT-структура EL на основе информации RQT-структуры BL извлекается на этапе 720. Фиг. 8 иллюстрирует примерную блок-схему последовательности операций способа прогнозирования текстуры и повторной дискретизации для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение, чем BL, или лучшее качество видео, чем BL. Информация текстуры BL определяется на этапе 810. Предиктор текстуры EL на основе информации текстуры BL извлекается на этапе 820. Фиг. 9 иллюстрирует примерную блок-схему последовательности операций способа остаточного прогнозирования и повторной дискретизации для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение, чем BL, или лучшее качество видео, чем BL. Остаточная информация BL определяется на этапе 910. Предиктор остатка EL посредством повторной дискретизации остатка BL извлекается на этапе 920.

[0046] Фиг. 10 иллюстрирует примерную блок-схему последовательности операций способа контекстно-адаптивного энтропийного кодирования для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL. Информация BL определяется на этапе 1010. Контекстная информация для обработки элемента синтаксиса EL с использованием информации BL определяется на этапе 1020. Фиг. 11 иллюстрирует примерную блок-схему последовательности операций способа кодирования ALF-информации, кодирования SAO-информации и кодирования DF-информации для масштабируемого кодирования видео согласно варианту осуществления настоящего изобретения, в котором видеоданные конфигурируются в базовый слой (BL) и слой (EL) улучшения, при этом EL имеет более высокое пространственное разрешение или лучшее качество видео, чем BL. ALF-информация, SAO-информация или DF-информация BL определяется на этапе 1110. ALF-информация, SAO-информация или DF-информация для EL с использованием ALF-информации, SAO-информации или DF-информации BL, соответственно, извлекается на этапе 1120.

[0047] Варианты осуществления масштабируемого кодирования видео, в которых кодирование слоя улучшения использует информацию базового слоя согласно настоящему изобретению, как описано выше, могут быть реализованы в различных аппаратных средствах, программных кодах или в комбинации вышеозначенного. Например, вариант осуществления настоящего изобретения может представлять собой схему, интегрированную в кристалл для сжатия видео, или программные коды, интегрированные в программное обеспечение для сжатия видео, чтобы выполнять обработку, описанную в данном документе. Вариант осуществления настоящего изобретения также может представлять собой программные коды, которые должны выполняться в процессоре цифровых сигналов (DSP), чтобы выполнять обработку, описанную в данном документе. Изобретение также может заключать в себе ряд функций, которые должны быть выполнены посредством процессора компьютера, процессора цифровых сигналов, микропроцессора или программируемой пользователем вентильной матрицы (FPGA). Эти процессоры могут быть выполнены с возможностью осуществлять конкретные задачи согласно изобретению посредством выполнения машиночитаемого программного кода или микропрограммного кода, который задает конкретные способы, осуществленные посредством изобретения. Программный код или микропрограммные коды могут быть разработаны на различных языках программирования и в различном формате или стиле. Программный код также может быть компилирован для различных целевых платформ. Тем не менее, различные форматы кода, стили и языки программных кодов, а также другие средства конфигурирования кода для того, чтобы выполнять задачи в соответствии с изобретением, не должны отступать от сущности и объема изобретения.

[0048] Изобретение может быть осуществлено в других характерных формах без отступления от сущности или важнейших характеристик. Описанные примеры должны рассматриваться во всех отношениях только как иллюстративные, а не ограничивающие. Следовательно, объем изобретения указан посредством прилагаемой формулы изобретения, а не вышеприведенного описания. Все изменения, которые подпадают под смысл и рамки равнозначности формулы изобретения, должны охватываться ее объемом.