Результат интеллектуальной деятельности: ТОЧКИ ВХОДА ДЛЯ УСКОРЕННОГО 3D-ВОСПРОИЗВЕДЕНИЯ

Область техники, к которой относится изобретение

Изобретение относится к способу обеспечения точек входа для потока видеоданных, причем способ содержит

- генерирование таблицы точек входа для обеспечения возможности ускоренного воспроизведения (″trickplay″, ″специальное воспроизведение″);

- задание точек входа в потоке видеоданных, в котором точки входа задаются с некоторым расстоянием по времени друг от друга;

- сохранение заданных точек входа в таблице точек входа путем сохранения адресов точек входа, обеспечивающих местоположение заданных точек входа.

Изобретение дополнительно относится к устройству для обеспечения точек входа, устройству для воспроизведения видеоданных, сигналу, способу визуализации и компьютерному программному продукту.

Изобретение относится к области визуализации 3D-видеоданных в режиме ускоренного воспроизведения, т.е. воспроизведения 3D-видео на повышенной скорости в прямом или обратном направлении на устройстве 3D-отображения.

Уровень техники

Известны устройства для визуализации 2D-видеоданных, к примеру видеопроигрыватели, такие как DVD-проигрыватели или ресиверы цифрового телевидения, которые обеспечивают цифровые видеосигналы. Устройство-источник следует соединить с устройством отображения, таким как телевизор или монитор. Данные изображения передаются от устройства-источника через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, такой как HDMI. В настоящий момент предлагаются устройства улучшенного 3D для снабжения трехмерных (3D) образных данных.

Для 3D-содержимого, такого как 3D-фильмы или телепередачи, дополнительные управляющие данные для обеспечения возможности ускоренного воспроизведения могут обеспечиваться в объединении с данными изображения, к примеру список указателей на последующие расположения кадров, которые могут быть визуализированы на повышенной скорости. Ускоренным воспроизведением является любой режим визуализации 3D-видеосодержимого на скорости, отличной от исходной скорости, такой как быстрая прокрутка вперед, быстрая прокрутка назад или замедленное воспроизведение на различных скоростях.

В документе US 2006/0117357 описывается система для визуализации 2D-видеоданных в режимах ускоренного воспроизведения. Цифровой видеосигнал воспроизводится на различных скоростях проигрывания в ускоренных режимах. Кадровые индексы, ассоциированные с видеокадрами цифрового видеопотока, отслеживаются, и размер группы картинок (GOP) определяется через кадровые индексы. Один или несколько параметров скорости проигрывания в ускоренном режиме вычисляются на основе определенного GOP-размера. Управление представлением видеокадров осуществляется на основе вычисленных параметров скорости проигрывания в ускоренном режиме. В одном варианте осуществления параметры скорости проигрывания в ускоренном режиме включают в себя счет пропуска кадров и счет повтора кадров.

Для 3D-содержимого ускоренное воспроизведение также должно быть разработано. Одним из примеров 3D-содержимого является двухмерное изображение и ассоциированная с ним карта глубины. Другим примером 3D-содержимого является множество двухмерных изображений, например широко известное стереоскопическое содержимое, имеющее изображение для правого глаза и изображение для левого глаза. Еще одним примером 3D-содержимого является стереоскопическое содержимое, имеющее множество изображений для правого глаза и изображений для левого глаза, для отображения на многоракурсном устройстве отображения.

Сущность изобретения

Проблема ускоренного воспроизведения в случае 3D-видео состоит в том, что нагрузка на видеодекодер возрастает, когда декодеру требуется декодировать больше кадров за более короткое время (для гладкого ускоренного воспроизведения). В случае стереоскопического видео декодеру требуется декодировать два или более потоков, и это увеличивает нагрузку по сравнению с 2D. Вдобавок, если многоракурсное видео кодируется с использованием зависимого подпоточного многоракурсного кодирования, то декодирование дополнительных потоков становится зависимым от потока базового ракурса.

Для обеспечения ускоренного 2D-воспроизведения стандарт Blu-ray Disc определяет таблицу точек входа (ЕР-карту) для каждого элементарного видеопотока. Видео кодируется в кадрах различных типов, определенных в широко известных стандартах MPEG. Таблица содержит список расположений тех точек в потоке, где может начинаться декодирование. Обычно точки входа находятся на границах кадра MPEG-1. Таблица содержит список точек входа только для одного потока, и осталось неучтенным то, что одновременно могут декодироваться несколько видеопотоков, которые также зависимы друг от друга.

Целью изобретения является обеспечить систему для ускоренного 3D-воспроизведения более удобным образом.

С этой целью, согласно первому аспекту изобретения, в способе, описанном во вступительном абзаце, поток видеоданных содержит множество подпотоков, множество которых представляет один поток 3D-видеоданных, и содержит по меньшей мере один 2D-подпоток, который содержит независимым образом кодированную 2D-версию 3D-видеоданных, и по меньшей мере один вспомогательный подпоток, который содержит зависимым образом кодированную часть 3D-видеоданных; задание точек входа содержит ассоциацию таблицы точек входа с 3D-видеоданными путем задания главных точек входа в 2D-подпотоке и вспомогательных точек входа во вспомогательном подпотоке для обеспечения возможности ускоренного 3D-воспроизведения 3D-видеоданных путем извлечения и декодирования несмежных фрагментов 2D-подпотока и извлечения и зависимого декодирования соответствующих фрагментов вспомогательного подпотока на основе извлечения главных точек входа и вспомогательных точек входа.

С этой целью, согласно второму аспекту изобретения, устройство для обеспечения точек входа для потока видеоданных содержит средство для генерирования таблицы точек входа путем задания точек входа в потоке видеоданных, в котором точки входа задаются с некоторым расстоянием по времени друг от друга для обеспечения возможности ускоренного воспроизведения, и сохранения заданных точек входа в таблице точек входа путем сохранения адресов точек входа, обеспечивающих местоположение заданных точек входа, причем поток видеоданных содержит множество подпотоков, множество которых представляет один поток 3D-видеоданных, и содержит по меньшей мере один 2D-подпоток, который содержит независимым образом кодированную 2D-версию 3D-видеоданных, и по меньшей мере один вспомогательный подпоток, который содержит зависимым образом кодированную часть 3D-видеоданных, и средства для генерирования таблицы точек входа компонуются для ассоциации таблицы точек входа с 3D-видеоданными путем задания главных точек входа в 2D-подпотоке и вспомогательных точек входа во вспомогательном подпотоке для обеспечения возможности ускоренного 3D-воспроизведения 3D-видеоданных путем извлечения и декодирования несмежных фрагментов 2D-подпотока и извлечения и зависимого декодирования соответствующих фрагментов вспомогательного подпотока на основе извлечения главных точек входа и вспомогательных точек входа.

С этой целью, согласно дополнительному аспекту изобретения, устройство для воспроизведения видеоданных содержит средство для приема потока видеоданных и таблицы точек входа, как определено выше, причем поток видеоданных содержит множество подпотоков, множество которых представляет один поток 3D-видеоданных, и содержит по меньшей мере один 2D-подпоток, который содержит независимым образом кодированную 2D-версию 3D-видеоданных, и по меньшей мере один вспомогательный подпоток, который содержит зависимым образом кодированную часть 3D-видеоданных; и устройство содержит средство для ускоренного 3D-воспроизведения 3D-видеоданных посредством воспроизведения 3D-видеоданных путем извлечения и декодирования несмежных фрагментов 2D-подпотока и извлечения и зависимого декодирования соответствующих фрагментов вспомогательного подпотока на основе извлечения главных точек входа в 2D-подпотоке и вспомогательных точек входа во вспомогательном подпотоке.

С этой целью, согласно дополнительному аспекту изобретения, сигнал, который переносит видеоданные, содержит поток видеоданных с точками входа, задаваемыми с некоторым расстоянием по времени друг от друга, и таблицу точек входа, как определено выше, содержащую заданные точки входа по сохраненным адресам точек входа при заданном местоположении заданных точек входа, причем поток видеоданных содержит множество подпотоков, множество которых представляет один поток 3D-видеоданных, и содержит по меньшей мере один 2D-подпоток, который содержит независимым образом кодированную 2D-версию 3D-видеоданных, и по меньшей мере один вспомогательный подпоток, который содержит зависимым образом кодированную часть 3D-видеоданных; и таблица точек входа ассоциируется с 3D-видеоданными и содержит главные точки входа в 2D-подпотоке и вспомогательные точки входа во вспомогательном подпотоке для обеспечения возможности ускоренного 3D-воспроизведения 3D-видеоданных путем извлечения и декодирования несмежных фрагментов 2D-подпотока и извлечения и зависимого декодирования соответствующих фрагментов вспомогательного подпотока на основе извлечения главных точек входа и вспомогательных точек входа.

С этой целью, согласно дополнительному аспекту изобретения, способ визуализации видеоданных на базе сигнала, как определено выше, содержит прием потока видеоданных и таблицы точек входа, как определено выше, причем поток видеоданных содержит множество подпотоков, множество которых представляет один поток 3D-видеоданных, и содержит по меньшей мере один 2D-подпоток, который содержит независимым образом кодированную 2D-версию 3D-видеоданных, и по меньшей мере один вспомогательный подпоток, который содержит зависимым образом кодированную часть 3D-видеоданных; и способ содержит визуализацию ускоренного 3D-воспроизведения 3D-видеоданных посредством воспроизведения 3D-видеоданных путем извлечения и декодирования несмежных фрагментов 2D-подпотока и извлечения и зависимого декодирования соответствующих фрагментов вспомогательного подпотока на основе извлечения главных точек входа в 2D-подпотоке и вспомогательных точек входа во вспомогательном подпотоке.

Результатом этих мер является то, что ускоренное воспроизведение множественных подпоточных 3D-видеоданных, например многоракурсного кодированного видео для Blu-ray Disc, теперь обеспечивается расширенной таблицей точек входа. Стандартная таблица точек входа обеспечивает единственную точку входа для отдельного момента в видеопотоке. Таблица точек входа согласно изобретению обеспечивает по меньшей мере одну дополнительную точку входа для конкретного момента, в котором имеется главная точка входа также для непосредственного доступа к соответствующему вспомогательному видеопотоку. К примеру, это достигается путем изменения определения таблицы точек входа так, чтобы ЕР-карта, относящаяся к базовому ракурсу видеопотока, также содержала точки входа для ассоциированных вспомогательных потоков, которые сами по себе не могут быть декодированы. При декодировании конкретного фрагмента 3D-видео, который следует воспроизвести в режиме ускоренного воспроизведения, к необходимым данным главного потока и вспомогательного потока может быть осуществлен непосредственный доступ. Преимуществом является то, что зрителю не придется испытывать возмущающие эффекты в восприятии глубины, когда не все подпотоки должным образом декодируются или доступны ввиду отсутствия опорных данных.

Изобретение также основывается на признании следующего факта. Система ускоренного 2D-воспроизведения предшествующего уровня техники не учитывает проблем ускоренного 3D-воспроизведения. В частности, для единственного видеопотока обеспечивается единственный набор точек входа. Однако вдобавок к главному подпотоку, который может быть декодирован независимым образом, в 3D-видеосигнале присутствуют один или несколько вспомогательных подпотоков. Изобретатели заметили, что такие подпотоки при обычной скорости воспроизведения могут быть декодированы только в зависимости от главного потока. Следовательно, стандартно такие вспомогательные потоки не будут иметь точек входа, поскольку точки входа в любом недекодируемом потоке не будут иметь никакого смысла. Тем не менее, изобретатели добавили точку входа к недекодируемому вспомогательному потоку. Только путем обеспечения адресов как главной, так и вспомогательной точки входа оба потока могут быть удобным образом декодированы в несмежных фрагментах для ускоренного воспроизведения, поскольку для такого фрагмента соответствующий фрагмент вспомогательного потока может немедленно быть извлечен согласно улучшенной таблице точек входа.

В одном варианте осуществления системы поток видеоданных содержит многоракурсные 3D-видеоданные, причем множество ракурсов включает в себя по меньшей мере один левый ракурс и один правый ракурс. Многоракурсное 3D-видео обеспечивает множественные раздельные ракурсы для левого и правого глаза. Множественные ракурсы 3D-сцены имеют большую область перекрытия и обычно зависимым образом кодируются, как объясняется, к примеру, в источнике [1] или [2]. Улучшенная таблица точек входа удобным образом обеспечивает ускоренное воспроизведение для таких многоракурсных 3D-видеопотоков.

В одном варианте осуществления системы поток видеоданных содержит множественные вспомогательные подпотоки, и точки входа содержат вспомогательные точки входа только для выбранного поднабора упомянутых множественных вспомогательных подпотоков для визуализации уменьшенной версии 3D-видеоданных во время ускоренного воспроизведения. Преимуществом является то, что размер таблицы точек входа остается ограниченным. Вариант осуществления также основывается на признании того факта, что во время ускоренного воспроизведения допустимо некоторое ухудшение визуализируемого 3D-видео. К примеру, количество ракурсов многоракурсного 3D-видео может быть уменьшено за счет того, что декодирование может осуществляться не для каждого подпотока или данные прозрачности могут быть проигнорированы в структурированном 3D-видеоформате.

Дополнительные предпочтительные варианты осуществления способа 3D-устройств и сигнала согласно изобретению предоставляются в прилагаемой формуле изобретения, раскрытие которой включено в настоящий документ посредством ссылки.

Краткое описание чертежей

Эти и другие аспекты изобретения станут ясны из вариантов осуществления и будут дополнительно разъяснены со ссылками на варианты осуществления, описанные в качестве примера в последующем описании, и со ссылками на сопроводительные чертежи, где

фиг. 1 изображает систему генерирования 3D-видео,

фиг. 2 изображает многоракурсное устройство отображения,

фиг. 3 изображает ракурсы для правого и левого глаз с использованием ступенчатых линз,

фиг. 4 изображает базовую структуру списка воспроизведения,

фиг. 5 изображает систему для отображения трехмерных (3D) видеоданных,

фиг. 6 изображает таблицу указателей таблицы точек входа,

фиг. 7 изображает улучшенную таблицу указателей таблицы точек входа,

фиг. 8 изображает улучшенную таблицу типов потоков,

фиг. 9 изображает 3D-видеопоток с двумя подпотоками,

фиг. 10 изображает определение карты точек входа, и

фиг. 11 изображает таблицу точек входа для комбинированных главного потока и подпотока.

На чертежах элементы, которые соответствуют уже описанным элементам, имеют аналогичные ссылочные позиции.

Подробное описание изобретения

Фиг. 1 изображает систему генерирования 3D-видео. Система генерирования 3D-видео содержит пару камер: правую камеру 11 и левую камеру 12, 3D-видеопроцессор 13, который генерирует видеосигнал 15, который должен быть сохранен на носителе 14 информации. Правая камера и левая камера могут быть стандартными камерами. Сканер глубины может ассоциироваться с левой камерой, содержащей, к примеру, лазерный луч, который можно направить в различных направлениях, и датчик, который обнаруживает отражения лазерного луча. Информация о глубине может также генерироваться путем вычисления из информации камеры. Пара камер направляется на сцену 10, чтобы захватить 3D-видео сцены. Сцена 10 содержит различные объекты, такие как, к примеру, человек, дерево, дом и солнце в небе. Каждый объект имеет заданное расстояние относительно пары камер, которые могут рассматриваться как воображаемый наблюдатель, наблюдающий сцену.

3D-видеопроцессор может содержать, к примеру, устройство для исполнения инструкций и программную память, в которую загружен набор инструкций, который определяет операции 3D-видеопроцессора, который будет описан далее. Носитель 14 информации может иметь форму, к примеру, жесткого диска, перезаписываемого оптического диска, управляющей системы для изготовления оптических дисков только для чтения или твердотельной памяти.

Система генерирования 3D-видео в сущности работает следующим образом. Пара камер обеспечивает базовое 3D-видео сцены, которое формируется последовательностью пар картинок. Пара картинок содержит правую картинку и левую картинку. Правая картинка, которая захватывается правой камерой, предназначена для правого глаза человека-наблюдателя. Левая картинка, которая захватывается левой камерой, предназначена для левого глаза человека-наблюдателя.

Правая камера и левая камера имеют особое взаимное расположение друг относительно друга. Это взаимное расположение может определяться типичным контекстом визуализации, к примеру, в соответствии с размером экрана и расстоянием наблюдения. К примеру, базовое 3D-видео, которое содержит последовательность правых картинок и последовательность левых картинок, которые взаимосвязаны, может предназначаться для отображения в кинотеатре с типичным размером экрана 12 метров и типичным расстоянием наблюдения 18 метров. Поток многоракурсных 3D-видеоданных может генерироваться на основе информации камеры и/или информации о глубине. Многоракурсное 3D-видео обеспечивает множественные раздельные ракурсы для левого и правого глаза. Множественные ракурсы 3D-сцены имеют большую область перекрытия и обычно зависимым образом кодируются, как объясняется, к примеру, в источнике [1] или [2].

Другой 3D-формат основывается на двух ракурсах с использованием 2D-изображения и дополнительного изображения глубины, так называемой карты глубины, которая переносит информацию о глубине объектов на 2D-изображении. Формат, называемый ″изображение+глубина″, отличается тем, что он является комбинацией 2D-изображения с так называемой ″глубиной″ или картой диспаратности. Это полутоновое изображение, где полутоновое значение пикселя указывает степень диспаратности (или глубины в случае карты глубины) для соответствующего пикселя на ассоциированном 2D-изображении. Устройство отображения использует карту диспаратности, глубины или параллакса для вычисления дополнительных ракурсов, принимая 2D-изображение в качестве входных данных. Это может осуществляться многообразием способов, в самой простой форме это всего лишь смещение пикселей влево или вправо в зависимости от значения диспаратности, ассоциированного с этими пикселями. В источнике [3] дается превосходный обзор такой технологии.

В системе, изображенной на фиг. 1, 3D-видеопроцессор 13 имеет блок 18 точек входа для обработки входящих 3D-видеоданных и генерирует таблицу точек входа для режима ускоренного 3D-воспроизведения. Блок точек входа компонуется для задания точек входа в потоке видеоданных. Точки входа сохраняются в таблице точек входа. Точки входа задаются в потоке видеоданных с некоторым расстоянием по времени друг от друга. Впоследствии заданные точки входа сохраняются в таблице точек входа, например, путем сохранения адресов точек входа, обеспечивающих местоположение заданных точек входа. В форматах потоков 3D-видеоданных поток видеоданных обычно содержит множество подпотоков, множество которых кодирует один поток 3D-видеоданных, и содержит по меньшей мере один 2D-подпоток, который независимым образом кодирует 2D-версию 3D-видеоданных, и по меньшей мере один вспомогательный подпоток, который зависимым образом кодирует часть 3D-видеоданных. К примеру, этой частью может быть правый ракурс (зависящий от независимо кодированного левого ракурса потока) или карта глубины. Для такого 3D-видеопотока точки входа генерируются так, чтобы они содержали главные точки входа в 2D-подпотоке и вспомогательные точки входа во вспомогательном подпотоке для обеспечения возможности ускоренного 3D-воспроизведения 3D-видеоданных.

Во время визуализации выбранные фрагменты главного (2D) подпотока извлекаются на основе главных точек входа и декодируются как несмежные фрагменты 2D-подпотока. Впоследствии части вспомогательного, зависимого подпотока, которые соответствуют выбранным частям 2D-подпотока, извлекаются на основе вспомогательных точек входа и зависимым образом декодируются как фрагменты вспомогательного подпотока.

Фиг. 2 изображает многоракурсное устройство 21 отображения, которое использует ступенчатые линзы 22 перед ЖК-экраном для генерирования разных ракурсов для левого и правого глаза. Перемежение двух изображений кадра под немного различающимися углами создает 3D-восприятие. Этот эффект основывается на бинокулярной диспаратности, левый и правый глаза в обычных условиях видят объект под немного различающимися углами. Осуществляется их слияние через аккомодацию и конвергенцию, и это действует как сильный признак глубины для мозга.

Фиг. 3 изображает ракурсы для правого и левого глаза посредством ступенчатых линз 30. Правый глаз 32 видит только левую часть пикселя 33, а левый глаз 31 видит правую часть.

Части пикселя называются подпикселями 34. Слияние правой и левой части изображения в мозгу человека-наблюдателя через аккомодацию и конвергенцию создает признак глубины путем представления единственного стереоскопического изображения. Множественные левые и правые ракурсы могут создаваться путем подразделения каждого пикселя на множественные подпиксели.

К примеру, в отличие от фиг. 3, где изображены только два перемежающихся изображения, на практике устройство отображения может использовать, к примеру, 9 перемежающихся изображений, что дает более широкий диапазон ракурса и контура изображения, что схематично изображено на фиг. 2. Для приведения в действие устройства отображения такого типа требуется либо видео на основе формата ″изображение+глубина″, которое обрабатывается для генерирования множественных ракурсов, или многоракурсное кодированное видео. С этой целью стандарт Blu-ray disc может быть расширен для включения в себя поддержки таких 3D-видеопотоков. Проигрыватель может затем приводить в действие не только автостереоскопические устройства отображения, но также и устройства 3D-отображения других типов, как, например, устройство отображения, которое чередует ракурсы и которое использует затворные очки для разделения ракурсов для обоих глаз по отдельности, а в будущем они даже могут включать в себя голографические устройства отображения.

Альтернативой экрану со ступенчатыми линзами является барьерное устройство отображения, которое использует параллаксный барьер за ЖК-экраном и перед задней подсветкой для разделения света от пикселей в ЖК-экране. Барьер выполняется так, чтобы из установленного положения перед экраном левый глаз видел пиксели, отличные от тех, что видит правый глаз. Барьер может также находиться между ЖК-экраном и человеком-наблюдателем, чтобы пиксели в ряду устройства отображения попеременно были видны левому и правому глазам.

Из экспериментов с ускоренным воспроизведением 3D-видео было обнаружено, что качество эффекта ″3D-глубины″ ухудшается во время ускоренного воспроизведения. Возможное объяснение состоит в том, что стереоскопическое видео требует более сильных и продолжительных усилий со стороны человеческой оптической системы (аккомодация и конвергенция), чем для обычного 2D-видео, чтобы мозг выполнил слияние двух изображений, принятых глазами, в ″трехмерное″ умственное изображение. Когда количество кадров, показываемых за секунду, существенно возрастает во время ускоренного воспроизведения, человеческая оптическая система, по-видимому, не имеет возможности в полной мере успевать за повышенной частотой кадров.

Другая проблема ускоренного воспроизведения со стереоскопическим 3D-видео состоит в том, что нагрузка на видеодекодер возрастает, когда декодеру необходимо декодировать больше кадров за более короткое время (для гладкого ускоренного воспроизведения). Со стереоскопическим видео декодеру необходимо декодировать два или более потоков, и это увеличивает проблему по сравнению с 2D. Вдобавок, если многоракурсное видео кодируется с использованием масштабируемого многоракурсного кодирования, как определено посредством MPEG, то декодирование дополнительных потоков становится зависимым от потока базового ракурса, таким образом, способ, которым ускоренное воспроизведение может осуществляться в проигрывателе, должен быть изменен. Такие потоки, которые не могут быть декодированы независимым образом, называются в этом документе вспомогательными подпотоками. Такие потоки должны быть зависимым образом декодированы на основе соответствующего главного потока.

В последующем объяснении рассматривается пример таблицы точек входа со ссылками на систему Blu-ray Disc. Следует заметить, что таблица точек входа может применяться к любой 3D-видеосистеме, которая основывается на главном и вспомогательном видеопотоках, и детали системы Blu-ray Disc не требуются для осуществления изобретения. Стандарт Blu-ray Disc устанавливает таблицу точек входа (включающую в себя карту точек входа: ЕР-карту) для каждого элементарного видеопотока. Таблица точек входа определяет таблицу, в которой перечисляются расположения тех точек в потоке, где может начинаться декодирование. Обычно они находятся на границах кадра MPEG-1. Эта таблица перечисляет точки входа только для одного потока, и осталось неучтенным то, что одновременно может декодироваться несколько видеопотоков, которые также зависимы друг от друга.

Было обнаружено, что восприятие глубины во время ускоренного воспроизведения улучшается при пропускании кадров для создания эффекта вроде слайдшоу. Следовательно, раздельные, несмежные фрагменты исходного 3D-видеопотока отображаются последовательностью. На удивление, чем больше кадров было пропущено, тем лучше становилась воспринимаемая глубина. В этом, в некотором смысле, состоит отличие от обычного 2D-видео, где гладкое ускоренное воспроизведение, при котором декодер декодирует все кадры быстрее, воспринимается как более хорошее. Это может быть объяснено с учетом того факта, что требуется некоторое время, чтобы оптическая система осуществила слияние двух изображений, полученных глазами, в одно стереоскопическое изображение (через аккомодацию и конвергенцию) и сгенерировало ″трехмерное″ умственное изображение. В обычной жизни это не является проблемой, поскольку восприятие глубины основывается на множестве факторов, и бинокулярная диспаратность (стереопсис) эффективна только для объектов, которые близки к наблюдателю. Для быстродвижущихся объектов двигательный параллакс играет большую роль, чем затененность. В устройстве 3D-отображения это, однако, является проблемой, поскольку 3D-эффект опирается главным образом на бинокулярную диспаратность, так что для быстродвижущихся объектов восприятие глубины ухудшается.

Для решения вышеуказанной проблемы для ускоренного воспроизведения необходимо задать точки входа для последовательности выбранных фрагментов, которые должны быть воспроизведены в соответствующем режиме ускоренного воспроизведения, как описано выше.

В одном варианте осуществления таблица точек входа в Blu-ray Disc расширяется для включения дополнительно заданных точек входа. Эта таблица теперь перечисляет точки входа для видео и обеспечивает связь между временными позициями в видео и позициями в файле на диске. Это расширение делается так, чтобы, вдобавок к входу для 2D-видеопотока, таблица теперь также перечисляла точки входа для второго вспомогательного видеопотока, который кодируется с использованием масштабируемого видеокодирования и при декодировании зависит от первичного видеопотока. Этот второй вход устанавливает ассоциацию между каждым входом в первом потоке и соответствующей точкой входа во втором потоке. Последний может содержать I-кадр или Р-кадр, где Р-кадр может в свою очередь ссылаться на I-кадр из первичного потока. Этот подход выбирается тогда, когда используют прямые значения Временных меток представления (PTS). Следует заметить, что отдельная ЕР-карта для второго потока может не работать самостоятельно, поскольку вспомогательный поток может быть декодирован только зависимым образом, например может содержать только Р-кадры или В-кадры на одних и тех же временных метках PTS. Сам по себе вспомогательный поток не является полноценным потоком при самостоятельном декодировании. К примеру, для многоракурсного кодированного видео в Blu-ray Disc таблица точек входа может быть расширенной, и способ, которым Blu-ray-проигрыватель использует ЕР-карту, приспосабливается для извлечения как главных точек входа, так и вспомогательных точек входа. Спецификация улучшена так, чтобы ЕР-карта, относящаяся к базовому ракурсу видеопотока, также содержала точки входа для ассоциированных вспомогательных потоков, которые сами по себе не могут быть декодированы.

В источниках [1] и [2] описываются принципы совместно кодируемых видеопотоков и ассоциированного формата переноса. К примеру, перед кодированием 3D-ракурсы перемежаются и затем кодируются с использованием иерархических В-кадров. Перед переносом битовый поток разбивается на первичный поток и вспомогательный поток. Это выполняется для обратной совместимости, чтобы 2D-декодер мог декодировать и использовать первичный поток и игнорировать вспомогательный поток. В модифицированном декодере первичный и вспомогательный потоки перемежаются снова и декодируются. Это создает проблему для ускоренного воспроизведения на Blu-ray Disc, поскольку первичный и вспомогательный потоки остаются раздельными на диске. Для разрешения этой проблемы требуется, чтобы таблица ЕР-карты была расширена так, чтобы проигрыватель знал, какие клипы, т.е. части потоков, первичного и вспомогательного потока должны перемежаться и декодироваться для отображения секции видео, до которой проигрыватель должен пропустить видео. Эта проблема решается посредством предлагаемой улучшенной таблицы точек входа.

Фиг. 4 изображает базовую структуру списка воспроизведения. Пример основывается на BD и роли, которую ЕР-карта 41 (таблица точек входа в управляющей информации CPI) играет в этой структуре. Для некоторого PTS-значения ЕР-карта обеспечивает логический адрес, например, соответствующий пакетный номер источника в файле AV-потока клипа, который является MPEG-кодированным элементарным потоком. Структура дополнительно описывается со ссылками на фиг. 6-11.

Фиг. 5 изображает систему для отображения трехмерных (3D) видеоданных. Устройство-источник 50 3D, например, проигрыватель дисков, объединяется с устройством 53 3D-отображения для передачи сигнала 56 3D-отображения. Устройство-источник 3D имеет входной блок 51 для приема информации изображения. К примеру, устройство входного блока может включать в себя блок 58 оптических дисков для извлечения информации изображения различных типов с оптического носителя 54 записи, такого как DVD или Blu-ray disc. В качестве альтернативы, входной блок может включать в себя блок 59 сетевого интерфейса для соединения с сетью 55, к примеру, с Интернетом или с вещательной сетью, и такое устройство обычно называется ресивером цифрового телевидения. Данные изображения могут быть извлечены с удаленного мультимедийного сервера 57. Устройство-источник может также быть приемником спутниковой связи или мультимедийным сервером, непосредственно обеспечивающим сигналы отображения, т.е. любым подходящим устройством, которое выводит сигнал 3D-отображения для непосредственного объединения с блоком отображения.

Устройство 53 3D-отображения предназначено для отображения данных 3D-изображения. Устройство имеет входной интерфейсный блок для приема сигнала 56 3D-отображения, включающего в себя данные 3D-изображения, переданные от устройства-источника 10. Устройство имеет устройство 3D-отображения для отображения обработанных данных изображения, к примеру, двойной ЖК-экран или ЖК-экран со ступенчатыми линзами. Устройство 53 отображения может быть стереоскопическим устройством отображения, также называемым устройством 3D-отображения, любого типа и имеет диапазон глубины отображения, указанный стрелкой 44.

Устройство-источник 3D 50 имеет блок 52 обработки изображений, объединенный с входным блоком 51 для обработки информации изображения для генерирования сигнала 56 3D- отображения, который должен быть передан через выходной интерфейсный блок 12 к устройству отображения. Обрабатывающий блок 52 компонуется для генерирования данных изображения, включенных в сигнал 56 3D-отображения для отображения на устройстве 13 отображения. Устройство-источник обеспечивается элементами пользовательского управления для управления параметрами отображения данных изображения, такими как параметры контраста или цвета. Такие элементы пользовательского управления широко известны и могут включать в себя блок дистанционного управления с различными кнопочными и/или курсорными управляющими функциями для управления различными функциями устройства-источника 3D, такими как функции обычного проигрывания и записи, и для выбора режимов ускоренного воспроизведения, например, посредством кнопок управления или посредством графического пользовательского интерфейса и/или меню.

Устройство-источник 50 имеет обрабатывающий блок 48 ускоренного воспроизведения для обработки 3D-видеоданных в режиме ускоренного воспроизведения. 3D-видеоданные воспроизводятся во время ускоренного воспроизведения путем, согласно таблице точек входа, извлечения и декодирования несмежных фрагментов 2D-подпотока и извлечения и зависимого декодирования соответствующих фрагментов вспомогательного подпотока. 2D-подпоток независимо декодируется для соответствующего фрагмента, и 3D-информация добавляется на основе соответствующего фрагмента вспомогательного потока, извлеченного из потока видеоданных на основе вспомогательной точки входа.

Фиг. 5 дополнительно изображает носитель 54 записи в качестве носителя данных 3D-изображения. Носитель записи имеет форму диска, дорожку и центральное отверстие. Дорожка, состоящая из последовательности физически обнаружимых отметок, компонуется в соответствии со спиральной или концентрической схемой витков, составляющих, по существу, параллельные дорожки на информационном слое. Носитель записи может быть оптически читаемым и называться оптическим диском, например, CD, DVD или BD (Blu-ray Disc). Информация представляется на информационном слое посредством оптически обнаружимых отметок вдоль дорожки, например, углублений и плоских участков. Структура дорожки также содержит информацию о позициях, например заголовки и адреса, для указания положения единиц информации, обычно называемых информационными блоками. Носитель 54 записи переносит информацию, представляющую цифровым образом кодированные 3D-видеоданные, к примеру, кодированные согласно системам кодирования MPEG2 или MPEG4, в предопределенном формате записи, таком как форматы DVD или BD.

Ниже описывается относящаяся к теме часть синтаксиса таблицы ЕР-карты на основе спецификации Blu-ray disc. Мы предлагаем расширить эту таблицу так, чтобы она могла содержать также входы ассоциированных потоков, которые при декодировании зависят от главного потока, указанного в начале таблицы ЕР-карты.

На практике это будет означать, что для каждого вспомогательного потока, который кодируется совместно с другим потоком, имеется ЕР-карта в той же самой таблице, что и для потока, от которого он зависит при декодировании. Обратное, т.е. дополнительная таблица для вспомогательного потока, также возможно и более эффективно в случае обратной совместимости с 2D-декодированием. В этом случае имеется ЕР-карта для клипов, содержащих вспомогательные потоки. В этой ЕР-карте имеются также расположения точек входа для части потока базового ракурса, от которого точка входа во вспомогательном потоке зависит при декодировании. В случае проигрывания многоракурсно-кодированного видео проигрывателю тогда необходимо только загрузить ЕР-карту вспомогательного потока и затем получить точки доступа для потока базового ракурса, который следует декодировать, для возможности декодировать кадр в точке доступа вспомогательного потока.

Подробнее, предлагается новая ЕР_карта, которая содержит отображение точек входа на файловые расположения для множественного поточного кодированного 3D-видеопотока. Спецификация Blu-ray Disc в настоящий момент определяет только один тип ЕР_карты, который указан в таблице по спецификации, как показано ниже.

Фиг. 6 изображает таблицу указателей таблицы точек входа. В таблице показаны существующие типы ЕР-карты. Значения указателя для указания типа ЕР-карты могут определяться стандартом, описывающим формат записи, например, Blu-ray disc. Предлагается добавить новый тип для многоракурсного кодируемого (MVC) 3D-видео в эту таблицу, называемый ″EP_KapTa_MVC″ или каким-либо подобным наименованием, вроде ЕР_карта_ST для стереоскопического 3D-видео. Этот ЕР_MVC_тип_карты может указываться значением 2.

Фиг. 7 изображает улучшенную таблицу указателей таблицы точек входа. Таблица изображает существующие типы ЕР-карты и предлагаемый новый тип для MVC-3D-видео в этой таблице, называемый ″ЕР_карта_MVC″. В одном варианте осуществления соответственный тип ЕР-карты включается в структуру данных ЕР-карты при генерировании потока 3D-видеоданных и передается проигрывающему устройству. Проигрывающее устройство может теперь легко обнаружить новый тип таблицы ЕР-карты и приспособить операции ускоренного воспроизведения к соответственной ЕР-карте.

Фиг. 8 изображает улучшенную таблицу типов потоков. В качестве альтернативы фиг. 6 и 7 новая ЕР-карта теперь указывается посредством значения ЕР_тип_потока, как показано в таблице с новым значением (8 в таблице) для типа потока, указанного в ЕР-карте. В одном варианте осуществления соответственный тип ЕР-потока включается в структуру данных 3D-видеопотока при генерировании потока 3D-видеоданных и передается проигрывающему устройству. Проигрывающее устройство может теперь легко обнаружить новый тип ЕР-потока, извлечь улучшенную таблицу точек входа из потока и приспособить операции ускоренного воспроизведения к улучшенной таблице точек входа.

Фиг. 9 изображает 3D-видеопоток с двумя подпотоками. Фигура изображает пример MVC-кодирования секции двух потоков с использованием иерархических В-картинок. Вышестоящая последовательность, помеченная как L, является независимо декодируемым 2D-подпотоком, в то время как нижестоящая последовательность, помеченная как R, является зависимо декодируемой, поскольку она требует данные из первого потока. Стрелкой указано, что данные из первого I-изображения используются для кодирования первой Р-картинки в нижестоящем подпотоке.

В примере, показанном на фиг. 9, присутствует три точки входа в обоих потоках L и R. В L-потоке находится картинка I, В(Т2) и В(Т4), а в R-потоке находится картинка Р, В(Т2) и В(Т4). Промежуточные В-картинки не являются опорными кадрами и не могут служить в качестве точек входа. Следует заметить, что на практике расстояние между точками входа будет существенно больше.

Продолжим описание изучением того, что происходит, если пользователь хочет перейти к месту Т2. Если декодирование начинается на Т2, то декодер должен также иметь доступ к I-картинке в Т0 для L-потока, а для R-потока он должен иметь доступ к I-картинке из L-потока и Р-картинке из R-потока. Значит требуется расположение I-картинки в L-потоке и расположение Р-картинки в R-потоке. Значит требуется временной вектор к расположению Р-картинки и пространственный вектор к I-картинке L-кадра.

На диске каждый из потоков L и R может перемежаться в разных секциях на диске или они могут содержаться в одном потоке. Таким образом, как расположение в файле, так и расположение на диске может требоваться для одной точки входа, поскольку необходима информация об одной точке входа из обоих потоков L и R, как объяснено выше. Следовательно, главная точка входа в подпотоке L и вспомогательная точка входа в зависимо-декодируемом подпотоке R должны быть обеспечены.

Таким образом, подробнее мы предлагаем расширить ЕР-карту для MVC-кодированного видео так, чтобы каждая точка входа содержала два адреса, также называемых векторами. Один временной вектор указывает на PTS, а один пространственный вектор указывает на пакетный номер кадров, которые служат в качестве опорного кадра для точки входа.

Фиг. 10 изображает определение карты точек входа, также называемое синтаксисом ЕР_карты. В таблице показан пример текущей ЕР-карты, расширенной для использования с MVC-кодированным видео. Карта содержит подтаблицы для соответственных подпотоков. Следует заметить, что таблица определяет структуру данных таблицы точек входа, которая включается вместе с потоком 3D-видеоданных, например, в управляющую информацию на носителе записи, такую как управляющая информация CPI 41 в формате Blu-ray disc.

Фиг. 11 изображает таблицу точек входа для комбинированных главного потока и подпотока, также называемую ЕР_картой для PID одного потока. В этом варианте осуществления никакой особой MVC-секции не добавляется, как изображено на фиг. 10, но таблица расширяется дополнительными входами так, чтобы каждая точка входа также указывала список пакетных номеров и PTS-значений в зависимом потоке данных.

В одном варианте осуществления проигрывающая система для ускоренного воспроизведения многоракурсного кодированного 3D-видео компонуется следующим образом. 3D-видеопоток имеет множественные вспомогательные подпотоки, и точки входа содержат вспомогательные точки входа только для выбранного поднабора из упомянутых множественных вспомогательных подпотоков. Во время ускоренного воспроизведения уменьшенная версия 3D-видеоданных визуализируется путем декодирования только тех подпотоков, которые имеют точки входа. Преимуществом является то, что размер таблицы точек входа остается ограниченным.

В качестве альтернативы, декодер автоматически уменьшает количество ракурсов при выполнении ускоренного воспроизведения для уменьшения нагрузки на декодер. Количество ракурсов может динамически уменьшаться поэтапно с возрастанием скоростей, например, 9-7-5-3-2. Соответственные точки входа для уменьшенного количества ракурсов могут быть извлечены из таблицы точек входа. В качестве альтернативы, уменьшенное количество ракурсов может генерироваться во время ускоренного воспроизведения в обрабатывающем блоке, который производит упомянутое полное множество ракурсов во время проигрывания на стандартной скорости.

Следует заметить, что изобретение может осуществляться аппаратными и/или программными средствами с использованием программируемых компонентов. Способ осуществления изобретения содержит этапы обработки, соответствующие обработке 3D-видеоданных, поясненных со ссылками на фиг. 1. Хотя изобретение было прежде всего объяснено посредством вариантов осуществления, использующих оптические носители записи или Интернет, изобретение также подходит для любой интерфейсной среды изображений, такой как интерфейс 3D-отображения персонального компьютера [PC], или 3D-мультимедийный центр PC, объединенный с беспроводным устройством 3D-отображения.

Следует заметить, что в этом документе слово ″содержит″ не исключает возможности наличия других элементов или этапов помимо перечисленных, и указание элемента в единственном числе не исключает возможности наличия множества таких элементов, что любые позиционные обозначения не ограничивают объем, определяемый формулой изобретения, что изобретение может осуществляться как аппаратными, так и программными средствами, и что несколько ″средств″ или ″блоков″ могут быть представлены одним элементом аппаратных или программных средств, и процессор может выполнять функцию одного или нескольких блоков, возможно во взаимодействии с аппаратными элементами. Кроме того, изобретение не ограничивается упомянутыми вариантами осуществления и распространяется на все без исключения новые признаки или комбинации признаков, описанных выше.

Источники информации

Источник [1]: ″Новая схема кодирования многоракурсного видео на основе Н. 264; GuopingLi, Yun Не; ICICS-PCM 2003, 15-18 декабря 2003 г., Сингапур, IEEE 0-7893-8185-8/03/$17.00″.

Источник [2]: ″Эффективные прогнозирующие структуры для кодирования многоракурсного видео; Philipp Merkle и др.; IEEE 2007″.

Источник [3]: ″Визуализация на основе изображения глубины, сжатие и передача для нового подхода к 3D-телевидению″, Christoph Fehn (см. ).