Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО ДЛЯ НАЛОЖЕНИЯ ТРЕХМЕРНОЙ ГРАФИКИ НА ТРЕХМЕРНОЕ ВИДЕОИЗОБРАЖЕНИЕ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Данное изобретение относится к способу декодирования и вывода видеоинформации, подходящей для трехмерного (3D) отображения, причем эта видеоинформация содержит кодированную информацию основного изображения, подходящую для отображения на двумерном (2D) дисплее, и кодированную дополнительную видеоинформацию для осуществления возможности трехмерного (3D) отображения, причем 3D информация наложения накладывается на эту видеоинформацию.

Данное изобретение дополнительно относится к устройству для декодирования и вывода видеоинформации, подходящей для трехмерного (3D) отображения, причем эта видеоинформация содержит кодированную информацию основного изображения, подходящую для отображения на двумерном (2D) дисплее, и кодированную дополнительную видеоинформацию для осуществления возможности трехмерного (3D) отображения, причем это устройство приспособлено для наложения 3D информации наложения на эту видеоинформацию.

Данное изобретение относится к области воспроизведения 3D видеоинформации и 3D информации наложения посредством устройства воспроизведения, причем эта информация должна отображаться на дисплее с возможностью 3D изображения.

УРОВЕНЬ ТЕХНИКИ

Устройства для визуализации видеоданных хорошо известны, например, такими устройствами являются видеопроигрыватели, подобные DVD-проигрывателям, BD-проигрыватели или телеприставки для визуализации цифровых видеосигналов. Устройство визуализации обычно используется в качестве исходного устройства, подлежащего связыванию с дисплеем, подобным телевизору. Видеоданные переносятся от исходного устройства через соответствующий интерфейс, подобный HDMI.

По отношению к потоку кодированной видеоинформации, например, это может быть осуществлено под форматом, известным как стереоскопический, когда левое и правое (L+R) изображения кодированы. Альтернативно, поток кодированной видеоинформации может содержать двумерное изображение и дополнительное изображение (L+D), так называемую карту глубины, описанную в работе Oliver Sheer- “3D Video Communication”, Wiley, 2005, с. 29-34. Карта глубины передает информацию о глубине объектов в 2D изображении. Значения серой шкалы в карте глубины указывают глубину связанного пиксела в 2D изображении. Стереодисплей может вычислить дополнительный вид, необходимый для стереоизображения, посредством использования значения глубины из карты глубины и посредством вычисления требуемого преобразования пикселов. «2D видео + карта глубины» могут быть расширены посредством добавления информации перекрытия и прозрачности (DOT).

В настоящее время в 3D системах известным решением для вывода видеоданных, подлежащих передаче через HDMI интерфейс к 3D дисплею, является временное разделение, в котором кадры, соответствующие Левому, или 2D информации, перемежаются с Правым, или DOT кадрами.

Известно, что для 2D видеосистем форматы приложений, подобные используемым для распределения видеоконтента и устройства воспроизведения, поддерживают наложение поверх видеоизображения, или генерируемую в реальном времени графику. Графика наложения генерируется, например, внутренним образом устройством воспроизведения для меню экранного отображения (SD) или принимается, как, например, субтитры или другая графика.

Однако расширение известных моделей наложения на 3D системы создает ту проблему, что возрастают требования к производительности подпрограмм создания изображений для генерируемой в реальном времени графики наложения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей данного изобретения является обеспечение способа декодирования и вывода видеоинформации и информации наложения, которая является подходящей для 3D систем.

Для этой цели, согласно первому аспекту данного изобретения, в способе, описанном во вступительном абзаце, способ дополнительно содержит этапы, на которых принимают или генерируют трехмерную (3D) информацию наложения, подлежащую наложению на видеоинформацию; буферизуют первую часть информации наложения, подлежащую наложению на основную видеоинформацию, в первом буфере; буферизуют вторую часть информации наложения, подлежащую наложению на дополнительную видеоинформацию, во втором буфере; декодируют основную видеоинформацию и дополнительную видеоинформацию и генерируют в виде последовательности разделенных во времени видеокадров, причем каждый выводимый видеокадр является либо основным видеокадром, либо дополнительным видеокадром; определяют тип видеокадра, подлежащего выводу, как либо основной видеокадр, либо дополнительный видеокадр; накладывают либо первую, либо вторую часть информации наложения на видеокадр, подлежащий выводу, в соответствии с определенным типом кадра; выводят видеокадры и наложенную информацию.

Для этой цели, согласно второму аспекту данного изобретения, устройство, описанное во вступительном абзаце, содержит средство ввода для приема трехмерной (3D) информации наложения, подлежащей наложению на видеоинформацию, или средство генерации для генерации трехмерной (3D) информации наложения, подлежащей наложению на видеоинформацию; декодер для декодирования основной видеоинформации и дополнительной видеоинформации, причем декодер дополнительно выполнен с возможностью генерации в виде последовательности разделенных во времени видеокадров, причем каждый выводимый видеокадр является либо основным видеокадром, либо дополнительным видеокадром; средство для приема или генерации трехмерной (3D) информации наложения, подлежащей наложению на видеоинформацию; графический процессор, содержащий первый буфер для буферизации первой части информации наложения, подлежащей наложению на основную видеоинформацию, и второй буфер для буферизации второй части информации наложения, подлежащей наложению на дополнительную видеоинформацию; причем графический процессор дополнительно содержит контроллер для определения типа видеокадра, подлежащего выводу, как либо основной видеокадр, либо дополнительный видеокадр; микшер для наложения либо первой, либо второй части информации наложения на видеокадр, подлежащий выводу, в соответствии с определенным типом кадра; средство вывода для вывода видеокадров и наложенной информации.

Данное изобретение также основано на признании следующего факта. 3D графика наложения больше не может быть просто скомбинирована с 3D видеовыходом в системах, выводящих кадры, соответствующие Левому, или 2D информации, перемежающейся с Правым, или DOT кадрами, так как 3D видеовыход переключается между двумя различными видеопотоками каждый кадр. В качестве примера, в момент времени Т видеовыход мог бы содержать 2D кадр, и в момент времени Т+1 видеовыход содержит сопутствующую информацию глубины для кадра в момент времени Т. Графика, которую необходимо скомбинировать с видеоизображением в момент времени Т (2D графика) сильно отличается от графики, которую необходимо скомбинировать с видеоизображением в момент времени Т+1 (глубинная графика или R графика). Графический блок, присутствующий в 2D устройствах видеовоспроизведения, не является достаточно быстрым для точного кадрирования обновления его графической плоскости этими различными графиками каждый кадр. Решением согласно изобретению является реализация двух буферов в графическом блоке. Каждый буфер назначен одному из выходных видеопотоков. Например, для создания изображения «2D + глубина», один буфер мог бы быть назначен для наложения графики на 2D кадр, и один буфер мог бы быть назначен для наложения графики на кадр глубины. Для L+R, аналогично, один буфер мог бы использоваться для наложения графики на L кадр, и один буфер мог бы быть назначен для наложения на R кадр. Преимуществом этого решения является то, что медленная графика отделяется от процессора покадрового наложения, так что требования к обработке значительно снижаются.

Блок управления графикой с выгодой дополнительно содержит контроллер, который приспособлен для копирования частей первого кадра наложения в первом буфере или частей второго кадра наложения во втором буфере при частоте кадров для генерации кадра наложения. Когда проигрыватель управляет глубинными потоками «2D+DOT», это дает возможность осуществить быструю генерацию данных перекрытия посредством копирования соответствующих областей из буферизованных кадров.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты изобретения будут явным образом показаны и разъяснены далее со ссылкой на варианты осуществления, описанные в качестве примера в нижеследующем описании и со ссылкой на сопровождающие чертежи, на которых:

Фиг.1 схематично показывает систему для приема и отображения 3D видеоинформации, в частях которой может практиковаться данное изобретение;

Фиг.2 схематично показывает графический процессор известного 2D видеопроигрывателя;

Фиг.3 схематично показывает композицию видеоплоскостей в известных системах Blue-Ray (BD);

Фиг.4 схематично иллюстрирует графический процессор согласно данному изобретению.

На этих чертежах элементы, которые соответствуют уже описанным элементам, имеют те же самые номера ссылочных позиций.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

На фиг.1 показана система 1 для воспроизведения 3D видеоинформации, в которой может быть осуществлено данное изобретение. Эта система содержит проигрыватель 10 и дисплей 11, связывающиеся через интерфейс 12. Проигрыватель 10 содержит препроцессор 12, отвечающий за прием и предварительную обработку потока кодированной видеоинформации, подлежащего отображению, и процессор для декодирования, обработки и генерации видеопотока, подлежащего подаче на выход 14. Дисплей содержит блок визуализации для визуализации 3D видов из принятых.

По отношению к потоку кодированной видеоинформации, например, это может быть осуществлено под форматом, известным как стереоскопический, где левое и правое (L+R) изображения кодированы. Альтернативно, поток кодированной видеоинформации может содержать 2D изображение и дополнительное изображение (L+D), так называемую карту глубины, описанную в работе Oliver Sheer - “3D Video Communication”, Wiley, 2005, с. 29-34. Карта глубины передает информацию о глубине объектов в 2D изображении. Значения серой шкалы в карте глубины указывают глубину связанного пиксела в 2D изображении. Стереодисплей может вычислить дополнительный вид, необходимый для стереоизображения, посредством использования значения глубины из карты глубины и посредством вычисления требуемого преобразования пикселов. «2D видео + карта глубины» могут быть расширены посредством добавления информации перекрытия и прозрачности (DOT). В предпочтительном варианте осуществления используется гибкий формат данных, содержащий стереоинформацию и карту глубины, с добавлением перекрытия и прозрачности, как описано в EP 08305420.5 (реестр поверенного PH010082), включенной в настоящий документ путем ссылки.

По отношению к дисплею 11, это может быть либо дисплей, который использует управляемые очки для управления изображениями, отображаемыми для левого и правого глаза, соответственно, либо в предпочтительном варианте осуществления используются так называемые автостереоскопические дисплеи. Известно некоторое количество автостереоскопических устройств, которые способны переключаться между 2D и 3D дисплеями, причем одно из них описано в патенте США 6069650. Это устройство отображения содержит жидкокристаллический дисплей, содержащий активно переключаемые жидкокристаллические двояковыпуклые линзы. В автостереоскопических дисплеях обработка внутри блока 16 визуализации преобразует декодированную видеоинформацию, принятую через интерфейс 12 от проигрывателя 10, в множественные виды и отображает их на подпикселы панели 17 дисплея. Соответственно, отметим, что блок 16 визуализации может находиться также внутри проигрывателя 10, и в этом случае множественные виды посылаются через этот интерфейс.

По отношению к проигрывателю 10, он может быть приспособлен для считывания видеопотока с оптического диска, другого носителя данных, такого как флэш-память, или для приема видеоинформации через проводную или беспроводную сеть, такую как Интернет-подключение. Известным примером Blue-Ray™ проигрывателя является PlayStation™ 3, продаваемая корпорацией Sony.

В случае BD систем, дополнительные подробности могут быть найдены в общедоступных технических официальных документах “Blue-ray Disc Format General August 2004” и “Blue-ray Disc I.C. Physical Format Specifications for BD-ROM November, 2005”, опубликованных ассоциацией Blue-Ray Disc (http://www.bluraydisc.com).

В нижеследующем, при ссылке на формат BD приложений, мы ссылаемся конкретно на форматы приложений, описанные в заявке США № 2006-0110111 (реестр поверенного NL021359) и в официальном документе “Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005”, опубликованном Blu-ray Disc Association.

Известно, что BD системы также обеспечивают полностью программируемую прикладную среду с сетевой связностью, что дает возможность контент-провайдеру создавать интерактивный контент. Этот режим основан на Java™()3 платформе и известен как “BD-J”. BD-J задает подмножество цифрового видеовещания (DVB) - спецификацию 1.0 мультимедийной домашней платформы (MHP), общедоступной как ETSI TS 101 812.

Фиг.2 иллюстрирует графический процессор (часть процессора 13) известного 2D видеопроигрывателя, а именно Blu-Ray проигрывателя. Графический процессор снабжен двумя буферами считывания (1304 и 1305), двумя буферами предварительной загрузки (1302 и 1303) и двумя переключателями (1306 и 1307). Второй буфер (1305) считывания позволяет осуществить подачу внемультиплексорного аудиопотока в декодер, даже когда основной MPEG поток декодируется. Буферы предварительной загрузки кэшируют текстовые субтитры, интерактивную графику и звуковые эффекты (которые предоставляются при выборе кнопки или активации). Буфер 1303 предварительной загрузки сохраняет данные перед тем, как начнется воспроизведение кинофильма, и поставляет данные для презентации, даже когда основной MPEG поток декодируется.

Этот переключатель 1301 между вводом данных и буферами выбирает соответствующий буфер для приема пакетных данных от любого из буферов считывания или буферов предварительной загрузки. Перед началом основной презентации кинофильма данные звуков эффектов (если они имеются), данные текстовых субтитров (если они имеются) и интерактивная графика (если имеется предварительно загружаемая интерактивная графика) предварительно загружаются и посылаются в каждый буфер, соответственно, через этот переключатель. Основной MPEG поток посылается в основной буфер (1304) считывания, а внемультиплексорный поток посылается во вспомогательный буфер (1305) считывания посредством переключателя 1301.

Фиг.3 схематично показывает композицию видеоплоскостей в известных Blu-Ray (BD) системах.

Как показано, присутствуют две независимые плоскости (32, 33) полной графики для графики, которые скомбинированы на видеоплоскости (31). Одна графическая плоскость (32) назначена для приложений подзаголовков (презентационная графика или текстовые субтитры), а другая плоскость назначена для интерактивных приложений (33) (HDMV или графика интерактивности BD-J режима).

Обращаясь к фиг.3, основная видеоплоскость (1310), презентация (1309) и графическая плоскость (1308) поставляются соответствующими декодерами, и эти три плоскости накладываются посредством устройства 1311 наложения и выводятся.

Фиг.4 схематично иллюстрирует графический процессор (13) согласно данному изобретению. Этот конкретный пример составляет усовершенствование известного графического блока обработки данных (процессора) в BD системах, но концепции, описанные здесь, непосредственно применимы ко всем графическим процессорам в видеопроигрывателях, так как модели декодеров для различных типов видеопроигрывателей являются аналогичными.

Для ясности, будет обсуждаться наложение одной графической плоскости на основную видеоплоскость, но эта концепция непосредственно применима к наложению нескольких графических плоскостей.

Для 3D видеоизображения, кроме 2D видеоизображения, которое сохраняется и посылается на дисплей в обычных Blu-ray кинофильмах, необходима дополнительная информация. Для стереоскопического 3D изображения, необходимо посылать к стереоскопическому дисплею как левый вид, так и правый вид. Дисплей затем использует определенный способ для того, чтобы гарантировать, что только левый глаз зрителя видит левое изображение, и только правый глаз видит правое изображение. Стандартными способами достижения этого являются очки с затвором или поляризованные очки.

Автостереоскопические дисплеи требуют другого интерфейсного формата: видеоформата «2D + глубина». Кроме 2D видеоизображения, дополнительный видеопоток используется для посылки информации о глубине. Дисплей комбинирует этот видеопоток на этапе визуализации и вычисляет результирующее 3D изображение.

Для обоих 3D способов необходимо послать 2 видеопотока к дисплею в определенном интерфейсном формате, который зависит от типа дисплея. Возможный интерфейсный формат посылает кадры от обоих видеоизображений, которые перемежаются во времени, к дисплею. Это означает, что в момент времени Т посылается кадр от первого видеопотока (левое, или 2D), а в момент времени Т+1 посылается кадр от второго видеопотока (правое, или глубина).

Прикладные форматы, подобные формату Blu-ray, как упоминалось выше, поддерживают графику наложения поверх видеоизображения. Графика наложения используется, например, для отображения субтитров или создания меню выбора. Blu-ray графика наложения считывается с диска (презентационная графика и интерактивная графика) или генерируется в реальном времени (BD-J графика, OSD дисплеи и основанные на тексте субтитры).

Вывод видеоизображения в формате интерфейса временной последовательности сильно влияет на требования к производительности подпрограмм создания изображений для генерируемой в реальном времени графики наложения, в частности для BD-J графики. Это происходит потому, что графическая плоскость больше не может быть просто скомбинирована с видеовыходом, так как видеовыход переключается между двумя различными видеопотоками каждый кадр. В качестве примера, в момент времени Т видеоплоскость могла бы содержать 2D вид, а в момент времени Т+1 видеоплоскость содержит сопутствующую информацию о глубине для кадра в момент времени Т. BD-J графика, которую необходимо скомбинировать с видеоизображением в момент времени Т, (2D графика) сильно отличается от BD-J графики, которую необходимо скомбинировать с видеоизображением в момент времени Т+1, (глубинная графика).

Графический процессор, в частности, для создания изображения BD-J, не является достаточно быстрым для точного кадрирования обновления его графической плоскости этими различными графиками каждый кадр. Решением согласно изобретению является реализация двух буферов в графическом блоке. Каждый буфер назначен одному из выходных видеопотоков. Например, для создания изображения «2D + глубина» один буфер мог бы быть назначен для наложения графики на 2D кадр и один буфер мог бы быть назначен для наложения графики на кадр глубины. Для L+R, аналогично, один буфер мог бы использоваться для наложения графики на L кадр, и один буфер мог бы быть назначен для наложения на R кадр. Преимуществом этого решения является то, что медленная графика отделяется от процессора покадрового наложения, так что требования к обработке значительно снижаются.

На фиг.4 показано Java-приложение 41, выполняемое на виртуальной машине Java, генерирующее информацию наложения и посылающее ее к графическому процессору (API). Отметим, что источник информации наложения не важен, такой информацией наложения для графической плоскости могла бы быть другая графика с диска или OSD информация (информация экранного отображения). Графический процессор содержит два буфера 42 и 43. Каждый буфер связывается с контроллером (45), причем этот контроллер предпочтительно содержит программу копирования покадровой области. Информация синхронизации посылается от приложения создания изображения (41) и от видеодекодера (47) к графическому процессору. На основе принятой информации синхронизации программа копирования покадровой области может затем скомбинировать правильный буфер на плоскость графического вывода согласно тому, какой видеокадр в настоящее время декодируется на плоскость видеовыхода (это известно из информации о времени от источника видеоизображения). Посредством этого программа копирования покадровой области гарантирует, что микшер комбинирует правильную BD-J графику на видеокадр, который в настоящее время выводится (для «2D + глубина» это означает, что буфер 2D графики копируется на графическую плоскость, когда декодируется 2D видеокадр, а буфер DOT графики глубины копируется на графическую плоскость, когда декодируется кадр глубины). Для графики «L+R» это гарантирует, что L графика реального времени накладывается на L кадр, а R графика реального времени накладывается на R кадр.

Следует отметить, что изобретение может быть реализовано в аппаратном и/или программном обеспечении, с использованием программируемых компонентов. Способ для реализации изобретения имеет этапы обработки, соответствующие системе визуализации, освещенной со ссылкой на фиг.1. Хотя изобретение было, в основном, объяснено посредством вариантов осуществления, использующих оптические носители записи или Интернет, изобретение также подходит для любой среды обработки изображений, подобной авторизованному программному обеспечению или вещательному оборудованию. Дополнительные применения включают в себя пользовательский интерфейс 3D персонального компьютера (PC) или PC 3D мультимедийного центра, 3D мобильный проигрыватель и 3D мобильный телефон.

Отметим, что в настоящем документе слово «содержащий» не исключает наличия других элементов или этапов, чем те, которые перечислены, а слово «некоторый» или «один», предшествующее какому-либо элементу, не исключает наличия множества таких элементов, что любые условные обозначения не ограничивают объем формулы изобретения, что изобретение может быть реализовано посредством как аппаратного, так и программного обеспечения, и что несколько «средств» или «блоков» может быть представлено одним и тем же элементом аппаратного или программного обеспечения, и что процессор может выполнять функцию одного или нескольких блоков, возможно, во взаимодействии с аппаратными элементами. Далее, изобретение не ограничено этими вариантами осуществления и заключается в каждом новом признаке или сочетании признаков, описанных выше.