Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО ДЛЯ ФОРМИРОВАНИЯ ДАННЫХ, ПРЕДСТАВЛЯЮЩИХ СВЕТОВОЕ ПОЛЕ

Область техники, к которой относится изобретение

Настоящее изобретение относится к формированию данных, представляющих световое поле.

Уровень техники

Получение данных четырехмерного (или четырехмерного) светового поля, которое может рассматриваться в качестве дискретизации четырехмерного светового поля, т.е. записи световых лучей, поясняется в статье "Understanding camera trade-offs through the Bayesian analysis of light field projections" авторов Anat Levin и другие, опубликованной в материалах конференции ECCV 2008, является предметом активных исследований.

По сравнению с классическими двумерными (или двумерными) изображениями, полученными из камеры, данные четырехмерного светового поля предоставляют возможность пользователю иметь доступ к большему числу признаков постобработки, которые улучшают рендеринг изображений и интерактивность с пользователем. Например, с помощью данных четырехмерного светового поля, можно выполнять перефокусировку изображений со свободно выбранными расстояниями локализации, что означает то, что позиция фокальной плоскости может указываться/выбираться апостериори, а также небольшое изменение точки обзора в сцене изображения. Чтобы получать данные четырехмерного светового поля, могут использоваться несколько технологий. Например, пленооптическая камера имеет возможность получать данные четырехмерного светового поля. Подробности архитектуры пленооптической камеры предоставляются на фиг. 1A. Фиг. 1A является схемой, схематично представляющей пленооптическую камеру 100. Пленооптическая камера 100 содержит главную линзу 101, матрицу 102 микролинз, содержащую множество микролинз 103, размещаемых в двумерной матрице, и датчик 104 изображений.

Другой способ получать данные четырехмерного светового поля состоит в том, чтобы использовать матрицу камер, как проиллюстрировано на фиг. 1B. Фиг. 1B представляет мультиматричную камеру 110. Мультиматричная камера 110 содержит матрицу 112 линз и датчик 114 изображений.

В примере пленооптической камеры 100, как показано на фиг. 1A, главная линза 101 принимает свет из объекта (не показан на чертежах) в объектном поле главной линзы 101 и передает свет через поле изображений главной линзы 101.

Наконец, еще один способ получения четырехмерного светового поля состоит в том, чтобы использовать традиционную камеру, которая выполнена с возможностью захватывать последовательность двумерных изображений идентичной сцены в различных фокальных плоскостях. Например, технология, описанная в документе "Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays" авторов J.-H. Park и др., опубликованном в OPTICS EXPRESS, издание 22, № 21, в октябре 2014 года, может использоваться для того, чтобы достигать получения данных четырехмерного светового поля посредством традиционной камеры.

Предусмотрено несколько способов представлять данные четырехмерного светового поля. Фактически, в главе 3.3 докторской диссертации с названием "Digital Light Field Photography" автора Ren Ng, опубликованной в июле 2006 года, описываются три различных способа представлять данные четырехмерного светового поля. Во-первых, данные четырехмерного светового поля могут быть представлены, при записи посредством пленооптической камеры посредством совокупности изображений на основе микролинз. Данные четырехмерного светового поля в этом представлении называются "необработанными изображениями" или "необработанными данными четырехмерного светового поля". Во-вторых, данные четырехмерного светового поля могут быть представлены либо при записи посредством пленооптической камеры, либо посредством матрицы камер, посредством набора субапертурных изображений. Субапертурное изображение соответствует захваченному изображению сцены с точки обзора, причем точка обзора немного отличается между двумя субапертурными изображениями. Эти субапертурные изображения выдают информацию относительно параллакса и глубины визуализируемой сцены. В-третьих, данные четырехмерного светового поля могут быть представлены посредством набора эпиполярных изображений, см., например, статью, озаглавленную "Generating EPI Representation of the 4D Light Fields with the Single Lens Focused Plenoptic Camera", авторов S. Wanner и другие, опубликованную в материалах конференции ISVC 2011.

Данные светового поля могут занимать большие объемы пространства для хранения, что может приводить к громоздкости хранения и меньшей эффективности обработки. Помимо этого, устройства получения светового поля являются чрезвычайно гетерогенными. Камеры светового поля имеют различные типы, например, пленооптические или матрицы камер. В рамках каждого типа имеется много различий, таких как различные оптические компоновки или микролинзы с различными фокусными длинами. Каждая камера имеет собственный формат файла. В настоящее время отсутствует стандарт, поддерживающий получение и передачу многомерной информации для полного общего представления различных параметров, от которых зависит световое поле. По сути, полученные данные светового поля для различных камер имеют множество форматов. Настоящее изобретение разработано с учетом вышеизложенного.

Сущность изобретения

Согласно первому аспекту изобретения, предусмотрен машинореализованный способ для формирования данных, представляющих объем в объектном пространстве системы оптического обнаружения, занимаемом посредством набора лучей света, которые, по меньшей мере, один пиксел датчика упомянутой системы оптического обнаружения может считывать через зрачок упомянутой системы оптического обнаружения, причем упомянутый объем называется пиксельным пучком, содержащий:

- получение (S803), из данных светового поля, захваченных посредством устройства оптического обнаружения, данных пересечения, задающих пересечение луча светового поля, представляющего пиксельный пучок с множеством данных опорных плоскостей, причем упомянутые опорные плоскости соответствуют различным глубинам в объектном пространстве;

- получение (S805, S806) параметров диаграммы лучей, задающих графическое представление данных пересечения на четырехмерной диаграмме лучей, и

- ассоциирование упомянутых параметров диаграммы лучей с параметрами, задающими пиксельный пучок, чтобы предоставлять данные, представляющие пиксельный пучок.

Согласно варианту осуществления изобретения, луч светового поля, представляющий пиксельный пучок, представляет собой прямую линию, проходящую через центр пиксела и центр зрачка, и параметры, задающие пиксельный пучок, представляют собой позицию и размер сопряженного элемента пиксела в объектном пространстве.

Согласно варианту осуществления изобретения, данные пересечений, соответствующие лучу светового поля, графически представляются на диаграмме лучей в качестве линий данных, и параметры диаграммы лучей включают в себя данные, представляющие, по меньшей мере, одно из следующего:

- наклон линии данных; и

- пересечение линии данных с осью диаграммы лучей.

Согласно варианту осуществления изобретения, линии данных обнаруживаются на двумерной диаграмме лучей посредством применения преобразования Радона.

Согласно варианту осуществления изобретения, графическое представление предоставляется в качестве матрицы ячеек, чтобы предоставлять цифровую линию данных, причем каждый формат цифровой линии данных задается посредством множества ячеек, т.е., по меньшей мере, одной первой ячейки, представляющей пересечение линии с осью, и, по меньшей мере, одной второй ячейки, из которой может определяться наклон линии.

Согласно варианту осуществления изобретения, каждая цифровая линия данных формируется посредством применения алгоритма Брезенхэма.

Согласно варианту осуществления изобретения, данные, представляющие пиксельный пучок, дополнительно содержат цветовые данные, представляющие цвет соответствующего луча светового поля.

Согласно варианту осуществления изобретения, данные, представляющие пиксельный пучок, предоставляются в качестве метаданных, причем заголовок метаданных содержит параметры диаграммы лучей, задающие графическое представление данных пересечения на двумерной диаграмме лучей, а тело метаданных содержит данные, представляющие цвет луча, и параметры, задающие позицию и размер сопряженного элемента пиксела в объектном пространстве.

Другая цель изобретения представляет собой устройство для предоставления метаданных для объема в объектном пространстве системы оптического обнаружения, занимаемого посредством набора лучей света, которые, по меньшей мере, один пиксел датчика упомянутой системы оптического обнаружения может считывать через зрачок упомянутой системы оптического обнаружения, причем упомянутый объем называется пиксельным пучком, причем устройство содержит модуль получения данных светового поля для получения данных светового поля, захваченных посредством камеры светового поля, и модуль формирования данных светового поля, выполненный с возможностью:

- получать, из полученных данных светового поля, данные пересечения, задающие пересечения луча светового поля, представляющего пиксельный пучок, с множеством данных опорных плоскостей, причем упомянутые опорные плоскости являются параллельными друг другу и соответствуют различным глубинам в объектном пространстве; и

- получать параметры диаграммы лучей, задающие графическое представление данных пересечения на двумерной диаграмме лучей, чтобы предоставлять данные, представляющие полученные данные светового поля;

- ассоциировать упомянутые параметры диаграммы лучей с параметрами, задающими пиксельный пучок, чтобы предоставлять данные, представляющие пиксельный пучок.

Другая цель изобретения связана с устройством формирования изображений светового поля, содержащим:

- матрицу микролинз, размещаемую в регулярной решетчатой структуре;

- фотодатчик, выполненный с возможностью захватывать свет, проецируемый на фотодатчике из матрицы микролинз, причем фотодатчик содержит наборы пикселов, причем каждый набор пикселов оптически ассоциирован с соответствующей микролинзой матрицы микролинз; и

- устройство для предоставления метаданных по п. 9.

Другая цель изобретения связана с устройством для рендеринга изображения из данных светового поля с использованием полученного в соответствии со способом по любому из пп. 1-8.

Согласно другому аспекту изобретения, предусмотрен пакет данных для данных, представляющих объем в объектном пространстве системы оптического обнаружения, занимаемом посредством набора лучей света, которые, по меньшей мере, один пиксел датчика упомянутой системы оптического обнаружения может считывать через зрачок упомянутой системы оптического обнаружения, причем упомянутый объем называется пиксельным пучком, содержащий параметры диаграммы лучей, задающие графическое представление на двумерной диаграмме лучей данных пересечения светового луча, представляющего пиксельный пучок, данные пересечения, задающие пересечения луча светового поля, представляющего пиксельный пучок, с множеством данных опорных плоскостей, причем упомянутые опорные плоскости являются параллельными друг другу и соответствуют различным глубинам в объектном пространстве; цветовые данные, задающие цвета луча светового поля, представляющего пиксельный пучок, и параметры, задающие позицию и размер сопряженного элемента пиксела в объектном пространстве.

Некоторые процессы, реализованные посредством элементов изобретения, могут быть машинореализованными. Соответственно, такие элементы может принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя микропрограммное обеспечение, резидентное программное обеспечение, микрокод и т.д.) или варианта осуществления, комбинирующего программные и аппаратные аспекты, которые могут совместно упоминаться в данном документе, в общем, как "схема", "модуль" или "система". Кроме того, такие элементы могут принимать форму компьютерного программного продукта, осуществленного в любом материальном носителе, в представлении, имеющем машиноприменимый программный код, осуществленный на носителе.

Поскольку элементы настоящего изобретения могут быть реализованы в программном обеспечении, настоящее изобретение может быть осуществлено в качестве машиночитаемого кода для предоставления в программируемое устройство на любом подходящем носителе. Материальный носитель может содержать носитель хранения данных, такой как гибкий диск, CD-ROM, жесткий диск, устройство на магнитных лентах или полупроводниковое запоминающее устройство и т.п. Переходная несущая среда может включать в себя такой сигнал, как электрический сигнал, электронный сигнал, оптический сигнал, акустический сигнал, магнитный сигнал либо электромагнитный сигнал, например, микроволновый или RF-сигнал.

Краткое описание чертежей

Далее описываются варианты осуществления изобретения, только в качестве примера и со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1A является схемой, схематично представляющей пленооптическую камеру;

Фиг. 1B представляет мультиматричную камеру;

Фиг. 2A является функциональной схемой камеры светового поля согласно варианту осуществления изобретения;

Фиг. 2B является функциональной схемой модуля форматирования данных светового поля и процессора данных светового поля согласно варианту осуществления изобретения;

Фиг. 3 является примером двумерного изображения светового поля, сформированного на матрице фотодатчиков;

Фиг. 4 представляет объем, занимаемый посредством набора лучей света в объектном пространстве оптической системы камеры или системы оптического обнаружения;

Фиг. 5 представляет гиперболоид одного листа;

Фиг. 6A и 6B графически иллюстрируют использование опорных плоскостей для параметризации данных светового поля в соответствии с одним или более вариантов осуществления изобретения;

Фиг. 7 схематично иллюстрирует представление лучей светового поля относительно опорных плоскостей в соответствии с вариантами осуществления изобретения;

Фиг. 8A является блок-схемой последовательности операций, иллюстрирующей этапы способа в соответствии с одним или более вариантов осуществления изобретения;

Фиг. 8B является функциональной блок-схемой, иллюстрирующей модули устройства для предоставления формата световых данных в соответствии с одним или более вариантов осуществления изобретения;

Фиг. 9 схематично иллюстрирует параметры для представления лучей светового поля в соответствии с вариантами осуществления изобретения;

Фиг. 10 является двумерной диаграммой лучей, графически иллюстрирующей данные пересечений в соответствии с вариантами осуществления изобретения;

Фиг. 11 графически иллюстрирует цифровую линию, сформированную в соответствии с вариантами осуществления изобретения;

Фиг. 12 графически иллюстрирует цифровую линию, сформированную в соответствии с вариантами осуществления изобретения;

Фиг. 13-13C графически иллюстрируют преобразования Радона, применяемые к цифровой линии в соответствии с вариантами осуществления изобретения; и

Фиг. 14 является двумерной диаграммой лучей, графически иллюстрирующей данные пересечений для множества камер в соответствии с вариантами осуществления изобретения.

Подробное описание изобретения

Специалисты в данной области техники должны принимать во внимание, что аспекты настоящих принципов могут быть осуществлены в качестве системы, способа или машиночитаемого носителя. Соответственно, аспекты настоящих принципов могут принимать форму полностью аппаратного варианта осуществления, полностью программного варианта осуществления (включающего в себя микропрограммное обеспечение, резидентное программное обеспечение, микрокод и т.п.) или варианта осуществления, комбинирующего программные и аппаратные аспекты, которые могут совместно упоминаться в данном документе, в общем, как "схема", "модуль" или "система". Кроме того, аспекты настоящих принципов могут принимать форму машиночитаемого носителя хранения данных. Может использоваться любая комбинация одного или более машиночитаемых носителей хранения данных.

Варианты осуществления изобретения предоставляют форматирование данных светового поля для дополнительных вариантов применения обработки, таких как преобразование формата, перефокусировка, изменение точки обзора и формирование трехмерных изображений.

Фиг. 2A является блок-схемой устройства камеры светового поля в соответствии с вариантом осуществления изобретения. Камера светового поля содержит апертуру/затвор 202, главную линзу 201 (объектива), матрицу 210 микролинз и матрицу 220 фотодатчиков в соответствии с камерой светового поля по фиг. 1A. В некоторых вариантах осуществления, камера светового поля включает в себя спуск затвора, который активируется для того, чтобы захватывать изображение светового поля субъекта или сцены. Следует принимать во внимание, что функциональные признаки также могут применяться к камере светового поля по фиг. 1B.

Матрица 220 фотодатчиков предоставляет данные изображений светового поля, которые получаются посредством модуля 240 получения LF-данных, для формирования формата данных светового поля посредством модуля 250 форматирования данных светового поля и/или для обработки посредством процессора 255 данных светового поля. Данные светового поля могут сохраняться, после получения и после обработки, в запоминающем устройстве 290 в формате необработанных данных, в качестве субапертурных изображений или фокальных стеков либо в формате данных светового поля в соответствии с вариантами осуществления изобретения.

В проиллюстрированном примере, модуль 150 форматирования данных светового поля и процессор 255 данных светового поля располагаются в или интегрируются в камеру 200 светового поля. В других вариантах осуществления изобретения, модуль 250 форматирования данных светового поля и/или процессор 255 данных светового поля могут предоставляться в отдельном компоненте, внешнем для камеры для захвата светового поля. Отдельный компонент может быть локальным или удаленным относительно устройства захвата изображений светового поля. Следует принимать во внимание, что любой подходящий проводной или беспроводной протокол может использоваться для передачи данных изображений светового поля в модуль 250 форматирования или процессор 255 данных светового поля; например, процессор данных светового поля может передавать захваченные данные изображений светового поля и/или другие данные через Интернет, сотовую сеть передачи данных, Wi-Fi-сеть, протокол Bluetooth-связи и/или любое другое подходящее средство.

Модуль 250 форматирования данных светового поля выполнен с возможностью формировать данные, представляющие полученное световое поле, в соответствии с вариантами осуществления изобретения. Модуль 250 форматирования данных светового поля может реализовываться в программном обеспечении, аппаратных средствах или комбинации вышеозначенного.

Процессор 255 данных светового поля выполнен с возможностью управлять необработанными данными изображений светового поля, принимаемыми непосредственно из модуля 240 получения LF-данных, например, чтобы формировать фокальные стеки или матрицу видов в соответствии с вариантами осуществления изобретения. Могут формироваться выходные данные, такие как, например, неподвижные изображения, двумерные видеопотоки и т.п. захваченной сцены. Процессор данных светового поля может реализовываться в программном обеспечении, аппаратных средствах или комбинации вышеозначенного.

По меньшей мере, в одном варианте осуществления, камера 200 светового поля также может включать в себя пользовательский интерфейс 260 для представления возможности пользователю предоставлять пользовательский ввод для того, чтобы управлять работой камеры 100 посредством контроллера 270. Управление камерой может включать в себя одно или более из управления оптическими параметрами камеры, таким как скорость срабатывания затвора или, в случае регулируемой камеры светового поля, управления относительным расстоянием между матрицей микролинз и фотодатчиком или относительным расстоянием между линзой объектива и матрицей микролинз. В некоторых вариантах осуществления, относительные расстояния между оптическими элементами камеры светового поля могут регулироваться вручную. Управление камерой также может включать в себя управление другими параметрами получения данных светового поля, параметрами форматирования данных светового поля или параметрами обработки по принципу светового поля камеры. Пользовательский интерфейс 260 может содержать любое подходящее устройство(а) пользовательского ввода, к примеру, сенсорный экран, кнопки, клавиатуру, указательное устройство и/или т.п. Таким образом, ввод, принимаемый посредством пользовательского интерфейса, может использоваться для того, чтобы управлять и/или конфигурировать модуль 250 форматирования LF-данных для управления форматированием данных, процессором 255 LF-данных для управления обработкой полученных данных светового поля и контроллер 270 для управления камерой 200 светового поля.

Камера светового поля включает в себя источник 280 питания, к примеру, один или более сменных или перезаряжаемых аккумуляторов. Камера светового поля содержит запоминающее устройство 290 для сохранения захваченных данных светового поля и/или подготовленных посредством рендеринга конечных изображений либо других данных, к примеру, программного обеспечения для реализации способов вариантов осуществления изобретения. Запоминающее устройство может включать в себя внешнее и/или внутреннее запоминающее устройство. По меньшей мере, в одном варианте осуществления, запоминающее устройство может предоставляться в отдельном устройстве и/или местоположении относительно камеры 200. В одном варианте осуществления, запоминающее устройство включает в себя съемное/сменное устройство хранения данных, к примеру, карту памяти.

Камера светового поля также может включать в себя модуль 265 отображения (например, ЖК-экран) для просмотра сцен перед камерой до захвата и/или для просмотра ранее захваченных и/или подготовленных посредством рендеринга изображений. Экран 265 также может использоваться для того, чтобы отображать одно или более меню или другую информацию для пользователя. Камера светового поля дополнительно может включать в себя один или более интерфейсов 295 ввода-вывода, таких как интерфейсы FireWire или универсальной последовательной шины (USB) или интерфейсы проводной или беспроводной связи для обмена данными через Интернет, сотовую сеть передачи данных, Wi-Fi-сеть, протокол Bluetooth-связи и/или любое другое подходящее средство. Интерфейс 295 ввода-вывода может использоваться для передачи данных, таких как характерные данные светового поля, сформированные посредством модуля форматирования LF-данных в соответствии с вариантами осуществления изобретения, и данные светового поля, такие как необработанные данные светового поля или данные, обрабатываемые посредством процессора 255 LF-данных, в/из внешних устройств, таких как компьютерные системы или модули отображения, для приложений для рендеринга.

Фиг. 2B является блок-схемой, иллюстрирующей конкретный вариант осуществления потенциальной реализации модуля 250 форматирования данных светового поля и процессора 253 данных светового поля.

Схема 2000 включает в себя запоминающее устройство 2090, контроллер 2045 запоминающего устройства и схему 2040 обработки, содержащую один или более модулей обработки (CPU). Один или более модулей 2040 обработки выполнены с возможностью запускать различные программы и/или наборы инструкций, сохраненных в запоминающем устройстве 2090, чтобы выполнять различные функции, включающие в себя форматирование данных светового поля и обработку данных светового поля. Программные компоненты, сохраненные в запоминающем устройстве, включают в себя модуль 2050 форматирования данных (или набор инструкций) для формирования данных, представляющих полученные световые данные в соответствии с вариантами осуществления изобретения, и модуль 2055 обработки данных светового поля (или набор инструкций) для обработки данных светового поля в соответствии с вариантами осуществления изобретения. Другие модули могут быть включены в запоминающее устройство для приложений устройства камеры светового поля, к примеру, модуль 2051 операционной системы для управления общими системными задачами (например, управления питанием, управления запоминающим устройством) и для упрощения связи между различными аппаратными и программными компонентами устройства 2000 и интерфейсный модуль 2052 для контроля и управления связью с другими устройствами через интерфейсные порты ввода-вывода.

Фиг. 3 иллюстрирует пример двумерного изображения, сформированного в матрице 104 фотодатчиков по фиг. 1A или матрице 114 фотодатчиков по фиг. 1B. Двумерное изображение, зачастую называемое "необработанным четырехмерным изображением светового поля", состоит из матрицы микроизображений MI, причем каждое микроизображение формируется посредством соответствующей микролинзы матрицы 102, 112 микролинз. Микроизображения размещаются в матрице в прямоугольной решетчатой структуре, заданной посредством осей i и j. Изображение на основе микролинз может указываться ссылкой посредством соответствующих координат микролинзы. Пиксел PI фотодатчика 104, 114 может указываться ссылкой посредством его пространственных координат . Данные четырехмерного светового поля, ассоциированные с данным пикселом, могут указываться ссылкой в качестве .

Предусмотрено несколько способов представлять (или задавать) четырехмерное изображение светового поля. Например, четырехмерное изображение светового поля может быть представлено посредством совокупности изображений на основе микролинз, как описано выше со ссылкой на фиг. 3. Четырехмерное изображение светового поля также может быть представлено при записи посредством пленооптической камеры посредством набора субапертурных изображений. Каждое субапертурное изображение состоит из пикселов в идентичной позиции, выбранных из каждого изображения на основе микролинз. Кроме того, четырехмерное изображение светового поля может быть представлено посредством набора эпиполярных изображений, что не имеет место в случае пиксельного пучка.

Варианты осуществления изобретения предоставляют представление данных светового поля на основе понятия пиксельного пучка. Таким образом, может учитываться многообразие форматов и устройств светового поля. Фактически, один недостаток необработанных форматов заключается в том, что плоскости параметризации должны быть дискретизированы, чтобы отражать пиксельные форматы и размеры. Следовательно, дискретизация должна задаваться вдоль других данных, чтобы восстанавливать физическую значимую информацию.

Пиксельный пучок 40, как показано на фиг. 4, представляет объем, занимаемый посредством набора лучей света в объектном пространстве оптической системы 41 камеры. Набор лучей света считывается посредством пиксела 42 датчика 43 камеры через зрачок 44 упомянутой оптической системы 41. В отличие от лучей, пиксельные пучки 40 могут представлять собой выборку по желанию, поскольку они передают, по сути, "оптический фактор", который соответствует сохранению энергии по участкам физических световых лучей.

Зрачок оптической системы задается как изображение апертурной диафрагмы при просмотре через упомянутую оптическую систему, т.е. линзы камеры, которая предшествует упомянутой апертурной диафрагме. Апертурная диафрагма представляет собой отверстие, которое ограничивает количество света, которое проходит через оптическую систему камеры. Например, регулируемая диафрагма, расположенная около передней стороны линзы камеры, представляет собой апертурную диафрагму для линзы. Количество света, пропускаемого через диафрагму, управляется посредством диаметра отверстия диафрагмы, которое может адаптироваться в зависимости от количества света, которое пользователь камеры хочет пропускать. Например, задание апертуры меньшей уменьшает количество света, пропускаемого через диафрагму, но увеличивает глубину резкости. Действительный размер диафрагмы может быть больше или меньше его физического размера вследствие преломляющего действия линзы. Формально, зрачок представляет собой изображение апертурной диафрагмы через часть оптической системы камеры.

Пиксельный пучок 40 задается как сходящийся пучок лучей света, которые достигают данного пиксела 42 при распространении через оптическую систему 41 через входной зрачок 44. По мере того, как свет перемещается по прямым линиям в свободном пространстве, форма такого пиксельного пучка 40 может задаваться посредством двух участков, один из которых представляет собой сопряженный элемент 45 пиксела 42, а другой из которых представляет собой входной зрачок 44. Пиксел 42 задается посредством своей ненулевой поверхности и своей карты чувствительности.

Таким образом, пиксельный пучок может быть представлен посредством гиперболоида одного листа 50, как показано на фиг. 5, поддерживаемого посредством двух элементов: зрачка 54 и сопряженного элемента 55 пиксела 42 в объектном пространстве камеры.

Гиперболоид одного листа представляет собой управляемую поверхность, которая может поддерживать понятие сходящегося пучка лучей света и является совместимой с понятием "оптического фактора" физических световых пучков.

В варианте осуществления изобретения, пиксельный пучок 40, 50 задается посредством четырех независимых параметров: , задающих позицию и размер пиксельного сопряженного элемента 45, 55, перед зрачком 44, 54.

Гиперболоид одного листа, представляющего пиксельный пучок, может задаваться посредством следующего уравнения:

,

где = и .

Начало O системы (x,y,z) координат, в которой задаются параметры пиксельного пучка 40, 50, соответствует центру зрачка 44, как показано на фиг. 4, где z ось задает направление, нормальное к поверхности зрачка 44, 54.

Параметры задают направления главного луча относительно входа центра зрачка 44. Они зависят от позиции пиксела 42 на датчике 43 и от оптических элементов оптической системы 41. Более точно, параметры представляют углы сдвига, задающие направление сопряженного элемента 45 пиксела 42 от центра зрачка 44.

Параметр z_p представляет расстояние сужения 55 пиксельного пучка 40, 50 или сопряженного элемента 45 пиксела 42 вдоль оси z.

Параметр a представляет радиус сужения 55 пиксельного пучка 40, 50, и c задается посредством следующего уравнения:

, (2)

где r является радиусом зрачка 44, 54.

Вычисление значений параметров z_p, a и c реализовано для каждого пиксельного пучка данной камеры в ходе фазы калибровки упомянутой камеры. Эта фаза калибровки состоит, например, в выполнении программы, допускающей моделирование распространения лучей света через оптическую систему камеры. Эта программа представляет собой, например, программу оптического проектирования, такую как Zemax©, ASAP© или Code V©. Программа оптического проектирования используется для того, чтобы проектировать и анализировать оптические системы. Программа оптического проектирования моделирует распространение лучей света через оптическую систему; и может моделировать эффект оптических элементов, таких как простые линзы, асферические линзы, линзы с градиентом показателя преломления, зеркала и дифракционные оптические элементы и т.д.

Таким образом, пиксельный пучок 40, 50 может задаваться посредством своего главного луча и параметров z_p, a и c.

Тем не менее, такое представление пиксельного пучка 40, 50 занимает большие объемы пространства для хранения, поскольку классический формат файла для сохранения лучей состоит в сохранении позиции и направления в трехмерном пространстве.

Чтобы предлагать формат файла для сохранения лучей, которому требуется меньшее пространство для хранения, способ для параметризации четырех размерностей энергетической яркости светового поля может осуществляться в отношении куба, проиллюстрированного на фиг. 6A. Все шесть граней куба могут использоваться для того, чтобы параметризовать световое поле. Чтобы параметризовать направление, может добавляться второй набор плоскостей, параллельных граням куба. Таким образом, световое поле может задаваться относительно шести пар плоскостей с нормалями вдоль осевых направлений следующим образом:

Фиг. 6B иллюстрирует луч светового поля, проходящий через две опорных плоскости P₁ и P₂, используемые для параметризации, позиционированные параллельно друг другу и расположенные на известных глубинах z₁ и z₂, соответственно. Луч светового поля пересекает первую опорную плоскость P₁ на глубине z₁ в точке (x₁, y₁) пересечения и пересекает вторую опорную плоскость P₂ на глубине z₂ в точке (x₂, y₂) пересечения. Таким образом, луч светового поля может идентифицироваться посредством четырех координат (x₁, y₁, x₂, y₂). Световое поле в силу этого может быть параметризовано посредством пары опорных плоскостей P₁, P₂ для параметризации, также упоминаемых в данном документе в качестве "плоскостей параметризации", причем каждый луч светового поля представляется как точка в четырехмерном пространстве лучей.

Например, начало опорной системы координат может помещаться в центре плоскости P₁, сформированной посредством базисных векторов системы осей координат. Ось является нормальной к сформированной плоскости P₁, и вторая плоскость P₂ может помещаться для простоты на расстоянии z=Δ от плоскости P₁ вдоль оси . Чтобы принимать во внимание шесть различных направлений распространения, все световое поле может характеризоваться посредством шести пар таких плоскостей. Пара плоскостей, зачастую называемых "световой полоской", характеризует световое поле, взаимодействующее с датчиком или матрицей датчиков камеры светового поля вдоль направления распространения.

Позиция опорной плоскости для параметризации может задаваться следующим образом:

, где является нормалью, и d является смещением от начала трехмерной системы координат вдоль направления нормали.

Декартово уравнение опорной плоскости для параметризации может задаваться следующим образом:

Если луч светового поля имеет известную позицию:

и нормализованный вектор распространения:

, общее параметрическое уравнение луча в трехмерном пространстве может задаваться следующим образом:

Координаты пересечения между лучом светового поля и опорной плоскостью задаются следующим образом:

(A)

Между лучами светового поля и опорной параметризацией отсутствует пересечение, если следующее условие не удовлетворяется:

Вследствие перпендикулярности с одной из осей системы пары опорных плоскостей, используемых для того, чтобы параметризовать световое поле, один из компонентов пересечения луча всегда является постоянным для каждой плоскости. Следовательно, если имеется пересечение луча светового поля с первой опорной плоскостью и пересечение упомянутого светового поля со второй опорной плоскостью, четыре координаты варьируются, и уравнение A может использоваться для того, чтобы вычислять четыре параметра луча светового поля. Эти четыре параметра могут использоваться для того, чтобы компоновать четырехмерную диаграмму лучей светового поля.

При условии параметризации светового поля в отношении двух опорных плоскостей параметризации, данные, представляющие световое поле, могут получаться следующим образом. Если система координат задается так, как показано на фиг. 7, первая плоскость P₁ параметризации является перпендикулярной оси Z при z=z₁, вторая плоскость P₂ параметризации размещается перпендикулярно оси Z при z=z₂, и луч, параметры L светового поля которого представляют собой (x₁; y₁; x₂; y₂), должен подготавливаться посредством рендеринга в местоположении z=z₃, в котором позиционируется матрица фотодатчиков камеры светового поля. Из уравнения (A):

где:

Раскрытие вышеприведенного выражения дает следующее:

Оба набора уравнения должны доставлять идентичную точку в качестве подготовленного посредством рендеринга луча светового поля в новом местоположении. Посредством замены u_x; u_y; u_z на соответствующее выражение в качестве функций и , если используется второй набор уравнения из предыдущего блока, и x₃ и y₃ суммируются:

Это приводит к выражению:

(B)

Координаты с подстрочным индексом ₃ связаны с известной точкой (x₃, y₃, z₃), в которой световое поле подготавливается посредством рендеринга. Все координаты z_i глубины известны. Плоскости параметризации задаются в направлении распространения или рендеринга. Параметры L данных светового поля представляют собой (x₁, y₁, x₂, y₂).

Лучи светового поля, которые формируют изображение в точке (x₃, y₃, z₃), связываются посредством выражения (B), которое задает гиперплоскость в R⁴.

Это означает, что если изображения должны подготавливаться посредством рендеринга из двухплоскостного параметрического светового поля, только лучи около гиперплоскостей должны подготавливаться посредством рендеринга, нет необходимости отслеживать их. Фиг. 8A является блок-схемой последовательности операций, иллюстрирующей этапы способа для формирования данных, представляющих световое поле согласно одному или более вариантов осуществления изобретения. Фиг. 8B является блок-схемой, схематично иллюстрирующей главные модули системы для формирования данных, представляющих световое поле согласно одному или более вариантов осуществления изобретения.

На предварительном этапе S801, параметры способа, задающие различные пиксельные пучки, ассоциированные с пикселами датчика камеры, получаются либо посредством калибровки камеры, либо извлечения таких параметров из файла данных, сохраненного на удаленном сервере или в локальном модуле хранения данных, таком как запоминающее устройство 290 камеры или флэш-диск, соединенный с камерой.

Такие параметры представляют собой координаты главных лучей различных пиксельных пучков и параметры z_p и a, задающие позицию и размер пиксельного сопряженного элемента перед зрачком, полученные для каждого пиксельного пучка во время калибровки камеры. Главный луч пиксельного пучка представляет собой прямую линию, проходящую через центр пиксела и центр зрачка, поддерживающего пиксельный пучок. На другом предварительном этапе S802, необработанные данные светового поля получаются посредством камеры 801 светового поля. Необработанные данные светового поля, например, могут иметь форму микроизображений, как описано со ссылкой на фиг. 3. Камера светового поля может представлять собой устройство камеры светового поля, к примеру, показанное на фиг. 1A или 1B и 2A и 2B.

На этапе S803, полученные данные светового поля обрабатываются посредством модуля 802 обработки параметров лучей, чтобы предоставлять данные (x₁, y₁, x₂, y₂) пересечения, задающие пересечение захваченных лучей светового поля, которые соответствуют главным лучам пиксельных пучков 40, 50, с парой опорных плоскостей P₁, P₂ для параметризации на соответствующих глубинах z₁, z₂.

Из калибровки камеры, могут определяться следующие параметры: центр проекции (x₃, y₃, z₃), ориентация оптической оси камеры и расстояние f от микроотверстия камеры до плоскости фотодатчика. Параметры камеры светового поля проиллюстрированы на фиг. 9. Плоскость фотодатчика расположена на глубине z_p. Пиксельный вывод фотодатчика преобразуется в геометрическое представление лучей светового поля. Световая полоска, содержащая две опорных плоскости P₁ и P₂, расположена на глубинах z₁ и z₂, соответственно, за пределами z₃, на другой стороне центра проекции камеры на фотодатчик. Посредством применения принципа треугольника к световым лучам, пиксельные координаты (x_p, y_p, z_p), записывающие свет, проецируемый из матрицы микролинз, могут преобразовываться в параметры лучей, т.е. в точки (x₁, y₁, x₂, y₂) пересечения с опорными плоскостями, посредством применения следующего выражения:

Вышеприведенное вычисление может быть расширено на несколько камер с различными парами триплетов (x_p, y_p, z_p) (x₃, y_3, z₃).

В случае пленооптической камеры, используется модель камеры с апертурой, и луч светового поля описывается в фазовом пространстве как имеющий начало (x_p, y_p, z_p) координат и направление (x'₃, y'_3, 1). Его распространение к плоскости (x₃, y₃) на глубине z₃ может описываться как матричное преобразование. Линза выступает в качестве ABCD-матрицы, чтобы преломлять луч, и другая ABCD-матрица распространения вводит луч на опорные плоскости P₁ и P₂ световой полоски.

Из этого этапа, получаются данные (x₁, y₁, x₂, y₂) пересечения, геометрически задающие пересечение лучей светового поля с опорными плоскостями P₁, P₂.

На этапе S804, двумерная схема лучей, графически представляющая данные (x₁, y₁, x₂, y₂) пересечения, получается посредством модуля 803 формирования диаграммы лучей.

Фиг. 10 является двумерной диаграммой лучей, графически представляющей данные (x₁, x₂) пересечения лучей светового поля, захваченных посредством камеры в местоположении x₃=2 и на глубине z₃=2 с апертурой <0,5. Линии данных диаграммы лучей, используемые для параметризации, дискретизированы посредством 256 ячеек, предоставляющих изображение в 256×256 пикселов.

Если диаграмма лучей, проиллюстрированная на фиг. 10, интерпретируется в качестве матрицы, можно видеть, что она является разреженно заполненной. Если лучи должны быть сохранены отдельно в файле вместо четырехмерной матрицы фазового пространства, это требует сохранения для каждого луча, по меньшей мере, 2 байтов (int16) для каждой позиции x_i или x₃ плюс 3 байтов для цвета, т.е. 7 байтов в расчете на луч для светового поля в двумерном срезе и 11 байтов в расчете на луч для его полного четырехмерного представления. Даже в таком случае, лучи должны сохраняться случайно в файле, что может быть неподходящим для приложений, которые должны обрабатывать представление. Авторы настоящего изобретения определяют то, как извлекать только характерные данные из матрицы диаграммы лучей и сохранять данные в файле структурированным способом.

Поскольку лучи светового поля в двумерном срезе преобразуются вдоль линий данных двумерной диаграммы лучей, более эффективно сохранять параметры, задающие линию данных, а не сами значения линии. Параметры, задающие линию данных, такие как, например, параметр s задания наклона и пересечение d с осью, могут сохраняться с набором лучей светового поля, принадлежащих этой линии данных.

Это может требовать, например, всего 2 байтов для параметра s наклона, 2 байтов для параметра d наклона и в таком случае только 3 байтов в расчете на луч. Кроме того, лучи могут упорядочиваться вдоль линий в файле. Чтобы задавать линии через ячейки матрицы, формируются так называемые цифровые линии, которые аппроксимируют линии лучей с минимальной ошибкой.

Чтобы находить линии данных и получать параметр s наклона и параметр d пересечения, на этапе S805 преобразование Радона выполняется посредством модуля 804 обнаружения линий на диаграмме лучей, сформированной на этапе S804.

Из полученного параметра s наклона и параметра d пересечения, характерная цифровая линия формируется посредством модуля 805 формирования цифровых линий на этапе S806. На этом этапе, цифровые линии формируются посредством аппроксимации аналитической линии к ближайшей точке сетки, например, посредством применения алгоритма Брезенхэма. Фактически алгоритм Брезенхэма предоставляет способ предоставлять цифровую линию с минимальным количеством операций. Пример применения Брезенхэма представляет собой пример, приспособленный из следующей ссылки: http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html.

Цифровой формат задает линию данных посредством двух точек (0, d) и (N-1, s) сетки, при этом d представляет собой пересечение, соответствующее значению x₂, когда x₁=0, а s представляет собой параметр наклона, соответствующий значению x₂, когда x₁=N-1. Из цифрового формата, сформированный наклон a каждой отдельной линии может выражаться как функция от s, следующим образом:

,

где:

и

Фиг. 11 иллюстрирует пример цифровой линии, сформированной посредством применения алгоритма Брезенхэма.

Фиг. 12 иллюстрирует группу цифровых линий, имеющих идентичный наклон a (или s-d), но различные пересечения d, причем группа линий данных является смежной. Группа линий данных упоминается в данном документе как комплект линий и соответствует не идеально точному пучку, исходящему из камеры. Каждая линия адресует различные пикселы. Другими словами, один пиксел принадлежит только уникальной линии комплекта с идентичным наклоном, но с различными пересечениями. Верхняя и нижняя границы пересечений d с осью задаются как d_max и d_min, соответственно.

Данные лучей, параметризованные посредством дискретизированной пары линий (в двумерном пространстве) и принадлежащие одной камере, принадлежат семейству цифровых линий (пучку) в фазовом пространстве, используемом для представления данных. Заголовок пучка может просто содержать наклон a и толщину пучка, заданного посредством верхних и нижних границ пересечений с осью d_max-d_min. Значения луча сохранятся в качестве RGB-цветов вдоль цифровых линий, заголовок которых может представлять собой d и s. Пустые ячейки диаграммы лучей в дискретизированном пространстве не должны обязательно сохраняться. Координаты x₁; x₂ лучей могут быть выведены из параметров d, s и из позиции ячейки вдоль цифровой линии.

Параметры, которые должны оцениваться из светового поля или из геометрии камеры, представляют собой наклон a, нижние и верхние границы пересечений (d_min, d_max) цифровых линий и параметры (d_i, s_i) цифровых линий. Дискретное преобразование Радона уже пояснено в качестве инструмента для того, чтобы измерять опорное местоположение светового поля на диаграмме лучей.

Фиг. 13B показывает дискретное преобразование Радона в пространстве (d,s) параметров цифровых линий для линий данных по фиг. 13A. Фиг. 13C является масштабированием интересующей области, содержащейся на фиг. 12B. Пучок цифровых линий находится посредством поиска параметров с максимальными значениями. Может возникать некоторое смещение между геометрическим центром симметрии DRT и фактической позицией максимума вследствие контента изображений, так что далее, алгоритм используется для того, чтобы точно определять центр симметрии вместо максимума. В таком случае легко находить сужение преобразования пучка, как показано для фиг. 13C, чтобы задавать значения (d_min, d_max). Точка (d_min=74, s=201) представляет собой нижнюю огибающую пучка цифровых линий из фиг. 12A, а точка (d_max=81, s=208) представляет собой верхнюю огибающую пучка цифровых линий.

Уравнения двух ортогональных пространств в двумерном срезе из уравнения B задаются следующим образом:

(C)

Если рассматривается двумерный срез для координат x_i, уравнение пучка линий, в котором преобразуются данные лучей через апертуру размера A в , задается следующим образом:

(D)

Аналогично, если рассматривается двумерный срез для координат y_i:

(E)

Как описано выше, значения m и , , , могут оцениваться в дискретном домене, чтобы локализовать характеристики светового поля, как задано посредством формата, поясненного ранее, нет необходимости выполнять четырехмерное дискретное преобразование Радона. Если получаются два ортогональных двумерных DRT, могут выполняться измерения наклона m гиперплоскости и ширины луча цифровых гиперплоскостей, в которых все данные концентрируются на четырехмерной диаграмме лучей.

Эта более простая процедура местоположения предполагает круглый входной зрачок A, так что , , , должны охватывать все пересечения гиперплоскостей, некоторые значения, записываемые в формате, не должны содержать значений.

Интересно получать формат для четырехмерного случая, который является аналогичным формату, который предложен для двумерного случая. Для этого, интересно ассоциировать двумерные линии, обнаруженные на плоскости, с линиями, обнаруженными в месте , т.е. с линиями, которые являются результатами пересечения соответствующей гиперплоскости с двумя ортогональными срезами и . Из выражений D и E, известно, что соответствующие линии имеют идентичный наклон m. Он представляет собой первый параметр, который ассоциирует каждую линию в с линией в для камеры на определенной глубине. Если имеется несколько камер на идентичной глубине (т.е. случай по фиг. 13A), предусмотрено три линии в и три линии в , с идентичным оцененным наклоном m. После этого определяются соответствия в смещениях линий между линиями в этих двух плоскостях. Для этого, используется формулирование линий в выражениях D и E. В частности, при обозначении:

, смещения являются следующими:

(F)

и

(G)

Наборы уравнений могут решаться для k, x₃ и y₃. Следует отметить, что соответствуют координатам камеры или, другими словами, вокселу, в котором соответствующий комплект света сфокусирован в окружность радиуса A. Предполагается, что апертура на плоскости, позиционированной в z3, является круглой, так что , и посредством решения предыдущих наборов уравнений:

(G)

(H)

(I)

(J)

Цифровые линии могут сканироваться, как указано выше для , с использованием цифровых линий Брезенхэма. Для каждого отдельного значения , сохраняются соответствующие значения , захваченные в световом поле. Чтобы находить такие значения, используется выражение C. Все следующее либо известно, либо оценено из выражения F и G: x₃; y₃; z₃; z₁; z₂.

При перемещении по каждой линии в , для каждого , следующая взаимосвязь в получается:

или

Для каждой точки в , сохраняется совокупность линий в ; соответствует смещению линий, сканированных и сохраненных для . Следует отметить, что:

Со ссылкой на фиг. 12, каждый квадрат представляет собой точку , и для каждой из этих точек, имеется набор цифровых линий Брезенхэма, выходящих за пределы плоскости чертежа вдоль цифрового комплекта, заданного посредством уравнения:

, (K)

перпендикулярного проиллюстрированным линиям данных, но в четырехмерном пространстве.

Примерный формат данных для комплекта линий данных для каждой камеры проиллюстрирован в таблице 1.

Табл. 1

Во-первых, предоставляются общие метаданные четырехмерного пространства, включающие в себя границы 4 осей x₁, x_2, y_1, y₂ и их соответствующую дискретизацию. Также предоставляется число камер (комплектов). Для каждой камеры j следующие параметры сохранены:

- размер апертуры: A_j, который соответствует диаметру зрачка пиксельного пучка,

- точка фокусировки камеры: cam_j; focusPoint=(u₃, u₃, w₃)

- самое нижнее пересечение d в (x_1x, 2)=d_j

- крутизна=m_j

- число цифровых линий в (x₁, x₂)=

- число цифровых линий в (y₁, y₂)=

В каждой камере, для каждого (x^q₁; x^q₂), сканирование начинается на (y₁, y₂) относительно выражения (K) с использованием цифровых линий Брезенхэма, и сохраняются RGB-значения каждого из лучей светового поля. В частности, - и соответствующее d_off вычисляются согласно выражению (K).

Поскольку лучи светового поля соответствуют главным лучам пиксельных пучков, значения параметров z_p, a данного пиксельного пучка сохраняются вместе с RGB-значениями соответствующего луча светового поля, как показано в таблице 1.

Идентичные вычисления выполняются на этапе декодирования с использованием сохраненных метаданных. В частности, k обнаруживается с использованием уравнения (G). Следовательно, формат остается компактным. Нет необходимости сохранять четыре индекса для каждого луча в системе. Следует отметить, что вышеприведенные дискретизация гиперплоскости представляет собой дискретизацию четырехмерного пространства лучей, и в силу этого одно местоположение x₁; y₁; x₂; y₂ не пропускается. Это представляет собой только один пример систематического сканирования четырехмерного пространства лучей для сохранения всех данных в очень компактной форме. Конечно, могут применяться другие процессы. Вероятно, параметрическая форма должна адаптироваться для того, чтобы исследовать гиперплоскость, поскольку она разрешает исследование перемеженного пространства.

В случае нескольких камер, чтобы работать с данными, которые содержат несколько комплектов гиперплоскостей (несколько максимумов в преобразовании Радона вследствие нескольких камер), может использоваться более сложный алгоритм. В качестве этапа предварительной обработки, параметры (m, k) находятся для всех пиков в преобразовании Радона и помещаются в один набор. То же выполняется для пиков в (y₁, y₂), и параметры помещаются в другой набор. Теперь при каждой итерации "жадного" алгоритма, максимальная пиковая интенсивность обнаруживается в двумерном преобразовании Радона (x₁, x₂), и соответствующий пик в (y₁, y₂) обнаруживается посредством сопоставления с ранее обнаруженными параметрами (m, k). После сохранения данных, как упомянуто в последнем разделе, эти пики очищаются из преобразований Радона, и следующая итерация начинается до тех пор, пока ничего значимого не останется в световом поле.

Хотя настоящее изобретение описано выше в отношении конкретных вариантов осуществления, настоящее изобретение не ограничено конкретными вариантами осуществления, и для специалистов в данной области техники должны быть очевидными модификации, которые находятся в пределах объема настоящего изобретения.

Множество дополнительных модификаций и изменений предполагаются специалистами в данной области техники после прочтения вышеприведенных иллюстративных вариантов осуществления, которые приводятся только в качестве примера и которые не имеют намерение ограничивать объем изобретения, который определяется исключительно посредством прилагаемой формулы изобретения. В частности, при необходимости различные признаки из различных вариантов осуществления могут меняться местами.