Результат интеллектуальной деятельности: КАМЕРА И ОПТИЧЕСКАЯ СИСТЕМА ДЛЯ ПОЛУЧЕНИЯ 3D ИЗОБРАЖЕНИЙ (ВАРИАНТЫ)

Изобретение касается техники цифровой съемки и обработки цифрового изображения, а более конкретно - компактных оптических систем и камер, снабженных такими системами для получения трехмерных изображений.

Наряду с интенсивной разработкой устройств для воспроизведения трехмерных изображений разрабатываются различные конструкции съемочных камер. Наиболее распространенный подход к разработке трехмерной камеры основан на концепции того, что такая камера должна фиксировать информацию об обычном плоском (двумерном) цветном изображении параллельно с данными относительно глубины в ходе одной фотографической операции.

Данные карты глубины, касающиеся расстояния между поверхностями объекта съемки и трехмерной камеры получают, обычно, либо методом стерео видения, либо методом триангуляции. Примеры такого подхода можно найти в патенте РФ №2431876 [1] и патентной заявке США №20120162375 [2].

Однако, по мере увеличения расстояния от объекта съемки, точность информации о глубине резко снижается. Кроме того, информация о глубине зависит от характера поверхностей объекта съемки, и, таким образом, получить точные данные о глубине с помощью упомянутых методов весьма затруднительно.

Чтобы преодолеть эти затруднения, был разработан метод «пролетного времени» (TOF - Time-of-Flight). В методе TOF источник освещения освещает объект съемки, и затем фиксируется оптическое «пролетное время», то есть период времени, за который световой луч, отраженный от объекта съемки, достигает модуля-приемника.

Освещающий луч имеет специфическую длину волны (например, луч в ближней инфракрасной области - 850 нм) и облучает объект съемки посредством осветительной оптической системы, включающей светоизлучающий диод (светодиод) или лазерный диод (LD), и свет с той же длиной волны, отраженный от объекта съемки, поступает в модуль-приемник.

Затем выполняются определенные операции, в ходе которых поступивший свет модулируется с помощью модулятора, имеющего известный коэффициент усиления формы волны, чтобы получить информацию о глубине. Были внедрены различные методы TOF с использованием предопределенного набора операций. Эти методы описаны, например, в патенте США №8120606 [3] и патенте США №8 217 327 [4]. В патенте [4] заявлено устройство для получения изображения глубины, при этом устройство включает: модуль генерации первого луча, испускающего первый луч с первой длительностью импульса; модуль генерации второго луча, испускающего второй луч со второй длительностью импульса; модуль-приемник, принимающий первый отраженный луч, ассоциированный с первым лучом, и второй луч; и модуль-процессор, вычисляющий пролетное время (TOF) и значение глубины, соответствующее первому пикселу модуля-приемника, причем значение глубины определяется на основе нагрузки, поступившей от первого пиксела модуля-приемника, и на основе сравнения величины TOF для, по меньшей мере, одной из длительностей импульса - первой и второй.

Обычно, трехмерная камера, основанная на методе TOF, включает в себя осветительную оптическую систему для получения информации о глубине и отображающую оптическую систему для фиксации изображения объекта съемки. Отображающая оптическая система генерирует общее цветное изображение, считывая видимый свет, отраженный от объекта съемки, и одновременно генерирует изображение глубины, составленное только из информации о глубине, считывая осветительный свет, отраженный от объекта съемки.

С этой целью, отображающая оптическая система может отдельно включать объектив и датчик изображения для видимого света, а также объектив и датчик изображения для осветительного света, то есть, это структура с двумя датчиками и с двумя объективами (см., например, патент США №7560679) [5]. Однако, в структуре с двумя датчиками и с двумя объективами, у цветного изображения и изображения глубины получаются различные поля зрения, и таким образом, требуется отдельный процесс для точного совмещения этих двух изображений. В результате, габариты трехмерной камеры и производственные затраты весьма велики.

Проблема, на решение которой направлено заявляемое изобретение, состоит в разработке компактной отображающей оптической системы и 3D камеры с уменьшенными габаритами на основе такой системы.

Технический результат достигается за счет усовершенствованной конструкции отображающей оптической системы, которая включает в себя: объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, в свет первого диапазона длины волны и свет второго диапазона длины волны, и, соответственно, подачи света первого диапазона длины волны на первый датчик изображения и света второго диапазона длины волны на второй датчик изображения; и, по меньшей мере, один оптический элемент, расположенный между светоделителем и вторым датчиком изображения, подавая, таким образом, формирование изображения, при этом, по меньшей мере, один оптический элемент содержит, по меньшей мере, одну линзу Френеля и дифракционный оптический элемент (DOE).

Это имеет смысл, чтобы упомянутый оптический элемент включал в себя, по меньшей мере, две линзы Френеля, последовательно расположенные вдоль оптической оси между светоделителем и вторым датчиком изображения.

Альтернативно, упомянутый оптический элемент выполнен комбинированным и включает в себя первый оптический элемент и второй оптический элемент, последовательно расположенные вдоль оптической оси между светоделителем и вторым датчиком изображения, причем первый оптический элемент представлен линзой Френеля, и второй оптический элемент представлен DOE.

Первый оптический элемент может быть представлен коллиматором, выполненным с возможностью преобразования света, отраженного от светоделителя, в параллельные световые лучи, в то время как второй оптический элемент выполнен с возможностью формирования изображения за счет сведения параллельных световых лучей на второй датчик изображения.

Отображающая оптическая система может далее включать в себя оптический прерыватель (затвор), расположенный между оптическим элементом и вторым датчиком изображения и выполненный с возможностью модуляции и подачи света первого диапазона длины волны на второй датчик изображения.

Размер второго датчика изображения может быть меньше, чем размер первого датчика изображения, и свет первого диапазона длины волны может содержать видимый свет, а свет второго диапазона длины волны может содержать инфракрасный свет.

Светоделитель может быть выполнен с возможностью передачи света первого диапазона длины волны и отражения света второго диапазона длины волны.

Согласно другому варианту реализации изобретения, отображающая оптическая система включает в себя объектив; первый и второй датчики изображения, имеющие разные размеры; и светоделитель, выполненный с возможностью разделения света, фокусируемого объективом в свет первого диапазона длины волны и свет второго диапазона длины волны, и, соответственно, подающий свет первого диапазона длины волны на первый датчик изображения и свет второго диапазона длины волны на второй датчик изображения, при этом светоделитель отклонен на ≥45 градусов относительно оптической оси объектива.

Светоделитель может включать в себя первый набор мелких насечек, которые нанесены на светоприемную поверхность светоделителя, причем насечки имеют склоны в ≥45 градусов относительно оптической оси объектива; и второй набор мелких насечек, которые нанесены на световыводящую поверхность светоделителя, причем склоны второго набора насечек выполнены как дополняющие относительно насечек первого набора, и склоны первого набора и склоны второго набора параллельны один другому.

Светоделитель может далее включать в себя фильтр-разделитель длины волны, выполненный с возможностью передачи света первого диапазона длины волны и отражения света второго диапазона длины волны, при этом такой фильтр может быть выполнен в виде пленки, нанесенной поверх первого набора мелких насечек.

Светоделитель может включать в себя: первый отражающий дифракционный узор, нанесенный на светоприемную поверхность светоделителя и выполненный с возможностью передачи света первого диапазона длины волны с отражением света второго диапазона длины волны, и размещенный таким образом, что угол отражения отражаемого света второго диапазона длины волны равен приблизительно 45 градусам относительно оптической оси; а второй дифракционный узор нанесен на световыводящую поверхность светоделителя и выполнен как дополняющий относительно первого отражающего дифракционного узора.

Отображающая оптическая система может далее включать в себя, по меньшей мере, один оптический элемент, расположенный между светоделителем и вторым датчиком изображения, оптический элемент, формирующий изображение, которое попадает на второй датчик изображения, причем указанный оптический элемент включает, по меньшей мере, один линзу Френеля и дифракционный оптический элемент (DOE).

Согласно другому варианту реализации изобретения, отображающая оптическая система включает в себя объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, на свет первого диапазона длины волны и свет второго диапазона длины волны, выполненную с возможностью подавать свет первого диапазона длины волны на первый датчик изображения, а свет второго диапазона длины волны - на второй датчик изображения, причем светоделитель имеет вогнутую отражающую поверхность, покрытую фильтром-разделителем длины волны, выполненным с возможностью передачи света первого диапазона длины волны и отражения света второго диапазона длины волны.

Отображающая оптическая система может далее включать в себя выпуклое зеркало, выполненное с возможностью отражения света второго диапазона длины волны, отраженного светоделителем, и плоское зеркало, отражающее свет второго диапазона длины волны, отраженный выпуклым зеркалом, в направлении второго датчика изображения.

Отображающая оптическая система может далее включать в себя плоское зеркало, отражающее свет второго диапазона длины волны, отраженный светоделителем, и выпуклое зеркало, выполненное с возможностью отражения света второго диапазона длины волны, отраженного плоским зеркалом, в направлении второго датчика изображения.

Кроме того, отображающая оптическая система может включать в себя, по меньшей мере, один оптический элемент, расположенный между светоделителем и вторым датчиком изображения, причем данный оптический элемент выполнен с возможностью формирования изображения на вотором датчике изображения и состоит из, по меньшей мере, одной линзы Френеля и дифракционного оптического элемента (DOE).

Согласно другому варианту реализации изобретения, отображающая оптическая система включает: объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, на свет первого диапазона длины волны и свет второго диапазона длины волны, и подачи света первого диапазона длины волны на первый датчик изображения, а света второго диапазона длины волны - на второй датчик изображения, при этом светоделитель включает в себя первое дихроическое зеркало и второе дихроическое зеркало, причем зеркала расположены в верхней области и в нижней области, соответственно, относительно оптической оси объектива, причем первое дихроическое зеркало и второе дихроическое зеркало находятся в частичном контакте друг с другом вдоль оптической оси объектива и повернуты под предопределенным углом одно относительно другого, при этом первое дихроическое зеркало передает свет первого диапазона длины волны и отражает свет второго диапазона длины волны в направлении верхней области оптической оси, а второе дихроическое зеркало передает свет первого диапазона длины волны и отражает свет второго диапазона длины волны в направлении нижней области оптической оси.

Отображающая оптическая система может также включать в себя первое зеркало, которое обращено к первому дихроическому зеркалу и отражает свет первого диапазона длины волны, отраженный первым дихроическим зеркалом, в направлении второго датчика изображения; и второе зеркало, которое обращено к второму дихроическому зеркалу и отражает свет первого диапазона длины волны, отраженный вторым дихроическим зеркалом в направлении второго датчика изображения.

Отражающий дифракционный узор, выполненный с возможностью формирования изображения, может быть нанесен (сформирован) на отражающих поверхностях первого зеркала и второго зеркала.

Согласно еще одному варианту реализации изобретения, отображающая оптическая система включает в себя: объектив; первый и второй датчики изображения, имеющие разные размеры; светоделитель, выполненный с возможностью разделения света, сфокусированного объективом, на свет первого диапазона длины волны и свет второго диапазона длины волны и подающий свет первого диапазона длины волны на первый датчик изображения, а свет второго диапазона длины волны на второй датчик изображения; и оптоволоконную воронку (концентратор), расположенную между светоделителем и вторым датчиком изображения и имеющую светоприемную поверхность, превышающую по размерам световыводящую поверхность.

Отображающая оптическая система может также включать, по меньшей мере, один оптический элемент, расположенный между светоделителем и оптоволоконной воронкой и формирующий изображение, поступающее на второй датчик изображения, при этом оптический элемент включает в себя, по меньшей мере, одну линзу Френеля и дифракционный оптический элемент (DOE).

Оптический элемент может включать линзы Френеля, выполненные с возможностью преобразованию лучей света, поступающего от светоделителя, в параллельные лучи света, и оптоволоконную воронку, выполненную с возможностью формирования изображения путем сведения параллельных лучей на втором датчике изображения.

Оптический элемент может включать линзу Френеля, выполненную с возможностью преобразованию света от светоделителя в параллельные лучи света, и DOE, выполненный с возможностью формирования изображения путем сведения параллельных лучей света, и оптоволоконную воронку, выполненную с возможностью дополнительного формирования изображения, сформированного DOE.

Согласно другому варианту реализации изобретения, камера (аппарат), фиксирующая трехмерное (3D) изображение, включает в себя отображающую оптическую систему, источник освещения, выполненный с возможностью генерации световых лучей и облучения светом второго диапазона длины волны объекта съемки; процессор обработки сигнала изображения (ISP), выполненный с возможностью формирования трехмерного изображения за счет использования изображения, вышедшего из первого датчика изображения, и изображения, вышедшего из второго датчика изображения; и блок управления, выполненный с возможностью управления работой источника освещения и ISP.

Источник освещения может осуществлять облучение светом второго диапазона длины волны, имеющим предопределенный период и предопределенную форму волны, объекта съемки по командам блока управления.

Свет первого диапазона длины волны может включать в себя видимый свет, а свет второго диапазона длины волны может включать в себя инфракрасный свет, первый датчик изображения может генерировать цветное изображение, имеющее красный (R) компонент, зеленый (G) компонент, и синий (В) компонент для каждого пиксела, а второй датчик изображения может генерировать изображение глубины относительно расстояния между 3D камерой и объектом съемки.

ISP может вычислять расстояние между объектом съемки и 3D камерой для каждого пиксела путем использования выходящего изображения глубины из второго датчика изображения, объединять результаты вычисления с выходящим из первого датчика изображения цветным изображением, и, таким образом, генерировать 3D изображение.

Существо заявляемого изобретения станет очевидным и легче воспринимаемым из следующего описания примеров реализации со ссылками на соответствующие графические материалы.

Фиг.1 - концептуальная схема, иллюстрирующая отображающую оптическую систему и структуру 3D камеры, включающей отображающую оптическую систему согласно одному из вариантов реализации изобретения.

Фиг.2 - поперечное сечение, иллюстрирующее структуру оптического элемента по Фиг.1.

Фиг.3 - концептуальная схема, иллюстрирующая оптическую систему отображения, которая включает дифракционный оптический элемент (DOE), и структуру 3D камеры, включающей оптическую систему отображения согласно другому варианту реализации изобретения.

Фиг.4.1 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.4.2 - концептуальная схема, иллюстрирующая модификацию варианта реализации по Фиг.4.1.

Фиг.5 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.6.1 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.6.2 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.7.1 и 7.2 - виды сбоку и спереди, иллюстрирующие структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.7.3 - концептуальная схема, иллюстрирующая модификацию варианта реализации по Фиг.7.2.

Фиг.8 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.9 - общий вид волоконно-оптического концентратора (воронки) по Фиг.8.

Фиг.10 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации.

Фиг.1 - концептуальная схема, иллюстрирующая оптическую систему отображения и структуру 3D камеры 100, включающей в себя оптическую систему отображения согласно одному из вариантов реализации. На Фиг.1, 3D камера 100 включает источник 101 света, предназначенный для того, чтобы генерировать свет освещения (подсветку) с предопределенной длиной волны, объектив 102, предназначенный для того, чтобы фокусировать как видимый свет, так и свет освещения, которые отражаются от внешнего объекта съемки (не показан), первый датчик 103 изображения, предназначенный для того, чтобы генерировать цветное изображение за счет видимого света, фокусируемого объективом 102, модуль ПО изображения глубины, предназначенный для того, чтобы генерировать изображение глубины за счет света освещения, фокусируемого объективом 102, процессор 104 сигнала изображения ISP, предназначенный для того, чтобы генерировать трехмерное изображение за счет использования цветного изображения и изображения глубины; и блок 107 управления, предназначенный для того, чтобы управлять работой источника 101 света, первый датчик 103 изображения, модуль 110 изображения глубины, и ISP104. Кроме того, 3D камера 100 может далее включать блок 106 памяти, предназначенный для того, чтобы сохранять окончательное трехмерное изображение; и панель дисплея 105, предназначенного для того, чтобы демонстрировать окончательное трехмерное изображение.

Например, источник 101 света может представлять собой светоизлучающий диод (LED) или лазерный диод (LD), который способен генерировать света освещения (подсветки), в состав которого входит свет ближнего инфракрасного диапазона (NIR) с длиной волны порядка 850 нм, который безопасен и невидим для человеческого глаза. Однако, вышеупомянутые параметры источника света 101 приведены лишь в качестве примера и, следовательно, существует возможность применения подсветки в другом подходящем диапазоне длины волн, а также и различных типов источника света, в зависимости от конструкции. Кроме того, источник 101 света может, по командному сигналу, полученному из блока 107 управления, генерировать свет освещения (подсветку) с синусоидальной, пилообразной или приямоугольной формой волны и с конкретно определенной длиной волны.

Кроме того, модуль 110 изображения глубины может включать в себя светоделитель 111, который подает видимый свет на первый датчик 103 изображения путем передачи видимого света, сфокусированного объективом 102, и который отражает свет освещения (подсветку); второй датчик 115 изображения, который генерирует изображение глубины за счет получения свет освещения (подсветки), отраженного светоделителем 111; по крайней мере, по одному оптическому элементу 112 и 113, которые расположены между светоделителем 111 и вторым датчиком 115 изображения; и оптический прерыватель (затвор) 114, который расположен между вторым датчиком 115 изображения и оптическими элементами 112 и 113 и модулирует свет освещения (подсветки), используя форму волны с предопределенным коэффициентом усиления согласно методу «пролетного времени» (TOF).

Фильтр-разделитель длины волны, который передает свет в видимом световом диапазоне и отражает свет в ближнем инфракрасном диапазоне (NIR), может быть нанесен в виде покрытия на поверхности светоделителя 111. В схеме на Фиг.1, светоделитель 111 передает видимый свет и отражает свет подсветки, но это может быть видоизменено. В зависимости от конструкции, светоделитель 111 может передать свет подсветки и отражать видимый свет. В дальнейшем, для удобства описания, предполагается, что светоделитель 111 передает видимый свет и отражает свет подсветки.

В варианте реализации, представленном на Фиг.1, объектив 102, первый датчик 103 изображения, светоделитель 111, оптические элементы 112 и 113, оптический прерыватель (затвор) 114, и второй датчик 115 изображения могут образовывать оптическую систему отображения для 3D камеры 100. Для удобства, на Фиг.1 показана упрощенная структура, но объектив 102 может быть представлен вариообъективом, состоящим из нескольких групп линз. Первый датчик 103 изображения и второй датчик 115 изображения могут быть представлены полупроводниковыми устройствами отображения, такими как устройства с зарядовой связью (CCDs) или устройства с комплементарной логикой на транзисторах металл-оксид-полупроводник (CMOS). Как первый датчик 103 изображения, так и второй датчик 115 изображения имеют множество пикселов и преобразуют попадающий на них свет в электрический сигнал для каждого пиксела и затем выводят электрический сигнал.

У первого датчика 103 изображения для того, чтобы сформировать общее цветное изображение, может быть более высокая разрешающая способность, по сравнению со вторым датчиком 115 изображения, что обеспечивает возможность генерирования изображение глубины, содержащее только информацию о глубине. Таким образом, у второго датчика 115 изображения может быть меньший размер, чем у первого датчика 103 изображения. Кроме того, чтобы получить информацию о глубине относительно объекта съемки, оптический прерыватель 114 модулирует свет подсветки за счет использования формы волны с предопределенным коэффициентом усиления согласно методу TOF. Например, оптический прерыватель 114 может быть полупроводниковым модулятором на основе арсенида галлия (GaAs), выполненного с возможностью высокоскоростной работы в диапазоне от нескольких десятков до нескольких сотен МГц.

Когда размеры первого датчика 103 изображения и второго датчика 115 изображения неодинаковы, цветное изображение, сгенерированное первым датчиком 103 изображения, и изображение глубины, сгенерированное вторым датчиком 115 изображения, могут иметь разные поля зрения. То есть, первый датчик 103 изображения, имеющий больший размер, может сгенерировать цветное изображение с широким полем зрения, тогда как второй датчик 115 изображения может сгенерировать изображение глубины, имеющее узкое поле зрения. Таким образом, чтобы совместить поля зрения первого датчика 103 изображения и второго датчика 115 изображения, оптическая система отображения (увеличение у которой меньше 1), формирующая изображение, может быть расположена между светоделителем 111 и вторым датчиком 115 изображения. При этом изображение, сформированное оптической системой отображения, попадает на второй датчик 115 изображения, и поле зрения изображения, сгенерированного вторым датчиком 115 изображения, может быть расширено при формировании. Оптические элементы 112 и 113, приведенные на Фиг.1, функционируют в качестве оптической системы отображения.

Когда оптическая система отображения скомпанована как группа обычных преломляющих линз (то есть, выпуклых или вогнутых линз), то объем и вес такой оптической системы и 3D камеры 100 может возрасти и, соответственно, производственные затраты тоже могут возрасти. Таким образом, в данном варианте реализации, каждый из оптических элементов 112 и 113, которые функционируют в качестве оптической системы отображения, может быть выполнен в виде тонкого плоского оптического элемента, такого как линза Френеля или дифракционный оптический элемент (DOE). Фиг.1 иллюстрирует пример, в котором каждый из оптических элементов 112 и 113 представляет собой линзу Френеля.

Как показано на Фиг.2, у линзы Френеля имеется множество кривых поверхностей, распределенных в форме концентрических кругов на плоской пластине. По сравнению с обычной выпуклой линзой или вогнутой линзой, общий размер и вес линзы Френеля могут быть значительно меньшими, а фокусное расстояние может быть сделано очень коротким. Таким образом, при использовании линз Френеля в качестве оптических элементов 112 и 113, расстояние между светоделителем 111 и вторым датчиком 115 изображения может быть существенно уменьшено. В результате, имеется возможность уменьшить объем и вес 3D камеры 100 и снизить производственные затраты.

Фиг.1 иллюстрирует пример, в котором оптические элементы 112 и 113, выполненные в виде линз Френеля, расположены между светоделителем 111 и вторым датчиком 115 изображения. Например, как оптический элемент 112, выполненный в виде линзы Френеля, так и оптический элемент 113, выполненный в виде линзы Френеля, могут функционировать в качестве генераторов изображения. Альтернативно, оптический элемент 112 может функционировать как коллиматор, который преобразует свет, отраженный светоделителем 111, в параллельные лучи, а оптический элемент 113 может фомировать изображение путем сведения параллельных лучей света на второй датчик 115 изображения. Кроме того, в зависимости от требований к конструкции, могут использоваться как одна линза Френеля, так и три или более линз Френеля для получения точного изображения, в котором аберрация скомпенсирована.

Далее по тексту будет кратко описана работа 3D камеры 100. Во-первых, по команде с блока управления 107, источник света 101 облучает светом освещения (подсветкой), который представляет собой инфракрасный свет, объект съемки. Например, источник света 101 может излучать свет, имеющий предопределенный период и форму волны, в направлении объекта съемки, согласно методу TOF. После этого, свет подсветки, который является инфракрасным светом и отражается от объекта съемки, фокусируется объективом 102. В то же время, обычный видимый свет, отраженный от объекта съемки, также фокусируется объективом 102. Что касается света, фокусируемого объективом 102,.то видимый свет проходит через светоделитель 111 и затем попадает на первый датчик 103 изображения. Первый датчик 103 изображения подобен устройству отображения обычной фотокамеры и выполнен с возможностью формирования цветного изображения, имеющего красный (R) компонент, зеленый (G) компонент, и синий (В) компонент для каждого пиксела.

В том, что касается света, фокусируемого объективом 102, следует отметить, что свет подсветки, который представляет собой инфракрасный свет, отражается светоделителем 111 и затем поступает на оптические элементы 112 и 113. Как описано выше, функция оптических элементов 112 и 113 заключается в формировании изображения путем сведения лучей подсветки на втором датчике 115 изображения. Соотношение размеров изображения может определяться, исходя из соотношения размеров первого датчика 103 изображения и второго датчика 115 изображения. Свет подсветки, который сводится оптическими элементами 112 и 113, модулируют оптическим прерывателем (затвором) 114 и затем направляют на второй датчик 115 изображения. Оптический прерыватель 114 может модулировать свет подсветки путем использования формы волны (сигнала) с предопределенным коэффициентом усиления, имеющей тот же самый период, что и период света подсветки, согласно методу TOF.

Второй датчик 115 изображения генерирует изображение глубины, преобразовывая промоделированный света подсветки в электрический сигнал для каждого пиксела. Затем, изображение глубины, выходящее из второго датчика 115 изображения, может быть введено в процессор 104 сигнала изображения. Процессор 104 сигнала изображения может вычислить расстояние между объектом съемки и 3D камерой 100 для каждого пиксела посредством использования выходящего из второго датчика 115 изображения глубины и может объединить результаты вычисления с выходящим из первого датчика 103 цветным изображением, и, таким образом, может формировать трехмерное изображение. Трехмерное изображение может храниться в памяти 106 или может быть выведено на панель дисплея 105.

В варианте реализации по Фиг.1 оптические элементы 112 и 11 скомпонованы из линз Френеля. Однако, один из оптических элементов 112 и 11, которые образуют оптическую систему отображения, может быть выполнен в виде DOE, вместо линзы Френеля. Фиг.3 -концептуальная схема, иллюстрирующая оптическую систему отображения, включая DOE и структуру 3D камеры 100', включая оптическую систему отображения согласно другому варианту реализации.

Что касается Фиг.3, то 3D камера 100' может иметь структуру, в которой оптическая система отображения, включающая первый оптический элемент 112, выполненный в виде линзы Френеля, и третий оптический элемент 116, выполненныйв виде DOE, расположена между светоделителем 111 и вторым датчиком 115 изображения. Аналогично линзе Френеля, DOE имеет множество концентрических круговых узоров, которые нанесены на плоскую пластину. Однако, каждый из концентрических круговых узоров не имеет кривой поверхности, преломляющей свет, а имеет узор в виде дифракционной решетки, дифрагирующей свет. DOE может обеспечивать сведение лучей света в соответствии с формой узора дифракционной решетки, который расположен концентрически. Кроме того, как и линза Френеля, DOE может быть выполнен очень тонким и легким.

В варианте по Фиг.3, первый оптический элемент 112, выполненный в виде линзы Френеля, может функционировать как коллиматор, который преобразует свет, отраженный светоделителем 111, в параллельные лучи света, и третий оптический элемент 116, выполненный в виде DOE, может сформировать изображение путем сведения параллельных лучей света на втором датчике 115 изображения. Для этого первый оптический элемент 112, выполненный в виде линзы Френеля, может быть расположен на фокальной плоскости объектива 102.

Поскольку испускаемый свет непосредственно не сводится, а сводится только будучи преобразованным в параллельные лучи света, разница между центральной областью и периферийной областью изображения может быть уменьшена. Фиг.3 иллюстрирует пример оптической системы отображения, включающей только первый оптический элемент 112 и третий оптический элемент 116. Однако, в зависимости от предъявляемых к конструкции требований, оптическая система отображения может иметь структуру, в которой объединены три или больше линз Френеля и DOE. Остальная часть конфигурации и функций 3D камеры 100' по Фиг.3 является аналогичной таковым в 3D камере 100 по Фиг.1, поэтому их детальное описание здесь не приводится.

Фиг.4.1 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно другому варианту реализации. В вариантах по Фиг.1 и 3 светоделитель 111 выполнен в виде покрытия плоской поверхности слоем фильтра-разделителя длины волны. Вообще, светоделитель 111 наклонен, примерно, на 45 градусов относительно оптической оси объектива 102, и, таким образом, у переданного изображения и отраженного изображения количество одинаковое.

Однако, вариант по Фиг.4.1 может включать светоделитель 117, который наклонен больше, чем на 45 градусов, например, приблизительно, на 60 градусов, относительно оптической оси. Путем наклона светоделителя 117 на угол, превышающий 45 градусов, ширина оптической системы отображения может быть еще более уменьшена. Когда ширина оптической системы отображения уменьшается, расстояние между объективом 102 и первым датчиком 103 изображения может быть так же уменьшено, и, следовательно, ширину 3D камеры 100 и 100' можно тоже уменьшить. Кроме того, когда светоделитель 117 наклонен более, чем на, приблизительно, 45 градусов, изображение, посупающее на второй датчик 115 изображения, может быть уменьшено за счет светоделителя 117. Таким образом, в варианте по Фиг.4.1, первый оптический элемент 112 и третий оптический элемент 116 могут быть исключены.

Чтобы позволить изображению, переданному светоделителем 117, который наклонен более, чем на 45 градусов, достигнуть первого датчика 103 изображения, и позволить изображению, отраженному светоделителем 117, достигать второго датчика 115 изображения, как показано на Фиг.4.1, имеет смысл нанести на поверхность светоделителя 117 множество мелких насечек 117.1, имеющих приблизительно 45-градусные склоны относительно оптической оси. Например, если светоделитель 117 наклонен примерно на 60 градусов относительно оптической оси, то склоны насечек 117.1 могут иметь наклон около 15 градусов относительно светоприемной поверхности светоделителя 117. Таким образом, насечки 117.1 могут сохранять наклон в 45 градусов относительно оптической оси. Аналогично светоделителю 111 по Фиг.1 и 3, фильтр-разделитель длины волны, который передает свет в видимом световом диапазоне и отражает свет в диапазоне NIR, может быть нанесен в виде покрытия на поверхностях насечек 117.1.

Чтобы предотвратить расхождение света, прошедшего через светоделитель 117, на насечках 117.1, имеет смысл сформировать мелкие насечки 117.2 на световыводящей поверхности светоделителя 117. Например, насечки 117.2, сформированные на световыводящей поверхности светоделителя 117, могут иметь форму, комплементарную к насечкам 117.1, сформированным на светоприемной поверхности светоделителя 117. Таким образом, насечки 117.2, сформированные на световыводящей поверхности светоделителя 117, и насечки 117.1, сформированный на светоприемной поверхности светоделителя 117 могут быть параллельны одна другой.

В структуре светоделителя 117, свет, отраженный от одного из склонов насечек 117.1, может быть частично блокирован другим склоном насечек 117.1, который является к нему смежным. Однако, из-за того, что светоделитель 117 расположен вне области изображения, то есть, в нефокальной плоскости объектива 102, решетка из склонов насечек 117.1 не может оказывать влияния на окончательное изображение, фокусируемое на второй датчик 115 изображения. Кроме того, когда склоны насечек 117.1 являются достаточно малыми, оптическая интерференция между склонами насечек 117.1 может быть минимизирована таким образом, чтобы было возможно получить неискаженное отраженное изображение.

Остальная часть структуры оптической системы отображения, за исключением светоделителя 117, в Фиг.4.1 может быть такой же, как структура оптической системы отображения на Фиг.1 или Фиг.3. Например, оптические элементы 112 и 113, сформированные из линз Френеля, или первый оптический элемент 112 и третий оптический элемент 116, сформированный из линз Френеля и DOE, могут быть расположены между светоделителем 117 и вторым датчиком 115 изображения. Однако, из-за того, что изображение может быть сформировано за счет применения светоделителя 117, наклоненного на более, чем 45 градусов, в варианте по Фиг.4.1 можно исключить первый оптический элемент 112 и третий оптический элемент 116. Хотя на Фиг.4.1 показаны первый оптический элемент 112 и третий оптический элемент 116, сформированные из линз Френеля и DOE, это является лишь примером реализации.

Кроме того, вместо светоделителя 117, на котором расположена решетка из склонов насечек 117.1, снабженная нанесенным на нее покрытием, выполняющим функции фильтра-разделителя длины волны, как показано на Фиг.4.2, можно использовать светоделитель 117', в котором применены отражающие дифракционные узоры 117.3, выполняющие функцию разделения длины волны и функцию формирования изображения. Отражающие дифракционные узоры 117.3 могут выполнять ту же функцию, что и решетка из склонов насечек 117.1 с нанесенным на нее покрытием, выполняющим роль фильтра-разделителя длины волны, и могут также формировать изображение, дополняемое тем, что поступает от первого оптического элемента 112 и третьего оптического элемента 116.

Например, углы отражения, сформированные отражающими дифракционными узорами 117.3, могут быть единообразно выполнены со значением в 45 градусов относительно оптического угла объектива 102. Кроме того, чтобы предотвратить деформацию изображения, проходящего через светоделитель 117', на световыводящей поверхности светоделителя 117' могут быть нанесены дифракционные узоры 117.4. имеющие комплементарный характер по отношению отражающих дифракционных узоров 117.3. У дифракционных узоров 117.3 и 117.4 могут быть различные формы, соответствующие значению угла наклона светоделителя 117', диапазону длины волны передаваемого света, диапазону длины волны отражаемого света, размеру светоделителя 117', или прочим параметрам.

Фиг.5 - концептуальная схема, иллюстрирующая структуру оптической системы отображения согласно другому варианту реализации. Светоделители 111 и 117, приведенные на Фиг.1, 3, и 4.1, выполнены в виде плоских пластин. Однако, оптическая система отображения, показанная на Фиг.5, включает в себя светоделитель 118, имеющий вогнутую отражающую поверхность с нанесенным на нее покрытием в виде фильтра-разделителя длины волны. Таким образом, как показано на Фиг.5, светоприемная поверхность светоделителя 118 является вогнутой. Вогнутая отражающая поверхность обеспечивает схождение лучей света для того, чтобы светоделитель 118 мог дополнительно способствовать формированию изображения, попадающего на второй датчик 115 изображения. Кроме того, за счет использования светоделителя 118 с вогнутой отражающей поверхностью может быть уменьшена ширина оптической системы отображения.

Кроме того, как показано на Фиг.6.1 и 6.2, с целью компенсации искажений изображения, вызванных применением вогнутой отражающей поверхности светоделителя 118, между светоделителем 118 и оптическим элементом 112 целесообразно дополнительно поместить выпуклое зеркало 118.1. Например, как показано на Фиг.6.1, изображение, отражаемое светоделителем 118, может отражаться выпуклым зеркалом 118.1 и затем с помощью плоского зеркала 119 может отражаться в направлении второго датчика 115 изображения. Альтернативно, как показано на Фиг.6.2, изображение, отражаемое светоделителем 118, может отражаться плоским зеркалом 119 и затем может отражаться выпуклым зеркалом 118.1 в направлении второго датчика 115 изображения. В отличие от примера на Фиг.5, в примерах на Фиг.6.1 и 6.2 показано, что нет необходимости передавать изображение, отраженное светоделителем 118, непосредственно в направлении второго датчика 115 изображения. Таким образом, светоделитель 118 может быть наклонен еще сильнее. Кроме того, из-за того, что светоделитель, 118 с вогнутой отражающей поверхностью может формировать изображение, первый оптический элемент 112 и третий оптический элемент 116 может быть изъяты в примерах на Фиг.6.1 и 6.2.

Кроме того, чтобы еще более уменьшить ширину оптической системы отображения, можно использовать множество сложенных вместе светоделителей, вместо использования одного плоского светоделителя.

Фиг.7.1 и 7.2 - вид сбоку и спереди на структуру оптической системы отображения, согласно другому варианту реализации.

Что касается Фиг.7.1 и 7.2, то светоделитель 120, расположенный между объективом 102 и первым датчиком 103 изображения, может включать первое дихроическое зеркало 120.1 и второе дихроическое зеркало 120.2, которые расположены, соответственно, сверху и снизу оптической оси объектива 102. Как показано на виде сбоку (Фиг.7.1), первое дихроическое зеркало 120.1 и второе дихроическое зеркало 120.2 частично соприкасаются одно с другим на оптической оси, и сложены под предопределенным углом одно относительно другого. Например, первое дихроическое зеркало 120.1, расположенное в верхней области относительно оптической оси, передает видимый свет и отражает свет подсветки, который является инфракрасным светом, в направлении верхней области относительно оптической оси. При этом второе дихроическое зеркало 120.2, расположенное в нижней области относительно оптической оси, передает видимый свет и отражает свет подсветки, который является инфракрасным светом, в направлении нижней области относительно оптической оси. Таким образом, изображение в видимом свете, фокусируемом объективом 102, может проходить сквозь светоделитель 120 и затем попадать на первый датчик 103 изображения.

Чтобы передать изображение в инфракрасном свете на второй датчик 115 изображения, в котором инфракрасный свет отражается и разделяется на верхнюю область и нижнюю область первым дихроическим зеркалом 120.1 и вторым дихроическим зеркалом 120.2, в оптическую система отображения целесообразно дополнительно включить первое зеркало 121.1, обращенное к первому дихроическому зеркалу 120.1, и второе зеркало 121.2, обращенное к второму дихроическому зеркалу 120.2.

Что касается вида спереди, приведенного на Фиг.7.2, то первое зеркало 121.1 может отражать изображение, отраженное в направлении верхней области первым дихроическим зеркалом 120.1, в направлении второго датчика 115 изображения, а второе зеркало 121.2 может отражать изображение, отраженное в направлении нижней области вторым дихроическим зеркалом 120.2, в направлении второго датчика 115 изображения. Таким образом, инфракрасное изображение, разделенное на два изображения первым дихроическим зеркалом 120.1 и вторым дихроическим зеркалом 120.2, может рекомбинироваться во втором датчике 115 изображения первым зеркалом 121.1 и вторым зеркалом 121.2. Для этого, в отличие от предыдущих вариантов реализации, в которых второй датчик 115 изображения расположен ниже светоделителей 111, 117, и 118, а в варианте реализации на Фиг.7.1 и 7.2, второй датчик 115 изображения может быть расположен сбоку от светоделителя 120.

Как описано выше, при использовании составного (сложенного) светоделителя 120, ширина оптической системы отображения может быть уменьшена наполовину, по сравнению с вариантом использования одного плоского светоделителя. Кроме того, за счет замены первого дихроического зеркала 120.1 и второго дихроического зеркала 120.2 двумя светоделителями 117, снабженными насечками 117.1, как показано на Фиг.4.1, ширину оптической системы отображения можно еще более уменьшить. В варианте реализации на Фиг.7.1 и 7.2 изображение может быть сформировано первым дихроическим зеркалом 120.1 и вторым дихроическим зеркалом 120.2, а также первым зеркалом 121.1 и вторым зеркалом 121.2, за сче чего можно отказаться от первого оптического элемента 112 и третьего оптического элемента 116.

Кроме того, вместо того, чтобы использовать первое зеркало 121.1 и второе зеркало 121.2, как показано на Фиг.7.3, имеется возможность использовать зеркала 121.3 и 121.4, на которых сформированы отражающие дифракционные узоры 123.1 и 123.2, обеспечивающие получение изображения. Отражающие дифракционные узоры 123.1 и 123.2, которые сформированы на отражающих поверхностях зеркал 121.3 и 121.4, могут способствовать получению изображения с помощью первого оптического элемента 112 и третьего оптического элемента 116.

Фиг.8 - концептуальная схема, иллюстрирующая структуру оптической системы отображения, согласно еще одному варианту реализации. Как показано на Фиг.8, оптическая система отображения в данном варианте реализации может включать концентратор в виде волоконно-оптической воронки 122 вместо третьего оптического элемента 116, состоящего из DOE. Таким образом, у оптической системы отображения может быть структура, в которой оптическая система, включающая первый оптический элемент 112, выполненный в виде линзы Френеля, и волоконно-оптическую воронку 122, расположена между светоделителем 111 и вторым датчиком 115 изображения. Как показано на Фиг.9, в принципе, волоконно-оптическая воронка 122 имеет структуру, в которой коэффициент сжатия в светоприемной части пучка оптоволокна отличается от коэффициента сжатия в световыводящей части пучка оптоволокна, чтобы позволяет отличаться размеру входящего изображения отличаться от размера выходящего изображения. Например, когда светоприемная поверхность волоконно-оптической воронки 122 больше световыводящей поверхности волоконно-оптической воронки 122, волоконно-оптическую воронку 122 можно использовать для уменьшения размера изображения.

В варианте реализации по Фиг.8, волоконно-оптическая воронка 122 способна формировать изображения, поэтому первый оптический элемент 112 и третий оптический элемент 116 могут быть изъяты. Альтернативно, имеется возможность использования только первого оптического элемента 112, выполненного в виде линзы Френеля. В этом случае, первый оптический элемент 112, выполненный в виде линзы Френеля, может функционировать в качестве коллиматора, который преобразует свет, отраженный от светоделителя 111 в параллельные лучи света. Волоконно-оптическая воронка 122 может создавать изображение путем сведения параллельных лучей света, сформированных первым оптическим элементом 112, на втором датчике 115 изображения.

Как показано на Фиг.10, имеется возможность использовать волоконно-оптическую воронку 122 совместно с третьим оптическим элементом 116, выполненным в виде DOE. Например, первый оптический элемент 112, представляющий собой линзу Френеля, может преобразовать свет, отраженный из светоделителя 111, в параллельные лучи, третий оптический элемент 116, представляющий собой DOE, может сформировать изображение, и затем волоконно-оптическая воронка 122 может дополнительно способствовать формированию изображения.

Необходимо иметь в виду, что представленные здесь в качестве примеров варианты реализации изобретения, следует рассмотреть лишь как иллюстрацию, а не как ограничивающие признаки. Описания признаков или аспектов каждого варианта реализации надо рассматривать как основу для возможных модификаций в рамках изобретательского замысла.