Результат интеллектуальной деятельности: СИСТЕМА И СПОСОБ ПЕЧАТИ ИНТЕГРАЛЬНЫХ ФОТОГРАФИЙ, ОБЕСПЕЧИВАЮЩИХ ПОЛНЫЙ ПАРАЛЛАКС И ВЫСОКОЕ РАЗРЕШЕНИЕ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ (ВАРИАНТЫ)

Изобретение относится к области записи и восстановления трехмерного изображения, в частности относится к области записи и изготовления на основе цифровых изображений интегральных фотографий, позволяющих при их просмотре воспроизводить цветное объемное изображение объектов.

Распространение технологий формирования объемных изображений в современном мире уже привело к созданию ряда новых бытовых устройств, позволяющих преобразовывать и воспроизводить трехмерные изображения. В первую очередь, это фотокамеры и стереоскопические дисплеи. Дальнейшее распространение 3D технологий для совершенствования цифровых устройств, которые сопровождают нас ежедневно, должно привести к появлению печатающих систем наподобие принтеров, которые на основе цифровых изображений записывают на твердый носитель трехмерное изображение объектов. Объемное изображение с реалистичным трехмерным эффектом должно возникать при просмотре этого носителя невооруженным глазом с расстояния наилучшего зрения.

Из уровня техники известны два основных подхода к способам записи и формирования трехмерных изображений на твердых носителях:

1. запись и восстановление голограммы;

2. запись и воспроизведение интегральной фотографии.

В классическом голографическом подходе на фоточувствительный материал записывается интерференционная картина опорного и предметного световых полей. Восстановление трехмерного изображения предмета происходит в результате дифракции опорной световой волны на структуре, записанной в фотоматериале.

Несмотря на то, что запись голограммы является перспективным способом восстановления трехмерного изображения, обеспечивающим полный параллакс и высокое разрешение, распространению данной технологии в производстве печатающих устройств для массового потребления мешает целый ряд факторов. К ним относится, в частности, необходимость использования при записи нескольких источников когерентного излучения, к которым предъявляются высокие требования одновременно по мощности, длине когерентности и компактности [1]. Кроме того, запись голограммы требует создания специальных условий, так как дифракционные свойства записанного фотоматериала, а значит, и качество восстанавливаемого изображения, очень чувствительны к случайным вибрациям. Ввиду того, что микроструктура голограммы является селективной по длинам волн падающего излучения, корректная передача цветов восстановленного изображения также сопряжена с рядом трудностей.

Запись и воспроизведение трехмерного изображения методом интегральной фотографии известны более ста лет [2, 3]. В классическом варианте на стадии записи фоточувствительный материал, на поверхности которого расположен линзовый растр (двумерный массив микролинз), располагается вблизи объекта и экспонируется рассеянным от объекта светом. В результате каждая микролинза строит на фотоматериале изображение объекта или его части с определенного ракурса, который определяется взаимным положением микролинзы и объекта. На стадии воспроизведения трехмерного изображения фотоматериал после обработки снова помещается за линзовый растр точно в такое же положение, в каком он находился при записи, и подсвечивается внешним источником. При этом каждая из микролинз строит изображение объекта или его части, и над поверхностью линзового растра формируется его интегральное трехмерное изображение. Отличительной особенностью данного способа записи и восстановления трехмерного изображения является использование некогерентного излучения, умеренные требования к условиям записи интегральной фотографии, передача цветов, зависящая только от особенностей фотоматериала, и эффект реального трехмерного изображения, определяемый параметрами линзового растра и разрешением фотопечати. Возможности промышленного изготовления линзового растра с параметрами, обеспечивающими высокое качество восстановления трехмерного изображения, появились только в последние десятилетия. Размер микролинз с диаметром ~0,5-0,7 мм и фокусным расстоянием ~0,7-2,0 мм позволяет обеспечить угол обзора и глубину изображения, достаточные для достижения реалистичного трехмерного эффекта. При этом повышаются требования к пространственному разрешению изображения под микролинзой. Очевидным упрощением данной технологии является использование лентикулярного растра вместо линзового [4]. Однако качество воспроизводимого трехмерного изображения ухудшается. В результате такой замены параллакс изображения достигается только в одном направлении. Использование для печати изображений под микролинзами цифровых принтеров снижает качество восстанавливаемого изображения за счет недостаточно высокого разрешения цифровой печати и трехмерный эффект за счет небольшого количества передаваемых ракурсов.

Современные системы печати трехмерных изображений на твердых носителях должны также обеспечивать возможность записи трехмерной информации на основе ряда цифровых изображений объекта.

Так, например, современная технология создания голограмм в принципе не требует существования самого предмета на стадии записи. На твердый носитель в этом случае тем или иным способом записывается предварительно рассчитанная дифракционная структура (цифровая голограмма) [5], которая при взаимодействии с опорным световым полем позволяет восстановить трехмерное изображение предмета, или ряд дифракционных структур, соответствующих различным ракурсам предмета, которые во время записи последовательно передаются на цифровое проекционное устройство [1]. В патентной заявке США №US 20080151340 [9] описана система печати голограмм на основе ряда цифровых изображений объекта: так называемый “голографический 3D-принтер”. Цифровые изображения, соответствующие различным ракурсам предмета, могут быть при этом зарегистрированы как при помощи фотокамеры, так и сгенерированы численными методами. Таким образом, топографическая технология обеспечивает создание печатающего устройства, позволяющего на основе ряда цифровых изображений объекта создать голограмму на твердом носителе, позволяющую восстановить качественное трехмерное изображение объекта с высоким разрешением. Однако сложность таких устройств за счет высоких требований к условиям записи голограммы затрудняет их широкое распространение.

Современная упрощенная лентикулярная технология создания интегральной фотографии также позволяет записывать трехмерные изображения на твердый носитель на основе цифровых изображений. Так, например, в патенте США №6460993 представлена система и метод печати лентикулярных трехмерных изображений. Система печати состоит из нескольких модулей: подсистемы компьютерной обработки многоракурсной съемки, подсистемы печати набора элементарных изображений и подсистемы ламинирования страницы с напечатанным набором элементарных изображений лентикулярным растром. В процессе работы представленной системы печати ряд цифровых изображений объекта с различных ракурсов поступает в подсистему компьютерной обработки, которая формирует из них единое изображение, объединяющее в себе отдельные ракурсы объекта. Такое объединение происходит по алгоритму, необходимому для лентикулярного метода печати. На область изображения, которая попадает под одну лентикулярную линзу, записывается весь набор ракурсов, относящийся к определенной области объекта. Скомпонованное таким образом лентикулярное изображение печатается на листе бумаги при помощи цифрового принтера. Для воспроизведения трехмерного изображения объекта распечатанный лист ламинируется лентикулярным растром. Описанная система и способ печати могут рассматриваться в качестве прототипа настоящего изобретения. Система печати, основанная на лентикулярной технологии, не обеспечивает качественного воспроизведения трехмерного изображения из-за одномерного параллакса и невысокого разрешения цифрой печати (не более 9600 dpi в монохромном варианте), которое позволяет воспроизводить весьма ограниченный набор ракурсов.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке печатающей системы и способа печати интегральных фотографий на основе ряда цифровых изображений объекта, обеспечивающей полный параллакс и высокое разрешение трехмерного изображения, сравнимое с разрешением изображения при восстановлении голограммы. При этом предъявление существенно более мягких требований к условиям записи интегральной фотографии по сравнению с требованиями к условиям записи голограммы должно обеспечить надежность всей системы в целом.

Поставленная задача решается путем разработки в двух вариантах способа печати цветных интегральных фотографий и соответствующих двух вариантов системы печати, в которой изображения под микролинзами печатаются проекционным способом на фотоматериале, обеспечивающем высокое пространственное разрешение. При этом предлагаются два варианта реализации проекционного модуля системы, обеспечивающего монохромную или цветную печать, и два варианта реализации системы сканирования с перемещением фотоматериала или с перемещением записывающего луча.

Технический результат достигается за счет разработки системы печати (в двух вариантах) и двух вариантов способа печати интегральных фотографий на фотоматериале, обеспечивающем высокое, вплоть до 35000*35000 dpi, пространственное разрешение, а также двух вариантов реализации проекционного модуля и двух вариантов реализации системы сканирования, которые являются основными узлами заявляемой системы печати. При этом все заявляемые варианты связаны единым изобретательским замыслом.

Разработанная система печати интегральных фотографий объединяет в себе оптико-механическое оборудование, программное обеспечение и содержит в Варианте 1:

- модуль управления, обеспечивающий согласованную работу основных узлов системы во время печати;

- модуль генерирования изображений под микролинзами на основе трехмерной модели объекта;

- проекционный модуль, обеспечивающий локальное экспонирование фотоматериала в месте расположения каждой из микролинз и запись на него сгенерированных микроизображений;

- систему сканирования, обеспечивающую последовательную запись сгенерированных микроизображений на фотоматериал;

- узел ламинирования, завершающий изготовление интегральной фотографии, в котором проэкспонированный и обработанный фотоматериал покрывается линзовым растром.

В Варианте 1 способ печати интегральных фотографий с высоким разрешением предусматривает выполнение следующих операций:

- генерирование изображений под микролинзами на основе трехмерной модели объекта;

- последовательное локальное экспонирование фотоматериала в месте расположения каждой из микролинз и запись на него сгенерированных микроизображений;

- обработка экспонированного фотоматериала и его ламинирование линзовым растром.

В Варианте 2 система печати интегральных фотографий содержит:

- модуль управления, обеспечивающий согласованную работу основных узлов системы во время печати;

- модуль построения трехмерной модели объекта на основе ряда двумерных цифровых изображений, зарегистрированных с разных ракурсов;

- модуль генерирования изображений под микролинзами на основе трехмерной модели объекта;

- проекционный модуль, обеспечивающий локальное экспонирование фотоматериала в месте расположения каждой из микролинз и запись на него сгенерированных микроизображений;

- систему сканирования, обеспечивающую последовательную запись сгенерированных микроизображений на фотоматериал;

- узел ламинирования, завершающий изготовление интегральной фотографии, в котором проэкспонированный и обработанный фотоматериал покрывается линзовым растром.

В Варианте 2 способ печати интегральных фотографий с высоким разрешением предусматривает выполнение следующих операций:

- построение трехмерной модели объекта на основе ряда двумерных цифровых изображений, зарегистрированных с разных ракурсов;

- генерирование изображений под микролинзами на основе трехмерной модели объекта;

- последовательное локальное экспонирование фотоматериала в месте расположения каждой из микролинз и запись на него сгенерированных микроизображений;

- обработка экспонированного фотоматериала и его ламинирование линзовым растром.

Для лучшего понимания сути изобретения описанию сопутствуют следующие иллюстрации:

Фиг.1 - Иллюстрация, поясняющая предлагаемый способ создания интегральной фотографии;

Фиг.2 - Блок-схема системы печати интегральных фотографий с высоким разрешением в Варианте 1;

Фиг.3 - Блок-схема системы печати интегральных фотографий с высоким разрешением в Варианте 2;

Фиг.4 - Оптическая схема проекционного модуля для монохромного варианта печати и системы сканирования с перемещением фотоматериала;

Фиг.5 - Оптическая схема проекционного модуля для цветного варианта печати и системы сканирования с перемещением фотоматериала;

Фиг.6 - Оптическая схема проекционного модуля для монохромного варианта печати и системы сканирования с перемещением проекционного луча:

Фиг.7 - Оптическая схема проекционного модуля для цветного варианта печати и системы сканирования с перемещением проекционного луча,

Фиг.8 - Блок-схема способа печати интегральных фотографий с высоким разрешением в Варианте 1, где приведены этапы 80-85 реализации данного способа;

Фиг.9 - Блок-схема способа печати интегральных фотографий с высоким разрешением в Варианте 2, где приведены этапы 90-95 реализации данного способа.

На Фиг.1 показана иллюстрированная схема предлагаемого способа создания интегральной фотографии. Изображения под микролинзами 12 генерируются численными методами на основе трехмерной модели объекта 11 и передаются на проекционную систему для записи на фотоматериал 13. В первом варианте реализации системы для генерации изображений под микролинзами используется готовая трехмерная модель объекта, во втором варианте реализации система печати содержит дополнительный программный модуль, позволяющий воссоздать трехмерную модель на основе ряда двумерных цифровых изображений объекта, зарегистрированных с разных ракурсов. После того как изображения под микролинзами сгенерированы, проекционная система и система сканирования обеспечивают их последовательную запись на фотоматериал 13 в положения, соответствующие микролинзам. Записанный и обработанный фотоматериал ламинируется (покрывается) линзовым растром 14 в узле ламинирования системы, после чего интегральная фотография готова к использованию.

Заявляемое изобретение реализуется за счет объединения в систему печати программного обеспечения и оптико-механического оборудования.

Программный модуль построения трехмерной модели объекта на основе ряда специально подготовленных его цифровых изображений, который является частью разработанной системы печати в Варианте 2, позволяет формировать трехмерную модель сцены одним из следующих способов или их комбинацией:

1) 3D моделирование с помощью программных средств систем автоматизированного проектирования CAD (Computer Aided Design) / CAM (Computer Aided Manufacturing) [6];

2) Оцифровка сцены/объекта с помощью 3D сканера [7];

3) Реконструкция 3D модели с помощью методов пассивного/активного стереозрения и/или многоракурсной съемки [8].

В предпочтительном варианте реализации предлагаемой системы трехмерная модель сцены строится методом многоракурсной съемки (не менее трех ракурсов) помощи стереокамеры с базой, равной 17 см.

На Фиг.2, Фиг.3 показаны блок-схемы системы печати интегральных фотографий с высоким разрешением. Модуль генерирования под микролинзами на основе трехмерной модели сцены 2 позволяет рассчитать ракурсы трехмерного объекта для заранее известных точек наблюдения и синтезировать изображения под микролинзами, которые обеспечат формирование ракурсов. На вход данного модуля поступает или готовая цифровая трехмерная модель сцены (система печати в Варианте 1), или трехмерная модель, которая формируется в модуле построения трехмерной модели 31 (система печати в Варианте 2). Каждой микролинзе из микролинзового массива ставится в соответствие соответствующее изображение/ракурс. Пространственное положение, размер, фокусное расстояние и другие параметры каждой микролизы задают параметры виртуальной камеры, которая используется в процессе проецирования трехмерной модели сцены для формирования ракурсов. Необходимые параметры для моделирования виртуальной камеры и проекционного преобразования М задаются с помощью матриц внутренних и внешних параметров. Матрица внутренних параметров имеет следующий упрощенный вид:

,

где (f_x, f_y) - фокусное расстояние, соответствующее параметрам микролинзового массива, (х₀, у₀) - координаты центра изображения. Матрица внешних параметров [R 11] задает пространственное положение и ориентацию виртуальной камеры относительно мировой системы координат, где R и t - матрица вращения и вектор смещения, соответствующие положению микролинзы, для которой происходит формирование ракурса. Далее вычисляется проекционная матрица M=K·[R|t], которая переводит любую точку 3D модели в точку на ракурсном изображении. Таким образом, проецирование всех точек 3D модели формирует соответствующее изображение/ракурс для каждой микролинзы. На выходе модуля генерирования изображений формируется ряд микроизображений с размерами, равными размеру микролинз в линзовом растре. Количество сгенерированных микроизображений равно количеству микролинз в растре, и каждое микроизображение взаимно однозначно соответствует каждой микролинзе линзового растра. В предпочтительном варианте реализации предлагаемой системы генерирование микроизображений осуществляется для печати на фотоматериале формата А4 покрытым линзовым растром с периодом - 0.6 мм и фокусным расстоянием отдельной микролинзы - 1 мм. Точки наблюдения располагаются на расстоянии наилучшего зрения от поверхности линзового растра. Рассчитанные микроизображения передаются в проекционный модуль 4 для печати на фотоматериал.

Назначение проекционного модуля системы печати состоит в формировании на фотоматериале ряда рассчитанных микроизображений с высоким пространственным разрешением. Последовательную запись сгенерированных микроизображений на фотоматериал обеспечивает система сканирования 5. После экспонирования и обработки (в случае необходимости) фотоматериал поступает в узел ламинирования 6, где осуществляется его покрытие линзовым растром.

Варианты проекционного модуля и его компоновки с системой сканирования показаны на Фиг.4-7. Основными элементами проекционного модуля являются: LCOS (Liquid Cristal On Silicon) матрица 3 или система из трех LCOS матриц, на которые последовательно передаются микроизображения для записи на фотоматериал; система подсветки LCOS матрицы (матриц), в излучения 1 с широким спектром в диапазоне длин волн 400-700 нм, коллимирующий микрообъектив 1, формирующий параллельный пучок для освещения LCOS матрицы (матриц), светоделительную призму (призмы) 4 и проекционный микрообъектив 5, проецирующий изображение с LCOS матрицы (матриц) на фотоматериал. На Фиг.4, 6 показаны варианты реализации проекционной для монохромной печати, содержащей только одну LCOS матрицу. На Фиг.5, 7 показаны варианты реализации проекционной системы для цветной печати, содержащей три LCOS матрицы.

Проекционный модуль системы печати интегральных фотографий в монохромном варианте, реализации которого приводятся на Фиг.4, 6, работает следующим образом. Излучение от источника 1 попадает на коллимирующий объектив 2, который коллимирует излучение в плоскопараллельный пучок и направляет его на светоделительную призму 4. Светоделительная призма 4 направляет падающее излучение на LCOS матрицу 3, которая формирует под каждую микролинзу элементарное микроизображение в отраженном свете. Это изображение через светоделительную призму 4 проецируется на соответствующий участок фотоматериала 6 при помощи проекционного объектива 5. Проекционный модуль для цветной печати, варианты реализации которого показаны на Фиг.5, 7, работает таким же образом и содержит дополнительно светоделительные призмы 41, 42, 43, предназначенные для разделения излучения, падающего на три соответствующие LCOS матрицы 31, 32, 33. Каждая из этих LCOS матриц создает изображение в одном из основных цветов R (Red), G (Green), В (Blue), соответственно.

Основными параметрами проекционного модуля, определяющими качество записываемого на фотоматериал микроизображения, являются размер пикселя LCOS матрицы (матриц) 3 и пространственное разрешение, которое обеспечивает проекционный микрообъектив 5. В предпочтительном варианте реализации изобретения размер пикселя LCOS матрицы составляет 20-50µ, пространственное разрешение, обеспечиваемое проекционным микрообъективом, не хуже 2µ.

Последовательную запись сгенерированных микроизображений на фотоматериал обеспечивает система сканирования, которая при помощи модуля управления обеспечивает согласованные взаимные смещения проекционного луча и фотоматериала. При этом система сканирования может быть независимой, когда осуществляется перемещение фотоматериала 6 при помощи шагового двигателя 7 в плоскости, перпендикулярной проекционному лучу, как показано на Фиг.4, 5, а может являться частью проекционной системы, когда перемещение проекционного луча обеспечивается пошагово вращающейся шестигранной призмой 8 с отражающими гранями Фиг.6, 7. В вариантах реализации системы сканирования, показанных на Фиг.6 и Фиг.7, синхронно с поворотами шестигранной призмы осуществляется фокусировка проекционного микрообъектива 5 на фотоматериал. Система сканирования обеспечивает взаимные смещения фотоматериала и экспонирующего луча с шагом, равным диаметру микролинзы в линзовом растре.

Таким образом, элементарный цикл записи одного микроизображения на фотоматериал, поддерживаемый системой управления, предусматривает выполнение следующих действий: смену изображения на LCOS матрице (матрицах) 3; взаимное перемещение фотоматериала 6 и проекционного луча, обеспечиваемое системой сканирования в положение, соответствующее текущему микроизображению; проецирование изображения с LCOS матрицы (матриц) 3 на фотоматериал 6.

После экспонирования и обработки (в случае необходимости) фотоматериал поступает в узел ламинирования, где осуществляется его покрытие линзовым растром. Механическая система обеспечивает совмещение фотоматериала и линзового растра таким образом, чтобы каждое из микроизображений располагалось под соответствующей ему микролинзой. Фотоматериал и линзовый растр взаимно фиксируются для создания единой конструкции интегральной фотографии.

Восстановление трехмерного изображение объекта происходит путем подсветки интегральной фотографии внешним источником при наблюдении ее с заданного расстояния.

Заявляемое изобретение может найти практическое применение при конструировании печатающих систем и способов печати интегральных фотографий, обеспечивающих высокое разрешение трехмерного изображения.

Вышеприведенное описание вариантов реализации заявляемого изобретения дано в качестве иллюстрации, и специалистам в данной отрасли техники должно быть очевидно, что на практике возможны и другие модификации заявляемого изобретения, при этом объем испрашиваемых прав определяется нижеследующей формулой изобретения и материалами описания.

Ссылки

[1] - S.Maruyama, Y.Ono, M.Yamaguchi, "High-density recording of full-color full-parallax holographic stereogram, "Practical Holography XXII: Materials and Applications, Proc. SPIE, 6912, 69120N-1-10 (2008);

[2] - G.Lippmann, La photographie integrale, Comptes-Rendus, Vol:146, pp.446-451, 1908;

[3] - R.Martinez-Cuenca, H.Navarro, G.Saavedra, B.Javidi, and M Martinez-Corrall, "Enhanced viewing-angle integral imaging by multipleaxis telecentric relay system". OPTICS EXPRESS, Vol.15, No. 24, 26, November 2007;

[4] - O'Brien, Katherine, "As big as all outdoors". American Printer (August 1, 2006). http://americanprinter.com/mag/printing_big_outdoors/. Retrieved 2008-06-04. http://americanprinter.com/mag/prmting_big_outdoors/;

[5] - S.K.Case and W.J.Dallas, "Volume holograms constructed from computer-generated masks". Applied Optics, Vol.17, #16, 15 August 1978;

[6] - Giovanna Sansoni, Marco Trebeschi and Franco Docchio, State-of-The-Art and Applications of 3D Imaging Sensors in Industry, Cultural Heritage, Medicine, and Criminal Investigation. Sensors 2009, Vol.9, 568-601;

[7] Corner B.D, Li P, Tocheri M. (Eds.), Three-Dimensional Image Capture and Applications VI, Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol.6056, San Jose (CA), USA;

[8] - V.Bucha et al., Method for disparity estimation for real-time applications from multiple video streams, RU patent application 2010103906;

[9] - Patent Application US №20080151340 "Holographic Printer".