Результат интеллектуальной деятельности: АДАПТИВНЫЙ СПОСОБ СОЗДАНИЯ И ПЕЧАТИ ЦВЕТНЫХ АНАГЛИФНЫХ ИЗОБРАЖЕНИЙ

Изобретение относится к области обработки изображений, а более конкретно изобретение относится к способам подготовки цветных анаглифных изображений для воспроизведения трехмерного эффекта на бумаге при помощи специальных стереоочков с различными цветными фильтрами.

Из уровня техники известны различные подходы к решению проблемы создания анаглифных изображений. Однако все эти решения описывают способы, использующие заранее известные функции спектрального пропускания очков и не принимающие во внимание соотношение очков и красок принтера между собой. Также эти способы не улучшают качество анаглифного изображения и не пытаются снизить эффект двоения (ghost-effect) при просмотре анаглифного изображения.

Существующие способы создания и печати трехмерных цветных анаглифных изображений имеют два типа артефактов: дефекты, связанные с некорректным преобразованием диспарантности (или глубины), и дефекты, связанные с неправильным смешиванием цветов. Отдельные способы решают проблему некорректной оценки диспарантности путем выравнивания стереопары, коррекции ее цветов и модификации карты диспарантности. При этом результаты выравнивания стереопар обеспечивают достаточно хорошее качество стереоизображения. Пользователи могут управлять этим процессом через пользовательский интерфейс. Например, они могут смещать изображения стереопары друг относительно друга, изменяя глубину трехмерного восприятия.

Тем не менее, вопрос о некорректном смешении цветов остается до сих пор открытым. Ключевым моментом является проблема согласования цвета анаглифного изображения со спектральными характеристиками очков и красками печатающего устройства. Все известные способы используют заранее известные функции спектрального пропускания, одни и те же для создания любых анаглифных изображений, в то время как цвета фильтров стереоочков очень разнообразны. В результате, если спектральные характеристики очков не полностью соответствуют краскам принтера, при просмотре анаглифного изображения через стереоочки присутствует эффект двоения. На данный момент не найдено простых путей решения данной проблемы, к тому же существующее программное обеспечение для создания анаглифных изображений не учитывает размер изображения при печати. Хотя очевидно, что и размер распечатанного изображения влияет на особенности трехмерного восприятия.

В качестве одного из наиболее перспективных следует упомянуть патент США 7680322 [1], который описывает способ печати изображений для просмотра при помощи стереоочков. Это реализуется при помощи генерации индивидуальных изображений для левого и правого глаза, выполнения процедуры выравнивания изображений и их модификации, а затем создания анаглифного изображения. Однако этот способ не позволяет производить адаптацию функций спектрального пропускания стереоочков в отношении цветов печатаемого анаглифного изображения, а также не выполняется выбор красок принтера для достижения наилучшего качества трехмерного восприятия анаглифного изображения. Тем не менее, данный способ наиболее близок к заявляемому изобретению и может рассматриваться в качестве прототипа.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке адаптированного для конкретных стереоочков способа синтеза анаглифных изображений и их печати с сохранением трехмерного восприятия для данных очков. При этом такой способ должен допускать возможность реализации в цветном печатающем устройстве или в программном обеспечении устройств печати.

Технический результат достигается за счет применения нового способа создания и печати цветных анаглифных изображений, при этом заявляемый способ состоит из следующих этапов:

- печатают тестовый цветной образец на печатающем устройстве, предназначенном для печати анаглифных изображений;

- проводят оценку функций спектрального пропускания левого и правого фильтров очков для напечатанного тестового образца;

- формируют (подготавливают) стереопару;

- генерируют анаглифное изображение для стереопары с учетом функций спектрального пропускания;

- печатают анаглифное изображение.

При формировании стереопары учитывают размер печатаемого анаглифного изображения и выполняют следующие шаги:

- выравнивают правое и левое изображения стереопары геометрически;

- корректируют цвета правого и левого изображений стереопары;

- размывают, по меньшей мере, один из двух цветовых каналов правого и левого изображения стереопары;

- оценивают карту диспарантности;

- модифицируют карту диспарантности с целью уменьшить значения диспарантности, превышающие порог;

- изменяют правое и левое изображения стереопары в соответствии с модифицированной картой диспарантности.

Формирование стереопары в случае необходимости выполняется альтернативным способом:

- выравнивают правое и левое изображения стереопары геометрически;

- корректируют цвета правого и левого изображений стереопары;

- размывают, по меньшей мере, один из двух цветовых каналов правого и левого изображения стереопары;

- оценивают карту глубины;

- модифицируют карту глубины с целью уменьшить диапазон глубин сцены, если он превышает заданный порог;

- изменяют правое и левое изображения стереопары в соответствии с модифицированной картой глубины.

Существует четыре основных отличия предлагаемого способа от существующих:

- выполняется пользовательская оценка функций спектрального пропускания фильтров очков и их дальнейшая аппроксимация функциями спектрального пропускания для существующих на рынке фильтров;

- создаются адаптивные анаглифные изображения из стереопары для конкретных очков;

- принимается во внимание размер печати анаглифного изображения при подготовке стереопары;

- при подготовке анаглифного изображения размываются цветовые каналы.

Фиг.1. Пример печати анаглифного изображения способами, известными ранее.

Фиг.2. Пример печати анаглифного изображения заявляемым способом.

Фиг.3. Блок-схема выполнения заявляемого способа.

Фиг.4. Схема системы, реализующей заявляемый способ.

Фиг.5. Цветной образец для оценки видимости/невидимости его цветов через фильтры очков.

Фиг.6. Блок-схема оценки функций спектрального пропускания для фильтров очков.

Фиг.7. Примеры оценок по шкале видимости/невидимости восприятия цвета.

Блок-схема основных шагов алгоритма представлена на Фиг.3. Первый шаг 301 - печать тестовото цветного образца (эталона или шаблона) на принтере. Образец содержит серию цветов, например, в виде таблицы на плоскости Цветовой тон (или просто цвет) от 0 до 360° / Насыщенность от 0 до 1 цветового пространства HSL. Это пространство достаточно хорошо представляет зависимость цвета от длины волны (λ). Колонки таблицы - цветовой тон со значениями, изменяющимися в диапазоне от 0° до 330° (шаг 10°). Ряды (строки) таблицы являются цветами с насыщенностью/чистотой от 1 до 0.2 (шаг 0.2). Затем на шаге 302 оцениваются характеристики пропускания фильтров очков для распечатанного образца. Данная процедура необходима для достижения наилучшей согласованности между фильтрами стереоочков и красками принтера. Допустим, имеется два фильтра красный и голубой. Для получения приближенной функции спектрального пропускания фильтров очков оценивается степень видимости/невидимости цветов на образце через левый, а затем правый фильтр. Процедура печати тестового цветного образца и оценки функций спектрального пропускания может быть выполнена один раз для данных стереоочков. Последовательность действий пользователя для оценки функций спектрального пропускания описана на Фиг.6. После установления уровней видимости пользователем определяется, к какой из функций спектрального пропускания реальных фильтров, выпускаемых в промышленности, ближе всего функция, полученная в результате оценки пользователем. Следующий шаг 303 заключается в формировании (или подготовке) стереопары, что включает в себя геометрическое выравнивание стереопары, коррекцию ее цветов, оценку карты глубины или диспарантности, размытие изображения по двум цветовым каналам и уменьшение диапазона значений карты диспарантности или карты глубин. После выполнения всех предварительных действий, на шаге 304, появляется возможность генерации анаглифного изображения с учетом функций спектрального пропускания фильтров стереоочков. Непосредственно генерация анаглифного изображения производится по проекционному методу, описанному в статье Eric Dubois "A projection method to generate anaglyph stereo images", Proc. of ICASSP, IEEE International Conference "Acoustic, Speech, and Signal Processing", vol.3, pp.1661-1664, 2001 [2]. После всех перечисленных действий анаглифное изображение печатают на шаге 305.

Таким образом, цветной образец, распечатанный на конкретном принтере, анализируется пользователем, который смотрит на него через стереоочки (через каждый их фильтр отдельно). Указанным способом можно создавать анаглифные изображения для любых стереоочков с цветными фильтрами, которые есть у пользователя. В этом случае анаглифные изображения будут обеспечивать хороший трехмерный эффект и иметь минимум артефактов как при просмотре на мониторе компьютера, так при печати на бумаге.

Блок-схема системы, реализующей заявляемый способ создания и печати цветных анаглифных изображений, представлена на Фиг.4. Такая система учитывает возможности современных устройств печати. Центральный процессор 401(ЦП) управляет всеми модулями системы. Созданные изображения распечатываются на принтере 402. Параметры способа задаются посредством модуля 403 пользовательского интерфейса. Существует несколько вариантов реализации пользовательского интерфейса. Созданное изображение хранится в оперативном запоминающем устройстве 404 (ОЗУ). Центральный процессор 401 управляет всеми модулями системы и выполняет создание анаглифного изображения посредством исполнения инструкций, хранимых в постоянном запоминающем устройстве 405 ПЗУ. Жесткий диск 406 опционально используется для хранения файлов изображений. Шина 407 данных обеспечивает передачу данных между модулями системы.

Для оценивания функции спектрального пропускания фильтров очков f₁(λ) и f_r(λ), где λ - длина волны, используется напечатанный на данном печатающем устройстве тестовый цветной образец (эталон или шаблон). В предпочтительном варианте изобретения печать цветного тестового образца на печатающем устройстве состоит из следующих этапов:

- печатают серию цветов с различными насыщенностью/ чистотой и цветовым тоном;

- печатают инструкцию для пользователя.

На Фиг.5 представлены тестовый цветной образец и инструкция пользователя по его использованию. Инструкция включает в себя, например, следующее: "Пожалуйста, просмотрите первый ряд образца через левый фильтр очков и для всех квадратов в ряду поставьте в соответствие оценки (от 0 до 5, 0 - полностью невидим, 5 полностью видим). Если в данном ряду не найдется невидимых квадратов, пожалуйста, последовательно переходите к следующим рядам пока не найдете ряд, в котором они имеются, и проведите оценки видимости, как описано ранее. Сделайте аналогичные действия для правого фильтра очков". Печать инструкции может быть выполнена как на той же странице, что и серия цветов, так и на обратной стороне страницы, а также на отдельной странице.

Образец содержит серию цветов, например, в виде таблицы на плоскости Цветовой тон (или просто цвет) от 0 до 360° / Насыщенность от 0 до 1 цветового пространства HSL. Это пространство наилучшим образом, в отличие от других цветовых пространств, представляет зависимость цвета от длины волны (λ). Колонки таблицы - цветовой тон со значениями, изменяющимися в диапазоне от 0° до 330° (шаг 10°). Ряды таблицы являются цветами с насыщенностью/чистотой от 1 до 0.2 (шаг 0.2). Например, очки с красным и голубым фильтрами являются наиболее распространенными. Для того чтобы получить функцию спектрального пропускания фильтров стереоочков необходимо оценить невидимость цветов из образца около красного и голубого цвета, наблюдая их через красный, а затем голубой фильтр соответственно. Если цвета сливаются с фоном, т.е. невидимы, то они полностью пропускаются фильтром. В общем случае способ оценки функций спектрального пропускания позволяет оценивать характеристики пропускания для любых типов стереоочков с любыми светофильтрами.

Функции спектрального пропускания левого и правого фильтра очков оценивают посредством выполнения следующих шагов:

- оценивают приблизительно функцию спектрального пропускания для левого фильтра очков по значениям, соответствующим выбору пользователем видимых и невидимых цветов на тестовом цветном образце при просмотре через левый фильтр;

- оценивают приблизительно функцию спектрального пропускания для правого фильтра очков по значениям, соответствующим выбору пользователем видимых и невидимых цветов на тестовом цветном образце при просмотре через правый фильтр;

- аппроксимируют приблизительные оценки функций спектрального пропускания ближайшими функциями реальных фильтров из заданного набора.

В предпочтительном варианте изобретения оценку функций спектрального пропускания фильтров очков для цветов, распечатанных на печатающем устройстве, выполняют следующим образом (см. Фиг.6). Обычно, цвет с цветовым тоном 10°±10° соответствует красному цвету с длиной волны 700 нм ±27.50 нм, голубой цвет =180°±10° соответствует голубому с длиной волны 495 нм ±5 нм, желтый цвет =50°±10° соответствует желтому с длиной волны 564 нм ±11 нм, зеленый цвет =120°±10° соответствует зеленому с длиной волны 530 нм ±5 нм. Оценка функций спектрального пропускания начинается с просмотра первого ряда тестового цветного образца (шаг 602). Первый ряд тестового цветного образца соответствует насыщенности/чистоте =1, светлоте =1 и цвету от 0° до 330°. Пусть левый фильтр стереоочков красный. Пользователю необходимо просмотреть на шаге 603 данный ряд через красный фильтр очков, принимая во внимание, что три квадрата с цветами =10°±10° (j=1, 2, 3) соответствуют красному цвету с некоторой вариацией длины его волны. Если цвет из диапазона 10°±10° (j=1, 2, 3) невидим (см. шаг 604), то максимум функции спектрального пропускания находится в диапазоне 700 нм ±27.50 нм (см. шаг 606), если цветные квадраты видны, то необходимо выбрать следующий ряд (см. шаг 605) с меньшей насыщенностью/чистотой и просмотреть этот ряд аналогично (см. шаги 603, 604). Если цвета все еще видимы, то необходимо выбрать для анализа ряд с наименьшей насыщенностью/чистотой (см. шаг 616). Максимальное значение функции спектрального пропускания зависит от выбора насыщенности/чистоты (номера ряда в тестовом цветном образце). Насыщенность/чистота =1; 0.8; 0.6; 0.4; 0.2 взаимно однозначно соответствуют максимумам функций спектрального пропускания =0.9; 0.85; 0.65; 0.50; 0.45. Когда определен ряд тестового цветного образца, то далее анализируют степень видимости каждого его цветного квадрата. Текущая позиция в выбранном ряду (номер квадрата в ряде) - j=1 (см. шаг 617). Если это не последняя позиция в ряду (см. шаг 618), пользователь должен проанализировать степень видимости цветного квадрата (см. шаг 619) и поставить оценку (от 5 до 0) каждому квадрату. Система оценок представлена на Фиг.7. Полностью невидимые цветные квадраты имеют оценку 5, полностью видимые - оценку 0. Каждой оценке 0, 1, 2, 3, 4, 5 в зависимости от максимального значения пропускаемости (MaxTrans) при текущей насыщенности/чистоте взаимно однозначно соответствует значение спектральной пропускаемости 0, 0.20, 0.45, 0.60, 0.85, 1.0. Далее необходимо перейти к следующей позиции ряда (см. шаг 621). Таким образом, выполняется оценка функции спектрального пропускания для красного фильтра данных очков.

Пусть правый фильтр стереоочков голубой. Для голубого фильтра оценка функции спектрального пропускания производится аналогичным образом. Значения голубого цвета находятся в диапазоне 180°±10° (495 нм ±5 нм). Пользователь должен повторить всю последовательность действий, как и в случае оценки функции спектрального пропускания красного фильтра, но в этом случае для выбора ряда следует обратить внимание на квадраты с цветовым тоном 180°±10° (j=18, 19, 20), которые соответствуют голубому цвету с некоторой вариацией длины волны (см. шаг 603). Все последующие шаги выполняются, как и в случае оценки функции спектрального пропускания красного фильтра стереоочков. Аналогично нужно действовать для любых цветных фильтров стереоочков.

Таким образом, получена приблизительная оценка функций спектрального пропускания. Непосредственное использование полученных функций при создании анаглифного изображения приводит к неправильному смешиванию цветов и соответственно низкому качеству восстановления трехмерных объектов на анаглифном изображении. Для того чтобы достичь высокого качества в предлагаемом способе создания анаглифных изображений используются известные функции спектрального пропускания реальных фильтров, выпускаемых в промышленности, например, могут быть использованы функции фильтров компании Roscolux (http://www.rosco.com/us/filters/roscolux.cfm) [3]. Поэтому аппроксимируют приблизительные оценки функций (f) спектрального пропускания ближайшими функциями (F_i) реальных фильтров из заданного набора Аппроксимация состоит из следующих шагов. Выбрать F_i как: - оценка позиций максимумов функций F_i, где F_i - функция спектрального пропускания для левого F_l или для правого F_r реального, например Roscolux, фильтра, f_i - функция оценки спектрального пропускания для левого f_l и правого f_r фильтров очков. Затем для максимумов соответствующих одинаковой длине волны необходимо применить следующее условие для выбора реального фильтра: - условие ближайшего значения пропускаемости.

Способ формирования или подготовки стереопары включает следующие шаги:

- выравнивают правое и левое изображения стереопары геометрически;

- корректируют цвета правого и левого изображений стереопары;

- размывают, по меньшей мере, один из двух цветовых каналов правого и левого изображения стереопары;

- оценивают карту диспарантности;

- модифицируют карту диспарантности с целью уменьшить значения диспарантности превышающие порог;

- изменяют правое и левое изображения стереопары в соответствии с модифицированной картой диспарантности.

Альтернативный способ подготовки стереопары включает в себя следующие шаги:

- выравнивают правое и левое изображения стереопары геометрически;

- корректируют цвета правого и левого изображений стереопары;

- размывают, по меньшей мере, один из двух цветовых каналов правого и левого изображения стереопары;

- оценивают карту глубины;

- модифицируют карту глубины с целью уменьшить диапазон глубин сцены, если он превышает заданный порог;

- изменяют правое и левое изображения стереопары в соответствии с модифицированной картой глубины.

В предпочтительном варианте изобретения подготовка стереопары производится следующим образом (см. Фиг.3). Геометрическое выравнивание стереопары выполняется так, как описано в статье Hsien-huang P. Wu and Chih-Cheng Chen "Projective Rectification with Minimal Geometric Distoration", pp.530, I-Tech, 2007 [4]; Коррекция цветов изображений стереопары выполняется путем нахождения соответствия гистограмм, как, например, описано (http://paulbourke.net/texture_colour/equalisation/) [5]. Оценка карты диспарантности реализуется, например, при помощи статистического метода, описанного в статье Hongshi Yan and Jian Guo Liu "Robust Phase Correlation Based Sub-pixel Disparity Estimation", 4th SEAS DTC Technical Conference - Edinburgh 2009 [6]. Карта диспарантности пересчитывается в карту глубин, и наоборот. По ряду причин иногда используют карту глубин, иногда карту диспарантности.

Два цветовых канала (красный и синий) левого и правого изображения стереопары размываются при помощи усредняющего фильтра. Параметры фильтра зависят от размера печатаемого анаглифного изображения. Зеленый цветовой канал не размывается, так как человеческий глаз лучше всего из всех цветов воспринимает зеленый.

Усредняющий фильтр:

,

где I(x, y) - значение интенсивности пикселя некоторого цветового канала (синего, красного, зеленого), I(x, y)∈[0; 255];

(x, y) - позиция пикселя на изображении, (x, y)∈A×B; A, B - размер изображения;

- среднее значение интенсивностей пикселей в некоторой прямоугольной окрестности с размерами N_x, N_y; размеры окрестности зависят от размера печатаемого анаглифного изображения;

(n_x, n_y) - позиция пикселя в окрестности для усреднения с размерами N_x×N_y, N_x×N_y⊂A×B.

Значения диапазона карты диспарантности уменьшаются в зависимости от размера печатаемого анаглифного изображения. Это необходимо для уменьшения эффекта двоения при просмотре анаглифного изображения через стереоочки, который образуется в результате интерференции отраженных от поверхности напечатанного анаглифного изображения волн:

,

где D(i,j) - значение диспарантности в позиции (i, j)∈A×B до преобразования, A, B - размер изображения;

- значение диспарантности в позиции после преобразования;

a и P константы, значения которых зависят от размера печатаемого анаглифного изображения, 0≤a≤1, 0<P<1.

При изменении размеров анаглифного изображения важно преобразовывать значения диспарантности для наилучшего качества трехмерного восприятия изображения. Изменение диспарантности выполняется нелинейно: увеличение размера изображения не должно приводить к огромным значениям диспарантности по сравнению с исходными значениями, уменьшение размера изображения не должно приводить к обнулению значений диспарантности и исчезновению эффекта трехмерности. Аналогичной коррекции может быть подвергнута карта глубины.

Кроме того, с помощью интерфейса пользователя можно выравнивать стереопару вручную, изменять параллакс с целью модификации глубины трехмерного изображения, оценивать характеристики пропускания и подбирать размер анаглифного изображения для печати.

В предпочтительном варианте изобретения анаглифное изображение генерируется из стереопары с помощью проекционного метода с учетом функций спектрального пропускания фильтров для данных стереоочков. Анаглифное изображение генерируется согласно формуле:

,

где x - позиция пикселя на изображении, x∈A×B; A, B - размер изображения, , , ,

F_l(λ) и F_r(λ) - функции спектрального пропускания реальных фильтров для левого и правого фильтров, λ - длина волны; W - матрица весовых коэффициентов размером 6×6,

- функции сложения цветов для стандартного колориметрического наблюдателя (спектральная чувствительность глаза), принятые международной комиссией по освещению, табличные значения которых можно узнать в Color Physics for Industry, Second Edition, Edited by Roderick McDonald, 1997 [7]. k=1, 2, 3 - индексы для каждой компоненты цвета (красный, зеленый, синий), d_j(λ) - спектральное распределение энергии одного из стандартных колориметрических излучений, табличные значения которого можно узнать в [7]. j=1, 2, 3 - индексы для каждой компоненты цвета (красный, зеленый, синий); V(x)=[V₁₁(x)V_l2(x)V_l3(x)V_r1(x)V_r2(x)V_r3(x)]^T, N - нормализующая матрица, необходимая для выполнения условия , , j=1, 2, 3 - индексы для каждой компоненты цвета, а именно, красный, зеленый, синий, , .

Таким образом, изобретение включает в себя адаптированный для конкретных стереоочков способ синтеза анаглифных изображений и их печать с сохранением трехмерного восприятия для данных очков. Способ может быть реализован в цветном печатающем устройстве или в программном обеспечении устройств печати.

Следует отметить, что указанный выше вариант выполнения изобретения изложен лишь с целью иллюстрации и специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.