Способ регистрации изображения с повышенным разрешением

Изобретение относится к средствам регистрации и обработки изображений и может быть использовано при мониторинге поверхности земли, в микроскопии, контроле качества на производстве.

Известен способ повышения разрешения при получении стереоскопических малоразмерных объектов реализованный в устройстве (патент RU №173576, МПК G03B 35/08 (2006.01) H04N 13/00 (2006.01), дата приоритета 03.02.2015, дата публикации 31.08.2017). В данном способе лучи от лазера освещают поверхность объекта и попадают в два телеобъектива. Телеобъективы формируют изображение с двух ракурсов. При перемещении телеобъективов осуществляется получение стереоизображения объекта. Повышение разрешающей способности в установке, в которой применяется данный способ, достигается за счет уменьшения поля обзора. Недостатками данного способа является его ограниченная область применения, то есть те области, где осуществляется регистрация изображений объектов малых размеров. Также к недостаткам способа можно отнести узкий спектральный диапазон лазерного излучения, из-за чего данный способ позволяет получить только монохромные изображения. Так же недостатком данного способа, возможно, считать принудительное внешнее освещение объекта лазерным лучом.

Известен способ улучшения качества распознавания за счет повышения разрешения изображений (патент RU №2538941 С1, МПК G06K 9/72 (2006.01) G06T 5/50 (2006.01), дата приоритета 14.06.2013, дата публикации 10.01.2015). Данный способ основан на повышении разрешения путем получения серии изображений или последовательности видеокадров объекта; выбор изображения или видеокадра-аккумулятора и выполнение оценки перемещения элементов объекта относительно выбранного изображения или видеокадра-аккумулятора, по крайней мере, для одной полученной серии изображений или последовательности видеокадров; осуществление на основании проведенной оценки перемещения компенсации перемещения и накопление сигнала элементов объекта на основе выбранного изображения или видеокадра-аккумулятора, по крайней мере, для одной серии изображений или видеокадров; создание скомпенсированного изображения объекта высокого разрешения, полученного на основе компенсации и накопления сигнала; и осуществление распознавания объекта в полученном скомпенсированном изображении. К недостаткам данного способа можно отнести достаточно большую вычислительную сложность, что затрудняет реализацию на мобильных устройствах, отсутствие информации о движении камеры, что влечет за собой необходимость оценивания ее перемещений на основе полученных изображений. В процессе оценки движения камеры могут возникнуть значительные случайные и систематические ошибки, в результате которых в полученном изображении после применения данного способа будут внесены искажения.

Наиболее близким по технической сущности и принятый за прототип является способ увеличения разрешения в фотографии, реализуемый в полезной модели «Устройство для увеличения разрешения в фотографии» (патент RU №151808 U1, МПК G03B 17/00 (2006.01), дата приоритета 02.09.2014, дата публикации 20.04.2015). Сущность данного способа повышения разрешения заключается в следующей последовательности действий: осуществляют позиционирование фотоприемного устройства в виде фотокамеры в различные положения по декартовым и угловым пространственным координатам, используя позиционирующее приспособление; в каждом новом положении фотокамеры осуществляют регистрацию кадра; полученные в каждом положении фотокамеры кадры, образует серию кадров; эту серию кадров объединяют в результирующий снимок с помощью специализированной программы Photoacute или более универсальной программы, например, Photoshop или RegiStax и результатом обработки серии кадров специализированным программным обеспечением является изображение с повышенным разрешением. Современные фотокамеры содержат в своем составе фоточувствительную матрицу, которая осуществляет прием и преобразование в цифровой вид оптического изображения. Недостатком данного способа является необходимость прецизионного перемещения относительно массивного объекта (фотокамеры) и отсутствие детализации алгоритма постобработки серии кадров.

Решается задача повышения разрешения изображения, повышения быстродействия регистрации серии кадров и снижения энергетических затрат необходимых для осуществления регистрации серии кадров.

Сущность способа заключается в позиционировании фотоприемного устройства, в различные положения по декартовым пространственным координатам, регистрации последовательной серии кадров в каждом положении фотоприемного устройства и последующем объедении серии кадров в один результирующий снимок, преобразовании в частотную область полученного результирующего снимка и функции рассеяния отдельного пикселя фоточувствительной матрицы, выполнении обратной свертки с помощью поэлементного деления в частотной области результирующего снимка на функцию рассеяния отдельного пикселя фоточувствительной матрицы, а затем преобразовании полученного результата обратной свертки из частотной области в пространственную область.

Повышение разрешения изображения достигается за счет смещения фоточувствительной матрицы по декартовым пространственным координатам на расстояния 5-50 нм и применении к результирующему снимку оператора обратной свертки, вследствие чего заявленный способ позволяет осуществить повышение разрешения в 40-100 раз относительно разрешения отдельных регистрируемых кадров. Расстояние (шаг смещения) 5-50 нм достигается за счет использовании для смещения фоточувствительной матрицы пьезолементов. Так как осуществляется позиционирование только фоточувствительной матрицы, происходит снижение массогабаритных характеристик перемещаемого объекта, вследствие чего достигается повышение быстродействия регистрации серии кадров и снижение энергетических затрат необходимых для осуществления регистрации серии кадров.

Сущность поясняется чертежами, где на:

На фиг. 1 представлена блок-схема алгоритма повышения разрешения изображения. Алгоритм повышения разрешения изображения заключается в многократной регистрации изображений, каждое зарегистрированное изображение называется кадром, а вся совокупность кадров называется серией кадров. Регистрация каждого кадра производится в различных заранее заданных положениях фоточувствительной матрицы. Позиционирование матрицы осуществляется с помощью последовательных смещений фоточувствительной матрицы по двум взаимноортогональным осям. После получения серии кадров производится ее объединение в результирующий снимок, который подвергается обработке.

Каждому смещению матрицы соответствует ее положение х_α по оси оХ и y_β по оси oY. При этом:

х_α=αΔ_x, y_β=βΔ_y,

где Δ_х - шаг смещения матрицы по оси оХ, Δ_у - шаг смещения матрицы по оси oY, α - индекс положения последовательности х_α, β - индекс положения последовательности yβ. Если размер одного фоточувствительного элемента матрицы , то для матрицы, у которой заполнение равно 100%:

где Т - количество смещений по оси оХ, a Q - количество смещений по оси oY, при которых происходит регистрация изображений. Количество кадров, которые возможно зарегистрировать в различных положениях фоточувствительной матрицы (Т+1)(Q+1).

Объединение серии кадров в один результирующий снимок осуществляется при помощи отображения:

g[i(Q+1)+α,j(T+1)+β]=ƒ[i,j],

где ƒ - изображение, зарегистрированное в одном положении фоточувствительной матрице, g - результирующий снимок, i,j - индексы изображения ƒ.

Поле регистрации серии кадров при всех положениях фоточувствительной матрицы и вычисления результирующего снимка, осуществляется формирование изображения с повышенным разрешением путем применения оператора обратной свертки:

где, h - в простейшем случае двумерная прямоугольная функция с числом ненулевых элементов (Т+1)(Q+1) имеющих значения для достижения более высокого качества необходимо учитывать (функцию рассеяния точки) ФРТ оптической системы устройства регистрации изображения, что возможно сделать с помощью съемки специальных калибровочных кадров с последующим анализом; и - полученное изображение с повышенным разрешением; FFT - оператор двухмерного преобразования Фурье. При использовании операции обратная свертка, возникает задача устранения краевых неопределенностей, которое может иметь решение в виде аппаратного или программного затемнения краевых областей регистрируемых кадров.

На фиг. 2 представлена блок-схема устройства регистрации изображения с повышенным разрешением, реализующая предлагаемый способ.

Устройство включает блок смещения фоточувствительной матрицы 1, который соединен с блоком фоточувствительной матрицы 2. Блок смещения фоточувствительной матрицы 1 и блок фоточувствительной матрицы 2 совмещены в модуль фотоприемника 3. Модуль фотоприемника 3 коммутирован с блоком памяти 4 и блоком управления 5. Блок памяти 4 осуществляет сохранение всех полученных кадров, которые получены с блока фоточувствительной матрицы 2. Блок памяти 4 коммутирован с блоком управления 5. Блок управления 5 осуществляет управление устройством регистрации изображения с повышенным разрешением. Блок управления 5 осуществляет управление модулем фотоприемника 3 в виде подачи управляющего напряжения на соответствующие пьезоэлементы блока смещения фоточувствительной матрицы 1 и в виде подачи управляющих сигналов на блок фоточувствительной матрицы 2. Также блок управления 5 осуществляет управление блоком памяти 4 в виде контроля параметров блока памяти 4, задающими область памяти, в которую осуществляется сохранение кадра полученного с блока фоточувствительной матрицы 2.

На фиг. 3 представлен модуль фотоприемника 3. Данный модуль включает в себя фоточувствительную матрицу 6 закрепленную на подвижной платформе 7, которая расположена внутри подвижной каретки 8, прикрепленной к пьезоэлементу 9. Стабилизация подвижной платформы 7 внутри подвижной каретки 8 обеспечивается пружинами 10, находящимися в механическом напряжении за счет растяжения. Подвижная каретка 8 расположена внутри основания 11 и закреплена на пьезоэлементе 12. За счет пружин 13, находящихся в состоянии механического напряжения и прикрепленных к подвижной каретке 8 и основанию 11, обеспечивается стабилизация подвижной каретки 8. Коммутация фоточувствительной матрицы 6 обеспечивается с помощью контактных площадок 14, расположенных на подвижной каретке 8 и основании 11, и коммутационных проводников 15 припаянных к фоточувствительной матрице 6 и контактным площадкам 14.

Устройство регистрации изображения работает следующим образом.

С блока управления 5 подается напряжение на пьезоэлемент 9, за счет чего подвижная платформа 7 позиционируется вдоль координатной оси oY внутри подвижной каретки 8 за счет подачи напряжения на пьезоэлемент 12 осуществляется позиционирование вдоль другой координатной оси оХ. После позиционирования фоточувствительной матрицы 6 она занимает новое положение в плоскости перемещения фоточувствительной матрицы 6, образованной взаимноортогональными осями оХ и oY. В новом положении фоточувствительная матрица 6 осуществляет регистрацию кадра, зарегистрированный кадр запоминается в блоке памяти 4. Совокупность зарегистрированных кадров в различных заданных положениях фоточувствительной матрицы 6 образует серию кадров.

Стоит отметить, что наиболее пригодны для реализации описываемого изобретения применительно к полноцветным изображениям, фоточувствительные матрицы, производимые по технологии Х3 (компания Foveon, Inc. URL:www.foveon.com). Данный тип матриц имеет 100% заполнение и производит цветоделение за счет различной глубины проникновения в полупроводник света с различной длиной волны. Таким образом, все три RGB-цветовые компоненты, регистрируются общей площадью пиксельной площадки, что автоматически снимает вопрос синхронизации смещений (по временному и пространственному положению), по сравнению с матрицами регистрирующими цветовые компоненты с помощью других известных схем цветоделения. Кроме того, фоточувствительные матрицы, производимые по технологии Х3, имеют заполнение 100%, что так же облегчает практическую реализацию изобретения. Пьезоэлементы позволяют осуществлять контролируемое перемещение на 5-50 нм, при характерных размерах элементов фоточувствительных матриц (пикселей) 2-5 мкм возможно осуществить 40-100 контролируемых смещений. Поэтому заявленный способ позволяет осуществить повышение разрешения в 40-100 раз относительно разрешения отдельных регистрируемых кадров за счет регистрации последовательной серии кадров в различных, заранее определенных, положениях фоточувствительной матрицы и последующем применении алгоритма цифровой обработки.