Результат интеллектуальной деятельности: Способ калибровки видеодатчиков многоспектральной системы технического зрения

Изобретение относится к области вычислительной техники и может быть использовано для определения и приведения к заданным значениям параметров видеокамер, работающих в составе системы технического зрения, состоящей из нескольких разноспектральных видеодатчиков видимого и инфракрасного диапазонов длин волн с перекрывающимися полями зрения.

Из уровня техники известен способ юстировки фотоприемников стереоскопической телевизионной системы (патент RU №2101676, опубликовано 10.01.1998, МПК: G01C 11/00). Способ заключается в выборе контрольной точки наблюдения на поверхности объекта, формировании телевизионных сигналов изображения наблюдаемой поверхности, при котором один из сигналов формируют позитивным, а другой - негативным. Для устранения несовпадения элементов изображения наблюдаемой поверхности смещают один из фотоприемников до совмещения соответственных изображений выбранной точки. Критерием совмещения является появление муаровой полосы.

Недостатком данного способа является необходимость повторной механической юстировки при изменении расстояния до точки наблюдения, отсчитываемого в направлении оптической оси одной из камер.

Известны способ самокалибровки камер одного диапазона (Liu R., Zhang Н., Liu М., Xia X., Hu Т. Stereo cameras self-calibration based on SIFT // Proc. of International Conference on Measuring Technology and Mechatronics Automation. 11-12 April 2009. - Vol. 1. - P. 352-355) и способ полетной калибровки мультиспектральной аппаратуры космического базирования (патент RU №2561231, опубликовано 27.08.2015, МПК: G06K 9/32, G01M 11/02, G01C 11/00, B64G 4/00), основанные на поиске соответствующих особых точек в нескольких кадрах, снятых одной или несколькими камерами. Данные алгоритмы успешно применяются для автоматического совмещения изображений одного спектрального диапазона. Однако в различных оптических диапазонах изображения одинаковых объектов могут сильно различаться, что приводит к необходимости указания части особых точек вручную.

Известен способ калибровки тепловизионной камеры, в котором применяется калибровочный шаблон, представляющий собой щит, на котором через фиксированные расстояния в горизонтальном и вертикальном направлениях натянуты нити накаливания (Методика оценки дисторсии современных инфракрасных систем. В.П. Коваленко, Ю.Г. Веселов, И.В. Карпиков, Вестник МГТУ им. Н.Э. Баумана, серия «Приборостроение», 2011, №1, стр. 98-107). Расстояния между перекрестиями, сформированными пересечениями изображений нитей накаливания, и их координаты в плоскости тестового объекта рассчитываются с помощью лазерного дальномера и теодолита.

Использование данного калибровочного шаблона для калибровки камер видимого диапазона ввиду малой толщины нитей накаливания приводит к низкому их контрасту на фоне щита при поиске перекрестий и, как следствие, ошибкам в вычислении координат особых точек.

Известен способ калибровки системы технического зрения из трех видеокамер и устройство для его реализации (патент RU №2382515, опубликовано 20.02.2010, МПК: H04N 5/232, G06K 9/32). В данном изобретении калибровку системы технического зрения осуществляют по калибровочному шаблону, в котором две камеры получают детализированное изображение, а третья является обзорной.

Основным его недостатком является невозможность применения для разноспектральных камер.

В качестве прототипа выбран наиболее близкий по совокупности признаков способ калибровки (заявка CN 104376572 A, опубликовано 25.02.2015, МПК: G06T 7/00), в котором в качестве калибровочного объекта применяют светлый шаблон с нанесенными на его поверхность темными прямоугольниками априорно известных размеров либо шаблон типа «шахматная доска» с известной длиной стороны клетки.

Согласно данному способу:

снимают шаблон с различных ракурсов;

автоматически находят на изображениях шаблона особые точки - углы темных клеток;

оценивают пиксельные координаты особых точек с субпиксельной точностью;

из соответствия пространственных и пиксельных координат особых точек согласно алгоритму (Zhang, Z. A flexible new technique for camera calibration / Z. Zhang // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22(11). - P. 1330-1334) оценивают матрицу внутренних параметров камеры и вектор коэффициентов дисторсии ее объектива, а также внешние параметры (матрицы поворота и векторы параллельного переноса системы координат камеры относительно системы координат калибровочного шаблона), определяющие взаимное пространственное положение камеры и калибровочного шаблона в каждом из ракурсов съемки, для чего применяют итерационный алгоритм оптимизации по методу наименьших квадратов.

Недостатком прототипа является невозможность использования данного способа для одновременной калибровки камер видимого и инфракрасного диапазонов.

Техническая проблема, решаемая созданием заявленного изобретения, заключается в невозможности одновременной калибровки камер и видимого, и инфракрасного диапазонов с получением высококонтрастного изображения.

Технический результат изобретения заключается в получении высококонтрастного изображения тестового шаблона, наблюдаемого камерами как видимого, так и инфракрасного диапазона для осуществления калибровки видеодатчиков многоспектральной системы технического зрения.

Технический результат достигается тем, что способ калибровки видеодатчиков многоспектральной системы технического зрения включает выполнение съемки тестового объекта с различных ракурсов, перевод кадров в цифровую форму - для камер с аналоговым выходом, нахождение на снятых с различных ракурсов изображениях тестового объекта особых точек и оценку их координат с субпиксельной точностью, оценку матриц внутренних параметров камер, оценку векторов коэффициентов дисторсии объективов камер, оценку матриц внешних параметров, определяющих взаимное пространственное положение камер. При этом он отличается от прототипа тем, что осуществляют одновременную калибровку нескольких камер видимого и инфракрасного диапазонов с пересекающимися полями зрения. При этом используют тестовый объект в виде подогреваемого теплопроводящего калибровочного шаблона, обеспечивающего на различных дальностях высококонтрастное изображение в видимом и инфракрасном диапазонах. Причем после получения полутоновых изображений от разноспектральных камер при различных положениях тестового объекта изображения с инфракрасных камер инвертируют.

Сущность предлагаемого способа калибровки видеодатчиков многоспектральной системы технического зрения поясняется блок-схемой алгоритма калибровки.

Способ калибровки осуществляют следующим образом.

Осуществляют ввод значений параметров тестового калибровочного шаблона: размер клетки, количество клеток по горизонтали и вертикали.

Получают изображения от видеокамер многоспектральной системы технического зрения при различных положениях тестового шаблона, обеспечивающего контрастное изображение и в видимом, и в инфракрасном диапазонах, и, если сенсор камеры имеет аналоговый выход, переводят в цифровую форму представления. Для съемки с различных ракурсов перемещают либо шаблон, либо конструктивно связанные камеры многоспектральной системы таким образом, чтобы шаблон располагался под различными углами относительно оптических осей камер и на различных удалениях от них, а его полное изображение наблюдалось как минимум одной парой камер. Рекомендуемое количество ракурсов - не менее 15. Для снижения ошибки оценивания коэффициентов дисторсии объективов при съемке шаблона желательно, чтобы его изображения на кадрах камер располагались в различных областях кадра, в том числе и вблизи границ.

При этом используют шаблон с подогревом, чтобы обеспечить получение высококонтрастного изображения, наблюдаемого камерами и видимого, и инфракрасного диапазонов.

При использовании цветных камер их кадры с изображениями тестового шаблона преобразуют в градации серого.

Изображения с инфракрасных камер переводят в негативные: при использовании шаблона с темными n-угольниками его изображения инвертируют.

Итеративно оценивают внутренние параметры камер по критерию минимума суммы квадратов ошибок репроекции:

- выполняют коррекцию дисторсии изображений калибровочного шаблона (на первой итерации используют значения коэффициентов дисторсии по умолчанию);

- находят особые точки - углы темных клеток - на изображениях шаблона; оценивают пиксельные координаты особых точек с субпиксельной точностью;

- для каждой камеры оценивают матрицы внутренних параметров и векторы коэффициентов дисторсии объективов, а также матрицы внешних параметров, определяющих взаимное пространственное положение систем координат каждой камеры и калибровочного шаблона.

На основании результатов калибровки для каждой камеры в отдельности возможно последующее выполнение одновременной калибровки системы из N_к≥2 конструктивно связанных камер (например, при N_к = 2, стереопары), для которых по критерию максимального правдоподобия либо минимума суммы квадратов ошибок репроекции (Luhmann Т., Robson S., Kyle S., Boehm J. Close-Range Photogrammetry and 3D Imaging. - De Gruyter: Berlin, 2013) в ходе которой дополнительно итеративно уточняются калибровочные параметры и находятся матрицы поворота и векторы параллельного переноса для перехода от системы координат камеры с номером n к камере с номером m, n≠m; n, m = 1…N_к.

Далее для всех пар камер многоспектральной системы по критерию максимального правдоподобия оценивают внешние параметры: матрицы поворота и векторы параллельного переноса их систем координат.

Оцениваемыми параметрами для каждой камеры являются: коэффициенты радиальной и тангенциальной дисторсии объективов камер в соответствии с моделью Брауна - Конради (Brown, D. Close-range camera calibration / D. Brown // Photogrammetric Engineering. - 1971. - Vol. 37, No 8. - P. 855-866), матрицы внутренних параметров камер K_3×3 и матрицы внешних параметров камер [R_3×3 | t_3×1]_3×4, содержащие информацию о повороте системы координат камеры относительно системы координат шаблона R_3×3, а также вектора параллельного переноса (трансляции) t_3×1 начала системы координат камеры относительно начала системы координат шаблона.

Процесс оценивания параметров является итерационным. По результатам наблюдения изображений шаблона, снятых с различных ракурсов, минимизируется квадрат ошибки репроекции для каждой камеры системы технического зрения (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 p.):

где m_ij и - соответственно измеренные пиксельные координаты особых точек и пиксельные координаты после проекции пространственных координат особых точек шаблона М_ij на матрицу камеры, и оцениваются внутренние параметры: матрица K_3×3 и вектор коэффициентов дисторсии объектива k_d = [k₁, k₂, k₃, p₁, р₂]^T, где k_i, i = 1..3, - коэффициенты радиальной дисторсии, p_i, i = 1, 2, - коэффициенты тангенциальной дисторсии. При оптимизации (1) выполняется поиск псевдорешения переопределенной системы из уравнений, связывающих пространственные M_ij и пиксельные m_ij координаты N₊ особых точек шаблона. В (1) символами R_3×3i и t_3×1i, обозначены соответственно матрица поворота и вектор трансляции системы координат камеры для i-го изображения шаблона, а символ ||⋅|| обозначает два - норму вектора. Для уменьшения числа оптимизируемых параметров при минимизации (1) матрицы R_3×3i в соответствии с формулой Родрига (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 p.) заменяются эквивалентными векторами r_3×1i, задающими ось вращения, с два-нормой, пропорциональной углу поворота вокруг этой оси.

Затем внутренние и внешние параметры камер дополнительно уточняются путем минимизации ошибки репроекции для всех пар камер n и m, n≠m; n, m = 1…N_к:

где N_к - количество камер многоспектральной системы технического зрения,

- пиксельные координаты особой точки на кадре s-й камеры.

Для оценки параметров взаимной ориентации камер с номерами n и m после минимизации (2) по критерию максимального правдоподобия оцениваются матрицы трансформации Т_4×4^(nm), декомпозиция которых дает оценки матриц поворота R_3×3^(nm) и векторов трансляции t_3×1^(nm) системы координат камеры с номером n относительно камеры с номером m.

Коррекция дисторсии, выполняемая при минимизации (1) и (2), заключается в нахождении для пиксельных координат особых точек численного решения системы нелинейных уравнений вида (Brown D. Close-range camera calibration // Photogrammetric Engineering. - 1971. - Vol. 37, No 8. - P. 855-866):

где (x_нdi,y_нdi) и (x_н,y_н) - соответственно нормированные к фокусному расстоянию пиксельные координаты с дисторсией и без,

Таким образом, предлагаемый способ калибровки видеодатчиков многоспектральной системы технического зрения может быть использован для определения и приведения к заданным значениям параметров видеокамер, работающих в составе системы технического зрения, состоящей из нескольких разноспектральных видеодатчиков видимого и инфракрасного диапазонов длин волн с перекрывающимися полями зрения.