Результат интеллектуальной деятельности: Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения

Изобретение относится к области вычислительной техники и может быть использовано для определения и приведения к заданным значениям параметров видеокамер видимого и инфракрасного (ИК) диапазонов длин волн. Способ предполагается использовать для калибровки видеодатчиков панорамных обзорных систем, в которых для обеспечения максимума поля зрения при одновременной минимизации количества применяемых камер предполагается такое их взаимное расположение, при котором угловые размеры пересечения полей зрения будут близки к нулю.

Из уровня техники известны способ самокалибровки камер одного спектрального диапазона (Liu R., Zhang Н., Liu М., Xia X., Нu Т. Stereo cameras self-calibration based on SIFT // Proc. of International Conference on Measuring Technology and Mechatronics Automation. 11-12 April 2009. Vol. 1. P. 352-355) и способ полетной калибровки мультиспектральной аппаратуры космического базирования (патент RU 2561231, опубликовано 27.08.2015, МПК: G06K 9/32, G01M 11/02, G01C 11/00, B64G 4/00), основанные на поиске пар соответствующих особых точек в нескольких кадрах, снятых одной или несколькими камерами. По парам соответствий оценивается матрица проективного преобразования (матрица томографии), путем декомпозиции которой затем выполняется оценивание матриц внешних и внутренних параметров (Malis Е., Vargas М. Deeper understanding of the homography decomposition for vision-based control // INRIA Research report. No. 6303. 2007). Данные алгоритмы успешно применяются для изображений одного спектрального диапазона. Однако в различных оптических диапазонах изображения одинаковых объектов могут сильно различаться, что приводит к необходимости указания части особых точек вручную (Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40, №2. С. 258-265). Другим их недостатком является то, что при малом (менее 10% от ширины поля зрения камеры) пересечении полей зрения возрастает погрешность оценивания элементов матрицы томографии, и, как следствие, увеличивается погрешность оценивания элементов матриц внутренних и внешних параметров, формируемых путем ее декомпозиции.

Известен способ калибровки системы технического зрения из трех видеокамер и устройство для его реализации (патент RU 2382515, опубликовано 20.02.2010, МПК: H04N 5/232, G06K 9/32). В данном изобретении калибровку системы технического зрения осуществляют по калибровочному шаблону (тест-объекту), в котором две камеры с узкими полями зрения получают детализированное изображение, а третья камера является обзорной: ее поле зрения в дальней зоне полностью перекрывает поля зрения двух ранее указанных камер. Недостатком способа является высокая погрешность оценки параметров калибровки пары камер с малым угловым размером зоны пересечения полей зрения: для обеспечения попадания тест-объекта в поля зрения обеих камер его приходится удалять от них на большое расстояние - 10 метров и более, вследствие чего увеличивается ошибка определения пиксельных координат ключевых точек калибровочного шаблона и растет погрешность калибровки. Вторым фактором, вызывающим рост погрешности, является расположение тест-объекта на всех ракурсах съемки только вблизи края кадра, что отрицательно сказывается на погрешности оценивания матриц внутренних параметров и коэффициентов дисторсии объективов.

В качестве прототипа выбран наиболее близкий по совокупности признаков способ калибровки видеодатчиков многоспектральной системы технического зрения (патент RU 2692970, опубликовано 28.06.2019, МПК: G06T 7/80 (2017.01), G06K 9/32 (2006.01), G01M 11/02 (2006.01)). Указанный способ предполагает выполнение съемки с различных ракурсов тестового объекта, контрастного и в видимом, и в инфракрасных (ИК) диапазонах длин волн - коротковолновом, средневолновом и длинноволновом, формирование негативов изображений, полученных с камер средневолнового и длинноволнового ИК диапазонов (тепловизоров), нахождение на полученных изображениях тестового объекта особых точек и оценку их координат с субпиксельной точностью, оценку матриц внутренних параметров камер, оценку векторов коэффициентов дисторсии объективов камер, оценку матриц внешних параметров, определяющих взаимное пространственное положение камер.

Примерами универсальных тест-объектов, контрастных и в видимом, и в ИК диапазонах, являются, например, устройство для калибровки телевизионных и тепловизионных камер (патент CN 204287725, опубликовано 17.11.2014, МПК: G03B 43/00, G01J 5/52) и тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения (патент RU 2672466, опубликовано 14.11.2018, МПК: G06T 7/80 (2017.01)).

Основным недостатком способа прототипа является то, что при малом (менее 10% от ширины поля зрения камеры) угловом размере пересечения полей зрения увеличиваются ошибки оцениваемых при стереокалибровке параметров: элементов матриц внутренних и внешних параметров, коэффициентов радиальной дисторсии объективов. Это связано с тем, что при калибровке камеры целесообразно располагать тест-объект таким образом, чтобы его проекции на плоскость изображения занимали не менее 50% площади кадра и располагались в различных его частях (Лазарева Н.С. Калибровка неметрических малоформатных камер с целью применения их для решения некоторых задач фотограмметрии // Фотограмметрия и дистанционное зондирование. 2011. №1. С. 80-91; Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Инженерный вестник Дона. 2013. Т. 26, №3).

Техническая проблема, решаемая созданием заявленного изобретения, заключается в высокой погрешности определения матрицы внешних параметров и коэффициентов дисторсии объективов при стереокалибровке N_кам≥2 широкоугольных камер с малыми угловыми размерами пересечения полей зрения. Техническая проблема характерна для задачи минимизации количества камер, входящих в состав мультиспектральных обзорных систем технического зрения панорамного типа с распределенной апертурой (Кудинов И.А., Холопов И.С., Храмов М.Ю. Технология формирования панорамных разноспектральных видеоизображений для обзорных авиационных оптико-электронных систем // Труды МАИ. 2019. Вып.104. С.1-20).

Технический результат изобретения заключается в применении двухэтапной калибровки с двумя различными тест-объектами, контрастными и в видимом, и в инфракрасном диапазонах спектра. При этом на первом этапе для каждой i-й камеры, i=1…N_кам, оцениваются только внутренние параметры и коэффициенты дисторсии ее объектива, а на втором этапе -только ее внешние параметры.

Технический результат достигается тем, что способ калибровки разноспектральных камер разделяется на два этапа, на каждом из которых применяется свой тест-объект.

На первом этапе выполняют независимую калибровку каждой камеры в отдельности для оценивания только матрицы внутренних параметров и коэффициентов дисторсии объектива (Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. Vol. 22(11). P. 1330-1334). Для указанной калибровки применяют контрастный и в видимом, и в ИК диапазонах спектра планарный тест-объект с шаблоном типа «шахматное поле» или «точечное поле»: снимают его с различных ракурсов, находят на снятых с различных ракурсов изображениях (рекомендуемое количество ракурсов - не менее 15) особые точки тест-объекта и выполняют оценку их координат с субпиксельной точностью, по найденным координатам выполняют оценку матриц внутренних параметров камер и оценку векторов коэффициентов дисторсии объективов камер. Для полутоновых изображений тест-объекта, формируемых тепловизионными ИК камерами средневолнового (3…5 мкм) и длинноволнового (8…14 мкм) диапазонов, выполняется инверсия яркости (получают негатив изображения).

На втором этапе выполняют стереокалибровку каждой пары камер с пересекающимися полями зрения для оценивания только матриц внешних параметров; матрицы внутренних параметров камер и коэффициенты дисторсии при этом не корректируются. Для указанной стереокалибровки применяется второй тест-объект, состоящий из сферических реперных светоизлучателей, расположенных на одной линии. Это позволяет найти такие положения тест-объекта, при которых его изображения попадают в область пересечения полей зрения калибруемых камер. Таким тест-объектом может выступать, например, Т-образная оснастка, аналогичная по своей конструкции оснастке Calibration Wand производства Optitrack (https://optitrack.com/products/tools/), в которой реперами выступают сферы априорно известного диаметра. Минимальное количество сфер для калибровки n=3. Чтобы изображения сфер тест-объекта были контрастны и в видимом, и в ИК диапазонах спектра, они могут быть выполнены, например, как галогеновые лампы (Zoetgnande Y., Fougeres A.-J., Cormier G., Dillenseger J.-L. Robust low resolution thermal stereo camera calibration //Proc. of 11^th International Conference on Machine Vision (ICMV18), Nov. 2018, Munich, Germany. P. 110411D) или лампы накаливания со сферической колбой. Указанный тест-объект (позиция 3 на фиг. 1) располагается таким образом, чтобы его изображение попадало в зону пересечения полей зрения калибруемых камер 1 и 2. При этом в каждом положении оцениваются пространственные координаты его реперных точек - центры сфер I=1, 2 … n, в системе координат каждой j-й камеры, j={1,2}, и по ним выполняется оценка матриц внешних параметров: матрицы поворота R и вектора параллельного переноса t (Agrawal М., Davis L.S. Complete camera calibration using spheres: A dual-space approach // Proc. of IEEE Int. Conf. on Comput. Vision. 13-16 Oct. 2003. Nice, 2003. P. 782-789). Например, если в качестве опорной выбрана камера с номером 1, то оцениваются R₁₂ и t₁₂:

где и - центры масс реперных излучателей в системах координат камер 1 и 2, det{⋅} - оператор вычисления определителя матрицы, а матрицы U и V получаются в результате SVD-разложения матрицы Н=USV^T, где

а и - центрированные пространственные координаты i-x реперных точек (Umeyama S. Least-squares estimation of transformation parameters between two point patterns // IEEE Trans, on Pattern Analysis and Machine Intelligence. 1991. Vol. 13, Is. 4. P. 376-380).

Схема алгоритма калибровки согласно предлагаемому способу приведена на фиг. 2.

Таким образом, предлагаемый способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения может быть использован для определения и приведения к заданным значениям параметров видеокамер, работающих в составе системы технического зрения панорамного типа, состоящей из нескольких распределенных разноспектральных видеодатчиков.