Результат интеллектуальной деятельности: СПОСОБ ОПРЕДЕЛЕНИЯ ДАЛЬНОСТЕЙ ДО ОБЪЕКТОВ ПО ИЗОБРАЖЕНИЯМ С ЦИФРОВЫХ ВИДЕОКАМЕР

Изобретение относится к области информационно-измерительных систем и предназначается для решения задач измерения дальностей до объектов по их цифровым изображениям с помощью параллактического треугольника с переменными углами и основанием определенной длины, расположенного в точке наблюдения.

Из существующего уровня техники известен способ измерения расстояний до объектов с использованием двух цифровых фотокамер (US Patent №5432594, G01C 3/00, 1995), разнесенных в пространстве по горизонтали на известное расстояние. На фотокамерах формируются два цифровых изображения измеряемого объекта. На каждом изображении формируется окно шириной, равной размеру объекта. Затем вычисляется оценочная функция между двумя изображениями объекта, находящегося в выделенном окне, причем одно изображение последовательно сдвигается по горизонтали относительно другого. По минимальному значению оценочной функции определяется сдвиг между изображениями объекта. Дальность до объекта определяется по сдвигу между изображениями, при этом необходимо знать расстояние между фотокамерами и фокусное расстояние объективов камер.

Недостатком этого способа является низкая точность измерения дальности, обусловленная тем, что при вычислении дальности в системе не учитывается возможное отклонение от горизонтальной линии положения двух цифровых фотокамер, разнесенных в пространстве по горизонтали на известное расстояние, а также тем, что сдвиг между изображениями на фотоприемной матрице определяется только с точностью до одного пикселя.

Более близким аналогом является способ (Патент RU №2485443 C1, G01C 3/08, G01S 11/12, 2011 г.), включающий получение двух цифровых изображений объекта с использованием двух фотокамер, разнесенных по горизонтали на известное расстояние. Дальность до объекта определяется по сдвигу между изображениями по горизонтальной оси. Размер сканирующего окна с изображением объекта выбирают так, чтобы разность расстояний до отдельных фрагментов объекта была меньше инструментального разрешения по дальности. Осуществляют сканирование по горизонтали и вертикали, сдвиг между изображениями определяют по положению максимального значения двухмерной нормированной корреляционной функции. Уточняют положение максимума корреляционной функции в субпиксельном диапазоне и осуществляют локализацию максимума между узлом сетки с наибольшим значением корреляционной функции и его соседними узлами. Определяют дальность и размеры объекта, учитывая при этом отклонение от горизонтальной линии положения двух цифровых фотокамер.

Основными недостатками данного способа (как и предыдущего аналога) являются:

необходимость использования идентичных цифровых видеокамер;

необходимость размещения камер, обеспечивающей строгую параллельность их оптических осей в пространстве;

невозможность изменять минимальную и максимальную дальности действия, ширину рабочей (стерео) зоны, в пределах которых возможно определение расстояний до объектов;

необходимость наведения измерительной системы на объект интереса, так чтобы он находился по крайней мере вблизи от оптических линий применяемых камер.

Данные недостатки были устранены в оптико-электронном стереоскопическом дальномере (Патент RU №2579532 С2, G01C 3/10, 2016 г.), выбранном в качестве прототипа и реализующем способ определение дальности, заключающийся в приеме изображений с левой и правой камер, а также значений вертикальных и горизонтальных углов с датчиков угла поворота рам кардановых подвесов, на которых установлены камеры, данных от пользователя, формировании зоны поиска на изображении правой камеры, кадрировании и увеличении разрешения области поиска и области положения объекта с приведением к одному масштабу, повышении резкости обрабатываемых участков изображений, сканировании каждой из областей поиска окном с размерами соответствующей области положения объекта с вычислением двумерной корреляционной функции и формировании массива ее значений, определении координат максимумов значений нормированной двумерной корреляционной функции, нахождении значений горизонтальных смещений изображений объектов интереса относительно центров изображений, компенсации полученных смещений на величины горизонтальных углов расположения оптических осей объективов левой и правой камер относительно нормалей к базовой линии в точках оптических центров объективов левой и правой камер, вычислении скомпенсированных значений вертикальных и горизонтальных углов относительно оптической оси левой камеры, под которыми изображения каждого из указанных пользователем объектов попадают в объектив левой камеры и вычислении дальностей до указанных пользователем объектов.

Недостатки прототипа (как и аналогов) заключаются в том, что при определении (измерении) дальности до интересующих объектов не учитывают:

значения углов отклонения осевых линий используемых видеокамер относительно нормалей к базовой линии в поперечной плоскости;

искажения принимаемых с камер изображений в виде радиальной и тангенциальной дисторсии, возникающих в результате несовершенства линз объективов и погрешностей установки фотоприемных устройств;

несовпадения геометрических центров фотоприемных устройств с центрами цифровых изображений, формируемых объективами камер, в результате погрешностей установки фотоприемных устройств относительно оптических осей объективов.

Непринятие в расчет указанных параметров при их наличии однозначно приведет к ошибкам измерения дальностей.

Обеспечение же условий, когда данные параметры могут не учитываться и, соответственно, не приведут к возникновению ошибок определения дальностей связано:

с проведением дополнительной ориентации камер, что увеличивает трудоемкость и, как следствие, время на подготовку измерительной системы к использованию по назначению;

с необходимостью применения видеокамер с высококачественной и, как правило, дорогой оптической частью.

С другой стороны, влияние данных параметров на точность определения дальностей может быть устранено за счет предварительной обработки получаемых с видеокамер изображений, заключающейся в их программном повороте на соответствующие углы и компенсации дисторсионных искажений. Но это в свою очередь связано с увеличением объема вычислительных операций, так как цифровые изображения должны быть полностью попиксельно переработаны, и потребует привлечение дополнительных вычислительных ресурсов, что затруднит проведение измерений в реальном масштабе времени.

Таким образом, задачами, на решение которых направлено заявляемое изобретение, являются обеспечение точного определения дальностей до интересующих объектов в условиях:

во-первых, несовпадения геометрических центров фотоприемных устройств и центрами цифровых изображений, формируемых объективами применяемых камер;

во-вторых, использования принимаемых с камер изображений, искаженных радиальной и тангенциальной дисторсией;

в-третьих, произвольно расположенных во всех трех плоскостях видеокамерах.

Решение данных задач определяется следующим.

По первой задаче. Нахождение координат изображений объекта интереса в системах координат используемых камер осуществляют путем умножения матриц положений P_K1i и P_K2i на матрицы внутренних параметров К_K1 и К_K2, учитывающие в том числе и величины несовпадения геометрических центров фотоприемных устройств с центрами цифровых изображений применяемых первой и второй камер согласно выражений:

где A_K1i и A_K2i матрицы координат изображений объекта интереса в системах координат используемых камер;

где n_K1i, m_K1i и n_K2i, m_K2i - номера n-го столбца и m-ой строки (фигура 1), соответствующие положению изображения i-го объекта интереса на изображениях первой К1 и второй К2 камер, m_K1i∈0…M_K1-1 n_K1i∈0…N_K1-1, m_K2i∈0…M_K2-1, n_K2i∈0…N_K2-1;

N_K1, M_K1 и N_K2, M_K2 - количество столбцов и строк фотоприемных устройств высокого разрешения (фигура 1) первой К1 и второй К2 камер;

где и - фокусные расстояния объективов первой К1 и второй К2 камер, на чертеже (фигура 1) это расстояния от точек О_К1 до точки О'_К1 и от точек О_К2 до точки О'_К2, соответственно;

и - физические размеры фотоячейки (пикселя) фотоприемного устройства высокого разрешения (например, ПЗС- или ПЗИ-матрицы) соответственно в горизонтальной и вертикальной (фигура 1) плоскостях первой К1 и второй К2 камер;

и - расстояние между геометрическим центрами фотоприемных устройств и центрами изображений, формируемых объективами (фигура 1) первой К1 и второй К2 камер;

x_K1i, y_K1i, - координаты изображения i-го объекта интереса на изображении в системе координат первой камеры К1;

x_K2i, y_K2i, - координаты изображения i-го объекта интереса на изображении в системе координат второй камеры К2.

По второй и третьей задачам. Значения матриц координат изображений A_K1i и A_K2i сначала корректируют на величины радиальной и тангенциальной дисторсий, а затем приводят к нормальному положению камер измерительной системы путем вычисления матриц координат и ,

где N - обозначение нормального взаимного расположения осей систем координат камер измерительной системы;

DN - обозначение скорректированных на величины дисторсии и приведенных к нормальному положению измерительной системы координат изображения i-го объекта интереса на изображении первой и второй камер;

D_K1i и D_K2i - матрицы коррекции первой К1 и второй К2 камер, равные

где - коэффициент коррекции радиальной дисторсии объектива первой камеры К1;

- коэффициент коррекции радиальной дисторсии объектива второй камеры К2;

- коэффициент коррекции тангенциальной дисторсии первой камеры К1 в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии первой камеры К1 в вертикальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры К2 в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры К2 в вертикальной плоскости;

, , , - значения первого и второго столбцов матриц А_К1i и А_К2i;

, , и , , - коэффициенты радиальной дисторсии объективов первой К1 и второй К2 камер, где j - количество учитываемых коэффициентов;

, и , - коэффициенты тангенциальной дисторсии первой К1 и второй К2 камер.

и - внутрибазовые матрицы вращения для первой К1 и второй К2 камер относительно их нормального положения, равные

где

, , и , , - внутрибазовые углы последовательного отклонения в горизонтальной , вертикальной и поперечной плоскостях осей систем координат (фигура 2) первой К1 и второй К2 камер от нормального положения камер измерительной системы.

Для наглядности, представленные на чертеже (фигура 1) системы координат первой К1 и второй К2 камер при нормальном положении обозначены как , , и , , . При этом под нормальным положением камер измерительной системы понимается (фигура 1) такое пространственное взаимное расположение первой К1 и второй К2 камер, когда система координат первой камеры К1 (своим началом совпадающая с оптическим центром объектива, ось совпадает с оптической осью объектива, а оси и соответствуют горизонтальному и вертикальному направлениям) относительно системы координат второй камеры К2 (своим началом совпадающей с оптическим центром объектива данной камеры, осью совпадающей с оптической осью объектива, а осями и соответствующей горизонтальному и вертикальному направлениям), размещена так, что их оси и , и , располагаясь на некотором удалении (базисном расстоянии ) друг от друга, были параллельными, а оси и находились на одной (базовой) линии.

Под действительным положением камер измерительной системы понимается (фигура 2) случайное или специально заданное взаимное расположение первой и второй камер, при котором оси их систем координат , , и , , (α, β, ϕ - обозначение действительного положения осей систем координат камер измерительной системы) находятся под соответствующими углами , , и , , относительно осей систем , , и , , координат этих камер в первоначальном нормальном положении. На чертеже (фигура 2) показан возможный вариант взаимного положения систем координат камер, где обозначениям

, , и , , соответствует положение камер отклоненных на углы и ,

и соответствует положение камер отклоненных дополнительно на углы и ,

, , и , , соответствует положение камер (действительное их положение), отклоненных дополнительно к предыдущим на углы и .

Основным техническим результатом, обеспечиваемым приведенной совокупностью признаков, является повышение точности определения дальностей до интересующих объектов при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с погрешностью относительно оптических осей объективов.

В качестве дополнительного технического результата можно указать повышение быстродействия процесса определения дальностей за счет отсутствия необходимости предварительной программной обработки (коррекции) принимаемых с камер изображений.

Еще одним результатом является удешевление измерительной системы за счет возможности применения малобюджетных неметрических видеокамер.

Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости) цифровые видеокамеры К1 и К2 (фигура 1 и фигура 2), обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой (на фигуре 1 и фигуре 2 не показано) образующие измерительную систему. Причем применяемые цифровые камеры могут быть как в видимого, так и инфракрасного диапазонов.

Каждая из применяемых камер может быть установлена на своем кардановом подвесе, обеспечивающем возможность изменения угловой ориентации камеры (в зависимости от необходимости) в горизонтальной, вертикальной и поперечной плоскостях. Каждый из кардановых подвесов в свою очередь может дополнительно содержать датчики углов, осуществляющие получение значений величин углов ориентации камеры (в зависимости от конструкции карданова подвеса) в горизонтальной, вертикальной и поперечной плоскостях. При этом первая камера К1 и вторая камера К2, датчики угла поворота рам подвеса должны быть выполнены с возможностью передачи в обрабатывающую систему видеоданных и данных о пространственной ориентации камер через кабели (например, кабели универсальной последовательной шины USB) или по беспроводной связи (например, Wi-Fi).

Цифровые изображения Img_K1 и Img_K2, (фигура 1) получаемые с первой К1 и второй К2 камер, состоят из пикселей. Каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено восьмиразрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные оттенки полутонов. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различные компоненты могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.

Причем, для установления физической связи между положением изображений объектов интереса P_K1 и P_K2 на цифровых изображениях Img_K1 и Img_K2 и их положением в системе координат соответствующей камеры размеры пикселей принимают равными в соответствующих плоскостях физическим размерам и , фотоячеек (пикселей) фотоприемных устройств (например, ПЗС-или ПЗИ-матриц) первой К1 и второй К2 камер, а сами изображения Img_K1 и Img_K2 принимают размещенными на фокусных расстояниях и объективов этих камер (соответственно, в положительных направлениях осей O_К1Z_К1 и O_К2Z_К2 систем координат камер).

Обрабатывающая система, являющаяся, например, удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), должна обеспечивать выбор пользователем изображений и/или ввод команд обработки и содержать в свою очередь исполняемые модули или команды с возможностью выполнения по меньшей мере одним процессором, пользовательский интерфейс содержащий дисплей, такой как жидкокристаллический монитор, для просмотра видеоданных и устройство управления и ввода данных, такое как клавиатура или указательное устройство (например, манипулятор типа «мышь», шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя с видеоданными.

При необходимости осуществляют калибровку измерительной системы. Как правило различают внешнюю и внутреннюю калибровку, заключающуюся в получении внешних и внутренних параметров камер измерительной системы по имеющимся цифровым изображениям, отснятым ими.

Сущность изобретения поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения, на которых:

на фиг. 1 показано нормальное положение камер измерительной системы, показаны применяемые при определении дальностей величины;

на фиг. 2 показано действительное положение камер измерительной системы с обозначением возможных углов отклонения в трех плоскостях;

на фиг. 3 проиллюстрированы этапы осуществления заявленного способа.

Осуществляют заявленный способ следующим образом.

По положению (номерам соответствующих столбцов и строк) каждого i-го объекта интереса на изображениях первой К1 и второй К2 камер составляют матрицы положения P_K1i и P_K2i (этап 1 фиг. 3)

причем значения n_K1i, m_K1i задают для каждого изображения i-го объекта интереса или определяют в результате работы алгоритма обработки изображения первой камеры К1 (например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения n_K2i, m_K2i задают или определяются в результате работы, например, алгоритмов нахождения положения изображения i-го объекта интереса с изображения первой камеры К1 на изображении второй камеры К2.

По техническим данным первой К1 и второй К2 камер вычисляют матрицы внутренних параметров К_K1 и К_K2 (этап 2 фиг. 3)

Значения фокусных расстояний , задают из технических данных объективов, применяемых первой К1 и второй К2 камер, или определяют в процессе внутренней калибровки камер измерительной системы.

Значения горизонтальных и вертикальных размеров фотоячеек (пикселей) , , , задают из технических данных фотоприемных устройств применяемых первой К1 и второй К2 камер или определяют в процессе внутренней калибровки камер измерительной системы.

Значения горизонтальных и вертикальных разрешений N_K1, M_K1 и N_K2, M_K2, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки.

Значения смещения геометрических центров фотоприемных устройств относительно центров цифровых изображений, формируемых объективами камер , , , задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы.

При этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер К1 и К2 в h раз, например, путем интерполяции, то значения величин N_K1, M_K1 и N_K2, M_K2, увеличивают, а , и , - уменьшают в h раз.

По значениям углов пространственной ориентации камер относительно системы координат измерительной системы вычисляют матрицы внутрибазового вращения и для первой К1 и второй К2 камер (этап 3 фиг. 3)

где

При этом значения углов поперечного, вертикального и горизонтального отклонений камер , , и , , снимают с датчиков угла, размещенных на рамах кардановых подвесов, обеспечивающих по крайней мере три степени свободы для каждой камеры, или определяют в процессе внешней калибровки измерительной системы.

Далее согласно рассчитанных данных для каждого изображения i-го объекта вычисляют матрицы координат A_K1i и A_K2i (этап 4 фиг. 3)

После этого по результатам внутренней калибровки (или техническим данным камер) и значениям матриц A_K1i и A_K2i для каждого i-го объекта находят матрицы коррекции дисторсии D_K1i и D_K2i (этап 5 фиг. 3) для первой К1 и второй К2 камеры соответственно

где

, , , - значения первого и второго столбцов матриц А_К1i и А_К2i;

При этом значения коэффициентов радиальной дисторсии , , и , , применяемых при нахождении и , и значения коэффициентов тангенциальной дисторсии , и , , применяемых при нахождении , и , , задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы.

По значениям матриц A_K1i и A_K2i, D_K1i и D_K2i, и для каждого изображения i-го объекта вычисляют матрицы координат и (этап 6 фиг. 3)

где DN - обозначение скорректированных на величины дисторсии и приведенных к нормальному положению измерительной системы координат изображения i-го объекта интереса на изображении первой и второй камер;

для каждого i-го объекта определяют значения искомых дальностей (этап 7 фиг. 3)

где , , , , , - значения первого, второго и третьего столбцов соответствующих матриц и ;

D_K1i и D_K2i - значения дальностей (кратчайшего расстояния) до i-го объекта интереса относительно оптических O_К1 и О_К2 объективов, соответственно, первой К1 и второй К2 камер;

- базовое (базисное) расстояние (база) между оптическими центрами О_К1 и O_К2 объективов, соответственно, первой К1 и второй К2 камер, причем значение задают из фактического кратчайшего расстояния между оптическими центрами объективов первой и второй камер, или определяют в процессе внешней калибровки измерительной системы.

Система измерения дальности, построенная на основе предлагаемого способа, позволит одновременно в режиме реального времени измерять расстояния до тех объектов, до которых невозможно или очень сложно проводить измерения с помощью лазерных дальномеров, например, тонкие провода, антенны, находящиеся на большом расстоянии, объекты с низким коэффициентом отражения, зеркальные поверхности, прозрачные облака, дым, птицы, животные, люди и т.п., а использование вместо цифровых видеокамер (или совместно при комплексировании изображений) приборов ночного виденья или тепловизоров обеспечит всесуточность и всепогодность проводимых измерений.

Особое значение предлагаемый способ может иметь для обеспечения работы правоохранительных органов на местах преступлений, занимающих значительные территории (места взрывов, крушений, техногенных аварий и т.д.), когда зафиксировать традиционными средствами местоположение всего множества объектов (следов, обломков и т.д.) невозможно или достаточно трудоемко.

Кроме того, заявленный способ измерения дальностей может быть использован в системах и устройствах контроля скоростного режима автотранспортных средств на дорогах, делая неэффективным работу радаров-детекторов, одновременный охват широких участков автодороги и снижение себестоимости по сравнению с активными радиолокационными средствами.