Результат интеллектуальной деятельности: СПОСОБ ОПРЕДЕЛЕНИЯ КООРДИНАТ ОБЪЕКТОВ ПО ИХ ЦИФРОВЫМ ИЗОБРАЖЕНИЯМ

Изобретение относится к области информационно-измерительных систем и предназначается прежде всего для применения в оптико-электронных системах, в задачу которых входит определения координат объектов в реальном масштабе времени по их цифровым изображениям.

Особенность систем технического зрения заключается в использовании цифровых фото- и видеокамер как точных инструментов для получения различной информации о различных объектах, контролируемых параметрах и процессах. Одна из свойственных данным системам задач, заключается в определении пространственных координат объектов по их цифровым изображениям. Для решения данной задачи разработано и применяется достаточно большое количество различных способов. При этом одна их часть обладает достаточно высокими показателями по точности, но требует значительных вычислительных ресурсов, что затрудняет обеспечение работы маломощной измерительной системы в реальном масштабе времени. Возникает такая трудность из-за того, что вычислительные ресурсы затрачиваются на решение достаточно сложных систем уравнений с большим количеством неизвестных, причем немало ресурсов тратится порой не столько на решение, сколько на выбор одного правильного решения из выдаваемых ЭВМ вариантов. Вторая часть существующих способов не требуют большого количества математических операций, но не обеспечивает необходимого уровня точности из-за принятых допущений и ограничений при их разработке.

Для реализации работающей в реальном масштабе времен, системы технического зрения, состоящей из маломощной ЭВМ и, по крайней мере, двух цифровых видеокамер необходим такой способ определения координат объектов, который с одной стороны обеспечит высокую точность, с другой стороны не потребует больших вычислительных ресурсов. Решение данной задачи может быть достигнуто за счет применения прямых аналитических зависимостей между трехмерными координатами объекта и плоскими его координатами на отснятых изображениях с полным учетом внешних и внутренних параметров камер измерительной системы.

Из уровня техники общеизвестен способ определения положения контролируемого объекта или отдельных его точек в трехмерном пространстве [Грузман, И.С., Цифровая обработка изображений в информационных системах / И.С. Грузман, B.C. Киричук, В.П. Косых, [и др.]: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2000. с. 147-148.], основанный на стереоскопической схеме геометрического типа, состоящей из двух одинаковых камер с параллельными оптическими осями, разнесенных на известное расстояние. Главные точки объективов (см. ГОСТ 7427-76) расположены на одной линии (линии базы), перпендикулярной к оптическим осям. Ось Y принимается перпендикулярной к плоскости чертежа. Ось Z - ось системы координат, направленная от середины базы плоскости предметов. Если выбрать начало координат в середине линии базы длиной В, то, измеряя координаты x₁, x₂ и y₁, y₂ изображений объекта Р на отснятой стереопаре, можно определить его координаты, т.е. x_p, у_р, z_p, согласно следующих выражений:

где ƒ - величина фокусного расстояния объективов первой и второй камер.

Недостатками описанного аналога является:

необходимость использования идентичных видеокамер;

фиксированное расположение цифровых камер измерительной системы, что сужает область пространства, в которой возможно измерение координат подвижных объектов, и требует проведение прецизионной механической юстировки измерительной системы по приведению оптических осей камер к параллельному состоянию, что, в свою очередь, потребует наличия специальных высокоточных измерительных средств;

низкая точность, обусловленная тем, что при вычислении координат не учитываются возможное отклонение оптических осей применяемых видеокамер, дисторсионные искажения изображений, вносимые их объективами и прочие внутренние параметры камер.

Еще одним аналогом является способ определения координат объекта [Лобанов, А.Н., Фотограмметрия: Учебник для вузов. 2-е изд., перераб. и доп. - М: Недра, 1984, с. 49, 54-57], заключающийся в:

измерении плоских координат изображений объекта Р на изображениях первой и второй камер, т.е. где для первой камеры n=1, для второй - n=2;

вычислении направляющих косинусов по формулам:

где α_n, ω_n, χ_n - углы ориентации в горизонтальной, вертикальной и поперечных плоскостях n-й камеры;

нахождении пространственных координат точек снимков в СК n-й камеры по формулам:

где ΔO_nX и ΔO_nZ - расстояния между геометрическими центрами изображений с первой и второй камер и центрами их фотоприемных устройств в соответствующих плоскостях;

вычислении значений координат x_p, y_p, z_p объекта Р в СК первой камеры согласно выражений:

x_p=Nx₁; y_p=Ny₁; z_p=Nz₁,

х₀, у₀, z₀ - координаты начала СК второй камеры, выраженные в СК первой камеры.

По сравнению с предыдущим аналогом, в данном способе учтены величины ΔО_Х и ΔO_Z, устранена необходимость применения идентичных камер, обеспечена возможность осуществлять измерение координат при произвольном их расположении, но при этом способ не в полной мере учитывает все источники ошибок, связанные с несовершенством конструкции объективов и допущенными случайными погрешностей при изготовлении видеокамер, что приводит к искажению обрабатываемых изображений.

Более близким аналогом является способ измерения координат объекта [Патент RU №2401436 С2, G01S 11/00, 2008 г.], заключающийся в:

регистрации изображений объекта посредством двух оптико-локационных блоков, установленных на внутренних рамах своих кардановых подвесов, каждый из которых имеет внешнюю и внутреннюю рамы, на осях которых установлены датчики углов их поворотов;

осуществлении программной обработки оцифрованных изображений объекта, снимаемых с фотоматрицы первого оптико-локационного блока для определения координат Y_1И, Z_1И и фотоматрицы второго оптико-локационного блока для определения координат Y_2И, Z_2И изображений идентичной точки на объекте;

снятии сигналов произвольных углов поворота ψ₁, υ₁ и ψ₂, υ₂ с датчиков внешней и внутренней рам первого и второго карданова подвеса;

вычислении соответствующих матриц вращения

определении координат x_p, y_p, z_p идентичной точки объекта в связанной системе координат (СК) согласно следующим выражениям:

ƒ_n - фокусные расстояния объектива n-го оптико-локационного блока;

- коэффициенты матриц вращения A_n, описывающих положения оптических осей первого (n=1) и второго (n=2) оптико-локационных блоков, j=1…3 - номер строки, k=1…3 - номер столбца;

Y_nИ, Z_nИ - координаты объекта Р на изображении n-го оптико-локационного блока.

Известна усовершенствованная версия данного способа, которая и выбрана в качестве прототипа [Патент RU №2438142 С2, G01S 11/00, 2008 г.], где дополнительно предусмотрена алгоритмическая юстировка оптико-электронных блоков и учтены помимо углов их ориентации ψ_n, υ_n в вертикальной и горизонтальной плоскостях, еще углы γ_n в поперечной плоскости, что отразилось на порядке нахождения матрицы A_n. Однако по-прежнему (как и в аналогах) не приняты во внимание величины радиальной и тангенциальной дисторсии, возникающих в результате несовершенства линз объективов и погрешностей установки фотоприемных устройств относительно плоскости объектива. Не учтены межпиксельные расстояния, форма пикселей, и искажения, связанные со скосом изображения при движении камеры, когда при формировании изображения наблюдаются задержки в формировании его строк.

Непринятие в расчет указанных параметров при их наличии однозначно приведет к ошибкам определения координат.

Обеспечение же условий, когда данные параметры могут не учитываться и, соответственно, не приведут к возникновению ошибок определения координат, связано с необходимостью применения видеокамер с высококачественной и, как правило, дорогой оптической частью.

С другой стороны, влияние данных параметров на точность определения координат может быть устранено за счет предварительной обработки получаемых с видеокамер изображений, заключающейся в компенсации дисторсионных искажений. Но это в свою очередь увеличивает объем вычислительных операций, так как цифровые изображения должны быть полностью попиксельно переработаны, и для обеспечения работы в реальном масштабе времени потребует привлечение дополнительных вычислительных ресурсов.

Таким образом, задачей, на решение которой направлено заявляемое изобретение, является обеспечение точного определения координат объектов в реальном масштабе времени по искаженным цифровым изображениям на электронно-вычислительной машине ограниченной вычислительной мощности.

Решение данной задачи определяется:

1) по обеспечению точности определения координат - максимальным учетом внешних и внутренних параметров камер измерительной системы, а именно:

N_K1, M_K1 и N_K2, M_K2 - значения горизонтальных и вертикальных разрешений, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки (фиг. 1), при этом значения горизонтальных и вертикальных разрешений N_K1, M_K1 и N_K2, M_K2, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки;

- расстояние между геометрическим центрами фотоприемных устройств и центрами изображений, формируемых объективами (фиг. 1) первой K1 и второй K2 камер, задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- физические размеры фотоячеек (пикселей) фотоприемного устройства (ПЗС- или ПЗИ-матрицы, далее по тексту фотоматрицы), соответственно, первой K1 и второй K2 камер в горизонтальной и вертикальной плоскостях (фиг. 1), задают из технических данных фотоприемных устройств применяемых первой K1 и второй K2 камер или определяют в процессе внутренней калибровки камер измерительной системы;

- межпиксельные интервалы фотоматриц в горизонтальной и вертикальной плоскости для первой K1 и второй K2 камер (на чертеже не показаны), задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы;

при этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер K1 и K2 в h раз, например, путем интерполяции, то значения величин N_K1, M_K1 и N_K2, M_K2, увеличивают, а - уменьшают в h раз;

θ_K1 и θ_K2 - величины углов перекоса изображений Img_K1 и Img_K2, возникающих, как правило, из-за погрешностей изготовления фотоприемных устройств камер K1 и K2, а также при неточной синхронизации процесса пиксельной выборки (на фиг. 1 не показано), данные значения определяются в процессе внутренней калибровки камер;

ƒ_K1 и ƒ_K2 - фокусные расстояния объективов первой K1 и второй K2 камер, это расстояния от точки О_K1 до точки О'_K1, и от точки О_K2 до точки О'_K2, соответственно (фиг. 1), задают из технических данных объективов, применяемых первой K1 и второй K2 камер, или определяют в процессе внутренней калибровки камер измерительной системы;

- углы последовательного отклонения СК камер K1 и K2 относительно осей O_WY_W, O_WX_W и O_WZ_W мировой СК W;

- углы взаимной ориентации СК первой K1 и второй K2 камер, отсчитываемые по результатам последовательного отклонения в горизонтальной вертикальной и поперечной плоскостях осей СК (фиг. 2) первой K1 и второй K2 камер от нормального положения камер измерительной системы;

- координаты начал СК, соответственно, камер K1 и K2 относительно начала мировой СК W;

а также компенсацией дисторсионных искажений за счет учета: и - коэффициентов радиальной дисторсии (j - количество учитываемых коэффициентов) для первой K1 и второй K2 камер и - коэффициентов тангенциальной дисторсии для первой K1 и второй K2 камер;

при этом под нормальным положением камер измерительной системы понимается (фиг. 1) такое пространственное взаимное расположение первой K1 и второй K2 камер, когда СК первой камеры K1 (своим началом совпадающая с оптическим центром объектива, ось совпадает с оптической осью объектива, а оси и соответствуют горизонтальному и вертикальному направлениям) относительно СК второй камеры K2 (своим началом совпадающей с оптическим центром объектива данной камеры, осью совпадающей с оптической осью объектива, а осями соответствующей горизонтальному и вертикальному направлениям), размещена так, что их оси располагаясь на некотором удалении (базисном расстоянии) друг от друга, были параллельными, а оси и находились на одной (базовой) линии.

Для наглядности, представленные на чертеже (фиг. 1) СК первой K1 и второй K2 камер при нормальном положении обозначены как

Под действительным положением камер измерительной системы понимается (фиг. 2) случайное или специально заданное взаимное расположение первой K1 и второй K2 камер, при котором оси их СК (α, β, ϕ - обозначение действительного положения осей СК камер измерительной системы) находятся под соответствующими углами относительно осей СК этих камер в первоначальном нормальном положении.

На чертеже (фиг. 2) показан возможный вариант взаимного положения СК камер, где обозначениям

соответствует положение камер отклоненных на углы

соответствует положение камер отклоненных дополнительно на углы

соответствует положение камер (действительное их положение), отклоненных дополнительно к предыдущим на углы

2) по обеспечению быстродействия - применением прямых аналитических зависимостей между трехмерными координатами объекта в мировой системе координат W и плоскими его координатами на отснятых изображениях камерами K1 и K2:

где - вектор координат i-го объекта P_i в мировой СК W;

- скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер измерительной системы вектора содержащие координаты i-го объекта P_i в СК камер K1 и K2 соответственно, вычисляющийся в свою очередь как произведения

- вектора положения изображения i-го объекта P_i на изображениях Img_K1, lmg_K2 камер K1, K2, - пиксельные координаты (номера n-го столбца и m-й строки), m_K1i ∈ 0…M_K1-1, n_K1i ∈ 0…N_K1-1, m_K2i ∈ 0…M_K2-1, n_K1i ∈ 0…N_K2-1, N_K1 и M_K1, N_K2 и M_K2 - горизонтальные и вертикальные разрешения (количество столбцов и строк) фотоматриц камер K1 и K2 соответственно;

К_K1 и К_K2 - матрицы внутренних параметров камер K1 и K2;

D_K1i, D_K2i - матрицы коррекции дисторсии i-го объекта P_i на изображениях Img_K1 и Img_K2 камер K1 и K2;

- матрицы отклонения для первой K1 и второй K2 камер относительно нормального их положения в измерительной системе;

- проекционная матрица измерительной системы из двух камер K1 и K2;

- матрицы положения первой K1 и второй K2 камер относительно начала мировой СК W.

Основным техническим результатом, обеспечиваемым приведенной совокупностью признаков, является:

во-первых, повышение точности определений координат объектов по их цифровым изображениям измерительной системой, при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с погрешностью относительно оптических осей объективов;

во-вторых, снижение требований к вычислительной мощности ЭВМ, применяемой при проведении измерений в реальном масштабе времени.

Еще одним результатом является снижение стоимости измерительной системы за счет возможности применения малобюджетных неметрических видеокамер.

Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости) цифровые видеокамеры K1 и K2 (фигура 1 и фигура 2), обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой (на фигуре 1 и фигуре 2 не показано) образующие измерительную систему. Причем применяемые цифровые камеры могут быть как видимого, так и инфракрасного диапазонов.

Каждая из применяемых камер может быть установлена на своем кардановом подвесе, обеспечивающем возможность изменения угловой ориентации камеры (в зависимости от необходимости) в горизонтальной, вертикальной и поперечной плоскостях. Каждый из кардановых подвесов в свою очередь может дополнительно содержать датчики углов, осуществляющие получение значений величин углов ориентации камеры (в зависимости от конструкции карданова подвеса) в горизонтальной, вертикальной и поперечной плоскостях. При этом первая камера K1 и вторая камера K2, датчики угла поворота рам подвеса должны быть выполнены с возможностью передачи в обрабатывающую систему видеоданных и данных о пространственной ориентации камер через кабели (например, кабели универсальной последовательной шины USB) или по беспроводной связи (например, Wi-Fi).

Цифровые изображения Img_K1 и Img_K2, (фигура 1) получаемые с первой K1 и второй K2 камер, состоят из пикселей. Каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено восьмиразрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные оттенки полутонов. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различных компонента могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.

При чем, для установления физической связи между положением изображений объектов интереса на цифровых изображениях Img_K1 и Img_K2 и их положением в СК соответствующей камеры, размеры пикселей принимают равными в соответствующих плоскостях физическим размерам фотоячеек (пикселей) фотоприемных устройств (например, ПЗС- или ПЗИ-матриц) первой K1 и второй K2 камер, а сами изображения Img_K1 и Img_K2 принимают размещенными на фокусных расстояниях ƒ_K1 и ƒ_K2 объективов этих камер (соответственно, в положительных направлениях осей O_K1Z_K1 и О_K2Z_K2 СК камер).

Обрабатывающая система, являющаяся, например, удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), должна обеспечивать выбор пользователем изображений и/или ввод команд обработки и содержать в свою очередь исполняемые модули или команды с возможностью выполнения по меньшей мере одним процессором, пользовательский интерфейс содержащий дисплей, такой как жидкокристаллический монитор, для просмотра видеоданных и устройство управления и ввода данных, такое как клавиатура или указательное устройство (например, манипулятор типа «мышь», шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя с видеоданными.

При необходимости осуществляют внешнюю и внутреннюю калибровку измерительной системы, заключающуюся в получении внешних и внутренних параметров применяемых камер по имеющимся цифровым изображениям, отснятым ими.

Сущность изобретения поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения, на которых:

на фиг. 1 показано нормальное положение камер измерительной системы, показаны применяемые при определении дальностей величины;

на фиг. 2 показано действительное положение камер измерительной системы с обозначением возможных углов отклонения в трех плоскостях;

на фиг. 3 проиллюстрированы этапы осуществления заявленного способа.

Осуществляют заявленный способ следующим образом.

По положению (номерам соответствующих столбцов и строк) каждого i-го объекта интереса на изображениях первой K1 и второй K2 камер составляют векторы положения (этап 1 фигуры 3):

при чем значения задают для каждого изображения i-го объекта P_i или определяют в результате работы алгоритма обработки изображения первой камеры K1 ((например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения задают или определяют в результате работы алгоритма обработки изображения второй камеры K2 (например, алгоритма автоматического поиска соответствий на стереоизображениях и т.п.).

По техническим данным первой K1 и второй K2 камер вычисляют матрицы внутренних параметров К_K1 и К_K2 (этап 2 фигуры 3):

При этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер K1 и K2 в h раз, например, путем интерполяции, то значения величин N_K1, M_K1 и N_K2, М_K2, увеличивают, а - уменьшают в h раз.

По значениям углов пространственной ориентации камер относительно СК измерительной системы вычисляют матрицы отклонения относительно нормального положения первой K1 и второй K2 камер соответственно (этап 3 фигуры 3):

Далее записывают - матрицы положения первой K1 и второй K2 камер относительно начала мировой СК W, рассчитываемые согласно выражений (этап 4 фигуры 3):

Матрицы , как правило, получают в результате внешней калибровки измерительной системы, поэтому к ней применяется название матрицы внешней калибровки.

Согласно рассчитанным данным для каждого изображения i-го объекта P_i вычисляют векторы координат A_K1i и A_K2i, в СК камер K1 и K2 (этап 5 фигуры 3):

После этого по результатам внутренней калибровки (или техническим данным камер) и значениям векторов A_K1i и A_K2i для каждого i-го объекта находят матрицы коррекции дисторсии D_K1i и D_K2i (этап 6 фигуры 3) для первой K1 и второй K2 камеры соответственно:

где - коэффициент коррекции радиальной дисторсии объектива первой камеры K1;

- коэффициент коррекции радиальной дисторсии объектива второй камеры K2;

- коэффициент коррекции тангенциальной дисторсии первой камеры K1 в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии первой камеры K1 в вертикальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры K2 в горизонтальной плоскости;

- коэффициент коррекции тангенциальной дисторсии второй камеры K2 в вертикальной плоскости;

- значения первого и второго столбцов векторов A_K1i и A_K2i.

При этом значения коэффициентов радиальной дисторсии и применяемых при нахождении и значения коэффициентов тангенциальной дисторсии применяемых при нахождении задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы (j-количество учитываемых коэффициентов).

По значениям векторов A_K1i и A_K2i и матриц D_K1i, D_K2i, для каждого изображения i-го объекта P_i вычисляют векторы скорректированных координат содержащие скорректированные на величины радиальной и тангенциальной дисторсии и приведенные к нормальному положению камер координаты i-го объекта P_i в СК камер K1 и K2 (этап 7 фигуры 3):

Находят коэффициент центральной проекции (этап 8 фигуры 3):

На следующем этапе записывают проекционную матрицу измерительной системы из двух камер K1 и K2 (этап 9 фигуры 3):

Если необходимо получить координаты i-го объекта P_i в СК камер K1 или K2 измерительной системы, то вычисляют вектора координат или соответственно (этап 10 фигуры 3):

Для получения координат объекта P_i относительно мировой СК W рассчитывают вектор по одному из выражений (этап 11 фигуры 3):

Система определения координат i-х объектов P_i по их цифровым изображениям, построенная на основе предлагаемого способа, позволит одновременно в режиме реального времени определять координаты всех i-х объектов P_i, попадающих в поля зрения камер. При этом система не потребует применения мощной и, соответственно, дорогой ЭВМ и высококачественных цифровых видеокамер.

Отличительной особенностью такой системы является и то, что она позволит осуществлять измерения по объектам, до которых невозможно, или очень сложно проводить измерения с помощью лазерных дальномеров, например, тонкие провода, антенны, находящиеся на большом расстоянии, объекты с низким коэффициентом отражения, зеркальные поверхности, прозрачные облака, дым, птицы, животные, люди и т.п., а использование вместо цифровых видеокамер (или совместно при комплексировании изображений) приборов ночного виденья или тепловизоров обеспечит всесуточность и всепогодность проводимых измерений.

Все это подчеркивает актуальность применения подобных систем на образцах различного вооружения, в особенности на роботизированных.

Кроме того, предлагаемый способ может применяться для обеспечения работы правоохранительных органов на местах преступлений, занимающих значительные территории (места взрывов, крушений, техногенных аварий и т.д.), когда зафиксировать традиционными средствами местоположение всего множества объектов (следов, обломков и т.д.) невозможно или достаточно трудоемко. Еще одним применением заявленного способа определения координат объектов может быть использование в системах и устройствах контроля скоростного режима автотранспортных средств на дорогах, делая неэффективным работу радаров-детекторов, одновременный охват широких участков автодороги и снижение себестоимости по сравнению с активными радиолокационными средствами.