СПОСОБ СЕЛЕКЦИИ ОБЪЕКТОВ НА УДАЛЁННОМ ФОНЕ

Область техники

Изобретение относится к методам фото- и видеосъемки. Более конкретно, к оптическим стереоскопическим способам определения местонахождения объекта в окружающем пространстве, включающим определение расстояний до интересующих объектов, а также их угловых координат. Изобретение применимо, например, в автоматических системах определения местонахождения объектов в пространстве, в частности на транспорте, в качестве средства предупреждения столкновения.

Предшествующий уровень техники

Известен стереоскопический способ измерения расстояний и судовой дальномер-пеленгатор, описанные в патенте РФ №2468336, опубл. 27.11.2012, G01C 3/02, G01S 17/06, автор Гузевич С.Н. В способе наводят оси наблюдений на объект, получают отображения объекта на плоскостях измерений, ортогональных оптическим осям, из центров двух идентичных оптических устройств, разнесенных на известной базе. Проводят на плоскостях измерений через точки проекций оптических осей измерительных осей координат, параллельных базе. Измеряют положения граничных точек отображений объекта от центров проекций оптических осей и вычисляют расстояния до объекта, используя размер базы как составную часть опорного параметра. Управляют размером базы и расстоянием от центров оптических устройств до плоскостей измерений, а вычисления выполняют, используя как опорный параметр произведение длины базы на расстояние от центров оптических устройств до измерительных плоскостей.

Недостатком данного способа является то, что расстояние между камерами (базис) ограничено размерами основания, например корабля, на которое устанавливаются камеры. Если основание больших размеров, то регулировка базиса возможна. Если же основание мало, то необходимый базис реализовать механическим устройством подвижки камер невозможно. Кроме того, способ сложный в осуществлении. Требуется дополнительно механическая система изменения расстояния между камерами. Способ и устройство имеют недостаточное быстродействие в случае детектирования (селекции) быстроперемещающихся объектов, а также в случае использования на быстроперемещающихся объектах (кораблях).

В качестве прототипа выбран способ селекции объектов на удаленном фоне в патенте РФ №2363018, кл. G01S 17/06, опубл. 27.07.2009, авторы Подгорнов В.А., Подгорнов С.В., Щербина А.Н. Способ заключается в приеме и формировании опорного и сравниваемого изображений двумя идентичными оптическими системами, установленными на небольшом расстоянии между собой относительно удаленного фона. У объективов параллельные главные оптические оси. Одновременно регистрируют оба изображения. Ищут фрагменты образов объектов на изображениях и ставят им в соответствие величины параллактического сдвига. Вычисляют расстояния до выявленных объектов в пространстве по формуле R=L·A/Δ_i, где L - расстояние между центрами объективов оптических систем, A - расстояние от фотоматрицы до главной оптической оси объектива оптической системы, Δ_i - величина параллактического сдвига i-го образа объекта. Данный способ позволяет с высокой точностью обнаруживать (селектировать) одиночные и множественные объекты с заранее неизвестной яркостью в условиях высококонтрастных фонов.

Недостатком способа является ограниченная дальность селекции объектов по дальности, так как невозможно увеличить базисное расстояние между оптическими системами в процессе их работы. Для этого требуется введение в конструкцию дополнительного механизма подвижки оптических систем. Кроме того, недостаточно точно определяются координаты сильно удаленных объектов наблюдения.

Задача изобретения заключается в увеличении дальности селекции в окружающем пространстве объектов в процессе их наблюдения с перемещающегося основания (транспортного средства), без использования специальных дополнительных механизмов подвижки оптических систем, при одновременном сохранении точности селекции движущихся объектов.

Технический результат заключается в увеличении базисного расстояния за счет рассинхронизации момента регистрации кадров стереопары в процессе перемещения оптических систем в пространстве. При этом в случае наблюдения перемещающихся объектов, приближающихся к оптическим системам, время рассинхронизации постепенно уменьшается.

Раскрытие изобретения

Для достижения технического результата предлагается способ селекции объектов на удаленном фоне. Способ заключается в приеме и формировании опорного и сравниваемого изображений двумя идентичными оптическими системами на основе многоэлементных фотоприемников, с параллельными главными оптическими осями их объективов. Регистрируют оба изображения, формируют два разностных изображения. Первое - вычитанием сравниваемого изображения из опорного, второе - вычитанием опорного из сравниваемого. Обнуляют отрицательные значения в разностных изображениях. Ищут в направлении параллактического смещения фона величину сдвига между ненулевыми фрагментами первого разностного изображения и соответствующими им ненулевыми фрагментами второго разностного изображения до максимального их совпадения. Аналогично находят величины сдвига между ненулевыми фрагментами второго разностного изображения и соответствующими им фрагментами первого разностного изображения. Вычисляют расстояния до выявленных объектов по формуле R=a×f/Δ_i, где a - расстояние между главными оптическими осями объективов, f - фокусное расстояние объектива оптической системы, Δ_i - величина сдвига между соответствующими ненулевыми фрагментами i-го объекта. Принимают и формируют изображения в процессе поступательного движения оптических систем. Вектор движения образует угол с направлением главных оптических осей объективов, при этом каждую пару опорного и сравниваемого изображений последовательно регистрируют в двух разнесенных точках пространства, расстояние между которыми выбирают из условия обеспечения сдвига между соответствующими ненулевыми фрагментами разностных изображений на величину не меньше, чем размер светочувствительного элемента фотоприемника, при этом расстояние между точками регистрации каждой пары опорного и сравниваемого изображений последовательно уменьшают при приближении объектов к оптическим системам.

Совокупность перечисленных существенных признаков позволяет увеличить базисное расстояние за счет рассинхронизации регистрации кадров стереопары в процессе перемещения оптических систем. Это позволяет увеличить дальность селекции объектов в окружающем пространстве. При этом в случае наблюдения движущихся объектов, приближающихся к оптическим системам, время рассинхронизации постепенно уменьшается по мере их приближения. Это позволяет минимизировать негативное влияние подвижки наблюдаемых объектов в интервале времени между моментами регистрации кадров стереопары, что увеличивает точность определения расстояния до объектов (увеличивает точность селекции).

Перед получением разностных изображений сравниваемое изображение параллактически смещают относительно опорного изображения до максимального совпадения удаленного фона. Данные действия выполняются с целью устранения погрешности при настройке параллельности главных оптических осей идентичных оптических систем.

Опорное и сравниваемое изображение выравнивают по яркости до формирования разностных изображений. Данные действия выполняются с целью устранения инструментальной погрешности светочувствительности фотоприемных устройств оптических систем.

В разностных изображениях значения обнуляют с определенного уровня, соответствующего разбросу чувствительности фотоприемников оптических систем. Данные действия выполняются с целью устранения шума, обусловленного, например, оптической аберрацией объективов оптических систем.

В располагаемых нами источниках информации не обнаружено технических решений, содержащих в совокупности признаки, сходные с отличительными признаками заявляемого способа. Следовательно, изобретение соответствует критерию изобретательский уровень.

Наличие новых существенных признаков совместно с известными и общими с прототипом позволило создать новое техническое решение - способ селекции объекта на удаленном фоне. Способ решает комплексно задачу увеличения дальности определения местоположения объектов в окружающем пространстве, в том числе движущихся объектов в процессе их наблюдения с перемещающегося основания.

Краткое описание фигур и чертежей

Предлагаемый способ определения местонахождения объекта в окружающем пространстве иллюстрируется чертежами:

фиг.1 - оптическая схема регистрации изображений заявляемым способом;

фиг.2 - принципиальная схема устройства оптических систем.

фиг.3(а, б) - схематическое представление зарегистрированного опорного А1 и сравниваемого А2 изображения;

фиг.4(а, б) - схема смещения (обрезки) матриц изображений А1 и А2 друг относительно друга, при наличии отклонения от параллельности главных оптических осей объективов;

фиг.5(а, б) - первое и второе разностные изображения Raznost1 и Raznost2, соответственно;

фиг.6(а, б) - схема определения параллактического смещения объектов;

фиг.7(а, б) - результат определения параллактического смещения объектов, (а - светлее окружающего фона, б - темнее фона), где изображения объектов показаны каждый в своем цвете, соответствующем смещению (цветовая расшифровка соответствия приведена в середине);

фиг.8 - вариант представления результата селекции объектов на удаленном фоне, образы объектов выделены цветом, причем цвет соответствует расстоянию до объекта (справа приведена цветовая расшифровка).

Варианты осуществления изобретения

Способ реализуется следующим образом.

Рассмотрим схему проведения фотосъемки. Для регистрации оптических изображений используют две идентичные оптические системы 1 и 2 (фиг.1), установленные на подвижном основании 3 (самолете). Как показано на фиг.2, каждая оптическая система 1 и 2 состоит из многоэлементного фотоприемника 4 и сопряженного с ним объектива 5. Оптические системы 1 и 2 ориентируют друг относительно друга таким образом, чтобы главные оптические оси (штрихпунктирные линии) их объективов 5 были параллельны друг другу, (фиг.1, 2). Оптические системы 1 и 2 электрически сопрягают с блоком управления 6, обеспечивающим электропитание и управление всем устройством в целом.

В состав блока управления 6 входят источники питания, а также электрическая схема управления работой устройства, например, программируемая логическая интегральная схема (ПЛИС).

В качестве многоэлементных фотоприемников 4 используют, например, комплементарные металооксидные полупроводниковые (КМОП) матрицы. Количество светочувствительных элементов в КМОП матрице может быть различно. В рассматриваемом варианте реализации способа используют квадратную матрицу формата n на n пикселей с длиной стороны L (фиг.2).

В качестве объектива 5 может быть использован практически любой тип оптического объектива, обеспечивающий обзор окружающего пространства в заданном телесном угле ϑ, определяемом исходя из условия проведения съемки, и удовлетворяющий требованиям получения изображения с достаточной разрешающей способностью (фиг.1, 2). В рассматриваемом варианте реализации способа используют однолинзовый объектив с фокусным расстоянием f (фиг.2).

Разрешающую способность оптических систем 1 и 2 считают достаточной, если образы наблюдаемых объектов 7 и 8 на регистрируемых изображениях образованы не менее 1-2 пикселями. Экспозицию при регистрации кадров оптическими системами считают оптимальной, если образы наблюдаемых объектов 7 и 8 фиксируются на изображениях без значительного смазывания.

Основание 3, на котором установлены оптические системы 1 и 2, в рассматриваемом случае движется поступательно с постоянной скоростью V_c (фиг.1). Угол между вектором Vc и главными оптическими осями объективов 5 равен 90 градусов. Наблюдаемые объекты 7 и 8 перемещаются прямолинейно с постоянными скоростями V_об1, V_об2, соответственно (фиг.1).

В момент времени t₁ оптическая система 1 принимает при помощи собственного объектива 5 оптическое изображение окружающего пространства и формирует его в плоскости многоэлементного фотоприемника 4, который производит его регистрацию. Зарегистрированное изображение принимается в качестве опорного А1 (фиг.3а).

Через заданный интервал времени Δt, в момент времени t₂, оптическая система 2 принимает при помощи собственного объектива 5 оптическое изображение окружающего пространства и формирует его в плоскости многоэлементного фотоприемника 4, который производит его регистрацию. Зарегистрированное изображение принимается в качестве сравниваемого А2 (фиг.3б).

Интервал времени Δt между моментом t₁ регистрации опорного изображения А1 и моментом t₂ регистрации сравниваемого изображения А2 выбирают из следующего условия:

где R_max - расстояние до удаленного фона (выбирается исходя из параметров наблюдаемой сцены), фиг.1; L - сторона квадрата светочувствительной площадки КМОП матрицы фотоприемника 4; f - фокусное расстояние объективов 5; V_c - скорость перемещения основания 3 (скорость самолета в полете); n - количество пикселей, расположенных вдоль стороны квадрата светочувствительной площадки КМОП матрицы фотоприемника 4.

Вышеописанная схема проведения фотосъемки позволяет последовательно регистрировать опорное и сравниваемое изображения в двух разнесенных точках пространства (O₁ и O₂), (на фиг.1). Расстояние O₁O₂ является фактически стереоскопическим базисом a. Базис a выбран из условия обеспечения параллактического сдвига на регистрируемой стереопаре образов объектов 7 и 8, находящихся ближе чем удаленный фон, на величину не меньше, чем размер светочувствительного элемента (пикселя) фотоприемника 4. Данная схема проведения фотосъемки позволяет организовать практически любой необходимый стереоскопический базис a, исходя из заданного значения R_max, необходимый для увеличения дальности селекции объектов 7 и 8 в окружающем пространстве. В этом заключается технический результат изобретения. Стереоскопический базис a=Δt×V_c.

На опорном изображении (фиг.3а) присутствуют образы 9 и 10, соответствующие объектам 7 и 8 (на фиг.1), наблюдаемые на удаленном фоне 11, (на фиг.3а). На сравниваемом изображении (фиг.3б) присутствуют образы 12 и 13, соответствующие объектам 7 и 8, переместившимся в течение интервала времени Δt в положение 14 и 15 (на фиг.1), наблюдаемые на удаленном фоне 11 (фиг.3б).

Удаленный фон 11 на опорном (фиг.3а) и сравниваемом (фиг.3б) изображениях, находящийся на расстоянии, превышающем значение R_max, смещен на величину менее одного пикселя. Сдвиг удаленного фона 11 на зарегистрированных изображениях неразличимо мал. Вследствие этого величиной параллактического сдвига фона 11 можно пренебречь и считать фон 11 неподвижным.

Образы 12 и 13 на сравниваемом изображении (фиг.3б) смещены вправо (направление параллактического сдвига) относительно образов 9 и 10 на опорном изображении (фиг.3а). Значения величин сдвигов Δ₁, Δ₂ в направлении параллактического смещения фона 11 зависят от степени удаленности объектов 7 и 8 от оптических систем 1 и 2, а именно от расстояний R_{об1_t1}, R_{об1_t2}, и R_{об2_t1}, R_{об2_t2} (фиг.1). Чем больше величины сдвигов Δ₁, Δ₂, тем ближе находятся объекты 7 и 8 к оптическим системам 1 и 2, и наоборот.

Расстояния R_{об1_t1}, и R_{об2_t1} до объектов 7 и 8 определяют по взаимному расположению их образов 9 и 12 на опорном А1, и 10 и 13 на сравниваемом А2 изображениях, исходя из значений сдвигов Δ₁, Δ₂, соответственно. При этом, чем меньше смещение объектов 7 и 8 за интервал времени Δt, тем точнее определяют расстояния R_{об1_t1}, и R_{об2_t1}. Для минимизации погрешности измерения расстояний до приближающихся к оптическим системам 1 и 2 движущихся объектов 7 и 8 требуется уменьшить расстояния между точками регистрации O1 и O2 каждой последующей пары опорного А1 и сравниваемого А2 изображений (т.е. уменьшение стереоскопического базиса a). С этой целью возможно сокращение интервала времени Δt до минимально необходимого, например, посредством использования в расчетах расстояния R_max, определяемого как расстояние до наиболее удаленного объекта 7, наблюдаемого в предыдущей сцене (на предыдущей паре опорного А1 и сравниваемого А2 изображений). Это подтверждает достижение технического результата.

Процесс выявления образов 9, 10 и 12, 13 объектов 7 и 8 на зарегистрированных изображениях для определения параллактических сдвигов Δ₁, Δ₂ заключается в следующем.

Опорное и сравниваемое изображения представляют в виде матриц А1 и А2 с размером I×J, соответственно (фиг.4). На зарегистрированных изображениях (фиг.3а, б) на удаленном высококонтрастном фоне присутствуют образы объектов 9 и 12 более светлые, чем окружающий их фон, и образы объектов 10 и 13 темнее фона.

Если главные оптические оси регистрирующих систем 1 и 2 имеют незначительное отклонение параллельности между собой, то матрицы «обрезают» в направлении, противоположном параллактическому смещению фона 11. На фиг.4 показана схема смещения (обрезки) матриц изображений А1 и А2 друг относительно друга при наличии отклонения от параллельности главных оптических осей регистрирующих систем 1 и 2, где dx и dy - горизонтальная и вертикальная проекции параллактического смещения удаленного фона 11. Величина параллактического смещения удаленного фона 11 принимается постоянной для оптических систем и вычисляется по формуле . Размер получившихся матриц принимают равным I×J и сохраняют их обозначения (A1 и A2).

В случае отклонения яркости на регистрируемых изображениях А1 и А2, обусловленного, например, погрешностями в производстве фотоприемников 4, опорное А1 и сравниваемое А2 изображения выравнивают по яркости до их максимального совпадения.

Следующей последовательностью действий, проводимой в блоке управления 6, подавляют удаленный, высококонтрастный фон и одновременно на нем выделяют объекты с заранее неизвестной яркостью (светлые объекты на темном фоне или темные объекты на светлом фоне):

1. Формируют два разностных изображения.

Первому разностному изображению соответствует матрица, равная: Raznoct1=A1-A2 (фиг.5а). Второму разностному изображению соответствует матрица равная: Raznoct2=A2-A1 (фиг.5б).

2. В полученных разностных изображениях обнуляют отрицательные значения. Если на разностных изображениях присутствует шум, обусловленный, например, оптическими аберрациями объективов 5, то обнуление значений в разностных матрицах проводят, начиная с некоторой положительной величины, т.е.:

Raznoct1(i, j)=0, если Raznoct1(i, j)<b

Raznoct2(i, j)=0, если Raznoct2(i, j)<b

Величина (b) постоянна и определяется заранее, исходя из разности удаленного фона на опорном и сравниваемом изображении.

На фиг.5а и 5б представлены первое и второе разностные изображения. На полученном первом разностном изображении (фиг.5а) выделены (не обнулены) фрагмент 16, соответствующий более светлому объекту на опорном изображении А1, а также фрагмент 17, соответствующий более темному объекту на сравниваемом изображении А2, а все остальные значения обнулены. На полученном втором разностном изображении (фиг.5б) выделены (не обнулены) фрагмент 18, соответствующий более темному объекту на опорном изображении А1, а также фрагмент 19, соответствующий более светлому объекту на сравниваемом изображении А2, а все остальные значения обнулены.

Для вычисления расстояний R_{об1_t1}, R_{об2_t1} до выявленных объектов 7 и 8 в блоке управления 6 определяют параллактические смещения Δ₁, Δ₂ фрагментов, соответствующих объектам 7 и 8 на разностных изображениях Raznoct1 и Raznoct2. Определение величин смещения разделяют на два этапа:

1. Первый этап (определение смещения объекта светлее фона) заключается в определении соответствующего параллактического смещения Δ_i (i=1, 2, для рассматриваемого случая), как аргумента функции F₁(Δ_i), при котором она минимальна. Функция F₁(Δ_i) есть модуль среднеарифметического значения разности ненулевого фрагмента первого разностного изображения и соответствующего участка второго разностного изображения. При этом фрагмент первого разностного изображения наложен на второе разностное изображение со смещением координаты (от 0 до dX), в направлении параллактического смещения фона, ненулевого фрагмента первого разностного изображения и соответствующего участка второго разностного изображения:

где Raznoct1(X, Y) - ненулевой фрагмент первого разностного изображения, соответствующий объекту; Raznoct1(X+Δ_i, Y) - участок второго разностного изображения по размеру и геометрии соответствующий Raznoct1(X, Y), и сдвинутый на величину Δ_i в направлении параллактического смещения фона; N - размер фрагмента в пикселях; dX - максимальное параллактическое смещение, определяемое дальностью обнаружения объектов и их размерами.

При этом, значения функции F₁(Δ_i) для фрагментов, соответствующих более темным объектам, постоянны, вследствие отсутствия на втором разностном изображении соответствующих им фрагментов, смещенных в направлении параллактического сдвига (фиг.6а). Вследствие этого Δ_i принимается равной нулю, т.е. фрагмент приравнивается к участку удаленного фона (фиг.7а).

2. Второй этап (определение смещения объекта темнее фона) заключается в определении Δ_i (i=1, 2 для рассматриваемого случая), как аргумента функции F₂(Δ_i), при котором она минимальна. Функция F₂(Δ_i) есть модуль среднеарифметического значения разности ненулевого фрагмента второго разностного изображения и соответствующего участка первого разностного изображения. При этом фрагмент второго разностного изображения наложен на первое разностное изображение со смещением координаты (от 0 до dX), в направлении параллактического смещения фона, ненулевого фрагмента второго разностного изображения и соответствующего участка первого разностного изображения:

где Raznoct2(X, Y) - ненулевой фрагмент второго разностного изображения, соответствующий объекту; Raznoct1(X+Δ_i, Y) - участок первого разностного изображения по размеру и геометрии соответствующий Raznoct1(X, Y) и сдвинутый на величину Δ_i в направлении параллактического смещения фона.

При этом значения функции F₂(Δ_i) для фрагментов, соответствующих более светлым объектам, постоянны, вследствие отсутствия на первом разностном изображении соответствующих им фрагментов, смещенных в направлении параллактического сдвига (фиг.6б). Вследствие этого Δ_i принимается равной нулю, т.е. фрагмент приравнивается к участку удаленного фона (фиг.7б).

Расстояние до выявленных объектов 7 и 8 вычисляют по формуле R_{об.i_t1}=a·f/Δ_i, где a - расстояние между главными оптическими осями объективов 5, f - фокусное расстояние объектива 5, Δ_i - величина сдвига между соответствующими ненулевыми фрагментами i-го объекта (величина параллактического сдвига i-го объекта).

В итоге на сигнальном выходе блока управления 6 получают информацию о выявленных объектах 7 и 8, находящихся на разных расстояниях от оптических систем 1 и 2 в виде координат объектов на опорном изображении, и поставленным им в соответствие расстояниям до объектов (фиг.8).

При этом оператору степень удаленности объектов 7 и 8 от видеосистем 1 и 2 показывается в виде цветовой гаммы (или оттенков серого), которой в соответствие поставлен диапазон расстояний (фиг.8).

Пространственные угловые координаты объектов 7 и 8 определяют согласно координатам образов объектов 16 и 17 на опорном изображении А1.

Промышленная применимость

Заявленный способ селекции объектов на удаленном фоне может быть использован в автоматических системах определения местонахождения объектов в пространстве. В частности, на авиатранспорте для предупреждения столкновения летательных аппаратов в воздухе. Например, в гражданской авиации на винтомоторных самолетах, вертолетах.

Техническая реализация способа селекции объектов на удаленном фоне в конкретном устройстве вполне осуществима. При создании оптических систем и блока управления могут быть использованы освоенные промышленностью оптико-электронные устройства, конструкционных узлы и элементы. Алгоритм работы указанного устройства также технически реализуем. В устройстве, реализующем способ селекции объектов на удаленном фоне, в качестве оптических систем могут быть использованы коммерчески доступные видеокамеры, снимающие изображения окружающего пространства с частотой 30 кадров в секунду. Две идентичные видеокамеры параллельно подключены к блоку управления, например, ПЛИС. Время рассинхронизации между моментами регистрации кадров видеокамерами задается ПЛИС, который в свою очередь принимает зарегистрированные изображения и проводит их конвейерную обработку с выдачей результатов вычислений в виде изображений (фиг.8) на монитор оператора (пилота).

При использовании видеокамер с разрешением 1920×1080 пикселей (n=1920) и размером светочувствительной площадки фотоприемников 14.2×8 мм (L=14.2), оснащенных объективами с фокусным расстоянием (f), равным 4 мм (угол обзора ϑ равен 122×90 градусов), обеспечивается максимальная дальность (R_max) селекции объектов 1500 м, при рассинхронизации работы видеокамер в один кадр (Δt=1/30 с) и скорости (V_c) перемещения основания (скорости полета самолета) 300 км/ч.