Результат интеллектуальной деятельности: СПОСОБ ОПРЕДЕЛЕНИЯ МЕСТОПОЛОЖЕНИЯ НА ОСНОВЕ СИГНАТУР ИЗОБРАЖЕНИЙ ГОРОДСКОЙ ЗАСТРОЙКИ В ВИДИМОМ И ИНФРАКРАСНОМ ДИАПАЗОНАХ

Изобретение относится к области видеонавигации, в частности к способам определения местоположения наземных объектов на основе полученных изображений городской застройки.

Известен способ определения местоположения на основе полученных изображений, где требуется индексированная база данных характерных точек изображений и их дескрипторов [1]. При составлении индексированной базы данных применяется 3D модель городской местности и предварительно полученные фотографии городской среды. В процессе работы индексированная база данных расширяется и пополняется. Недостаток данного способа заключается в том, что совместное использование 3D модели и предварительно полученных фотографий местности ограничивает область использования данной системы для плохо изученных или труднодоступных территорий.

Известен способ определения местоположения на основе полученных изображений и инерциальной навигации, заключающийся в использовании специальных визуальных ориентиров, представляющих собой QR-метки, в которых закодированы их заранее определенные координаты [2]. При этом предполагается, что координаты, вычисляемые инерциальным модулем, уточняются в определенные моменты, когда в поле зрения камеры попадают указанные ориентиры. Недостатком данного способа является необходимость предварительной подготовки местности, на которой будет производиться определение местоположения, то есть установки ориентиров, ограничивающая применение данной системы в незнакомой и малоизученной местности.

Известен способ определения местоположения по изображению, полученному с помощью всенаправленной камеры с объективом типа «рыбий глаз» при наличии 3D модели городской местности [3]. Оценка местоположения производится путем сравнения исходных нелинейных изображений области неба, ограниченной линией горизонта и виртуальных изображений области неба, ограниченной линией горизонта, полученных преобразованием из линейной 3D модели городской местности. Данный способ является наиболее близким аналогом (прототипом) к предлагаемому.

Признаки прототипа, являющиеся общими с заявляемым изобретением, включают получение исходного изображения в видимом диапазоне, наличие цифровой карты городской местности, определение местоположения на основе сравнения исходных и виртуальных изображений.

Недостаток способа, представленного в прототипе, заключается в наличии ошибок в выделении линий горизонта на исходных изображениях, при наличии мешающих объектов (например, деревья, столбы и провода), которые не представлены в 3D модели городской местности. Данное обстоятельство приводит к ошибкам определения местоположения при сравнении исходных и виртуальных изображений. Другим недостатком прототипа является то, что использование всенаправленной камеры с объективом типа «рыбий глаз» приводит к необходимости дополнительного преобразования виртуального изображения в нелинейное, при этом увеличиваются аппаратные затраты и требуется наличие достаточно точной 3D модели городской местности. Кроме того, при сравнении исходных и виртуальных изображений используются двумерные массивы, а не одномерные в качестве контуров линий горизонта, что в сочетании с отсутствием алгоритмов уменьшения гипотетической области неопределенности местоположения по характеру застройки будет приводить к большому времени определения местоположения, особенно при первом определении. При этом в прототипе не рассмотрен вопрос работы системы в ночное время суток, а также при недостаточном круговом обзоре, например при наличии одной или нескольких камер со стандартными объективами.

Технический результат заключается в повышении точности и скорости определения местоположения наземного объекта в городских условиях при наличии мешающих объектов (деревья, столбы, провода) в дневное и ночное время суток.

Указанный технический результат достигается благодаря тому, что способ определения местоположения наземного объекта на основе сигнатур изображений городской застройки в видимом и инфракрасном диапазонах и цифровой карты, включающий

- выделение одномерных сигнатур контуров рельефа застройки;

- оценку координат объекта путем построения моделей сигнатур контуров рельефа застройки для разных точек области позиционирования с последующим определением наилучшего приближения к выделенным сигнатурам контуров рельефа застройки;

имеет следующие отличия:

- применение изображений как видимого, так и инфракрасного диапазона;

- выделение из представленного изображения массива одномерных сигнатур контуров рельефа застройки;

- наличие алгоритма фильтрации мешающих объектов, направленного на уменьшение искажения сигнатур контуров рельефа застройки контурами деревьев, столбов и проводов; использование распознавания характера застройки, с целью уменьшения зоны позиционирования;

- построение массивов одномерных сигнатур модели контуров рельефа застройки (эталонов) для разных точек области позиционирования при оценке координат объекта на цифровой карте;

- реализация оценки координат объекта в виде многоэтапной процедуры поиска координат области позиционирования, с наименьшим различием эталона и фактических сигнатур контуров рельефа застройки, при уменьшении на каждом этапе шага поиска по координатам и увеличении разрешения;

- использование на первом этапе оценки координат объекта переменного шага поиска, который вычисляется на основе оценки плотности застройки в текущем районе;

- применение различного количества видеокамер при различных значениях углов обзора.

Как показано на фиг. 1 предлагаемый способ включает следующие этапы:

1. Формирование исходных данных.

2. Предварительная обработка изображений.

3. Оценка координат объекта.

Исходными данными для системы, которыми являются изображение I, полученное при помощи одной или нескольких видеокамер 102 в дневное время или тепловизоров в ночное время суток, а также информация о направлении объектива в горизонтальной и вертикальной плоскости (азимут α и угол места θ), формируемая соответственно магнитным компасом и инклинометром 101.

На этапе предварительной обработки производится преобразование изображения I в вид, пригодный для сравнения с эталонной моделью:

выделение сигнатур контуров зданий (фактических контуров). При этом можно выделить следующие подэтапы:

- бинаризация изображений 103. Принимается, что в дневное время фон ярче объектов сцены (зданий), при этом порог яркости предварительно вычисляется на основе распределений яркости пикселей изображения 104. В ночное время изображение с тепловизора(ов) сначала инвертируется и дальнейшие этапы обработки остаются такими же.

- фильтрация мешающих объектов 105 (фиг. 2, а-в), при этом строки и столбцы бинарного изображения представляются в качестве последовательности импульсов единичной амплитуды с разной длительностью. Последовательно для строк и столбцов производится селекция импульсов по длительности, при этом на выход проходят импульсы с длительностью больше некоторого, экспериментально определяемого порога.

- вычисление одномерной сигнатуры контура рельефа застройки 106 (фиг 2, г).

На этапе оценки координат объекта можно выделить следующие шаги:

- в интересах предварительного определения местоположения объекта производится выявление характера застройки 107 (спальный район, частный сектор, деловой центр) по сигнатурам контуров исходного изображения;

- формирование сокращенной области поиска D′ на цифровой карте 108 с помощью информации о характере застройки на исходном изображении;

- поиск координат объекта.

На этапе поиска координат объекта производится построение эталонных сигнатур 111 контуров рельефа застройки для различных значений координат из D′, взятых с определенным шагом А. При этом используется цифровая карта городской местности 110 и данные о направлении объектива(ов) путем построения перспективной модели объектов сцены. Вычисляется целевая функция f(x, y), имеющая смысл меры различия между фактическими и эталонными сигнатурами контуров рельефа застройки. Далее, в процессе работы алгоритма вычисляются глобальные координаты ( , ) экстремума целевой функции f(x, y), которые принимаются в качестве оценки координат объекта.

В целях уменьшения вычислительных затрат шаг поиска Δ на первом этапе должен быть максимален при наименьшей вероятности пропуска максимума. Установлено, что величина начального шага имеет связь с плотностью застройки в определенных участках местности, представленной на карте. При этом плотность застройки ρ - отношение площади территории занятой зданиями к общей площади территории. Шаг поиска на первом этапе оценивается в блоке 109.

Также в целях уменьшения вычислительных затрат предлагается использовать на первом этапе позиционирования эталоны с низким разрешением, постепенно увеличивая в последующих этапах. Работа многоэтапной процедуры поиска максимума (фиг. 3) включает:

- инициализацию поиска 301: задание начального шага Δ=Δ₀ 109, начального значения разрешения и области позиционирования D′ 108, устанавливается требуемое число этапов поиска К, задается текущее минимальное значение целевой функции М и текущее значение оценки координат объекта (х, y);

- запуск счетчика этапов поиска 302;

- поиск максимума целевой функции f(x, y) в области D′ (в качестве начальной точки поиска (х₀, y₀) берется угловая точка области D): запускаются счетчики х и y (302, 303, 304) с шагом Δ, для каждой точки вычисляется эталонная сигнатура (306), вычисляется целевая функция 309, которая в последующим сравнивается с текущим минимальным значением М 309, с последующем присвоением , , М=f(x, y) 310;

- производится уменьшение шага Δ и увеличение разрешения используемых изображений для следующего этапа (307).

Выход из программы 311 производится при выполнении заданного числа этапов поиска. Уменьшение шага и увеличение разрешения следует производить таким образом, чтобы на последнем этапе использовалось максимальное разрешение, доступное для используемой видеокамеры, а шаг поиска соответствовал ожидаемому значению точности видеопозиционирования.

Целесообразно рассматривать следующие варианты осуществления изобретения, такие как:

1. Использование нескольких видеокамер, платы видеозахвата, компаса на базе магнитометра и инклинометра на основе акселерометра и гироскопа, а также блока вычисления и управления на базе электронно-вычислительной машины.

2. Использование нескольких видеокамер и тепловизоров, сопряженных вместе, платы видеозахвата, компаса на базе магнитометра и инклинометра на основе акселерометра и гироскопа, а также блока вычисления и управления на базе электронно-вычислительной машины.

3. Использование одной видеокамеры, поворотных приводов по двум плоскостям, компаса на базе магнитометра и инклинометра на основе акселерометра и гироскопа, а также блока вычисления и управления на базе электронно-вычислительной машины.

4. Использование одной видеокамеры и тепловизора, сопряженных вместе, поворотных приводов по двум плоскостям, компаса на базе магнитометра и инклинометра на основе акселерометра, а также блока вычисления и управления на базе электронно-вычислительной машины.

Представленные варианты реализации предлагаемого способа особенно актуальны для роботизированных аппаратов, как правило, содержащих на борту одну или несколько видеокамер и тепловизоров, инерциальный блок, включающий гироскопы, акселерометры, магнитометры.

Список источников

1. Patent application US №20140010407 A1, application number US 13/544,817 - Image-based localization. Published 9.01.2014.

2. Patent application US №20120176491 A1, application number US 13/173,984 - Camera-based position location and navigation based on image processing. Published 12.07.2012.

3. Patent US №US8249302 B2, application number US 12/495,655 - Method for determining a location from images acquired of an environment with an omni-directional camera. Published 21.08.2012.