Результат интеллектуальной деятельности: СПОСОБ УСТРАНЕНИЯ ГЕОМЕТРИЧЕСКИХ ИСКАЖЕНИЙ ИЗОБРАЖЕНИЙ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ, ПОЛУЧЕННЫХ ЩЕЛЕВЫМ СКАНИРУЮЩИМ СЕНСОРОМ

Изобретение относится к способам получения изображений щелевыми сканирующими устройствами при дистанционном зондировании земли, например при авиасъемке. Примером щелевого сканирующего сенсора является гиперспектрометр типа «pushbroom».

В связи с непредсказуемым движением платформы-носителя под воздействием внешних факторов, таких как ветер, для получения неискаженного изображения подстилающей поверхности необходима геометрическая коррекция полученных с сенсора данных.

Коррекция движения платформы-носителя может обеспечиваться как физическими методами с помощью так называемых гиростабилизированных платформ (гироплатформ), компенсирующих изменение ориентации съемочных устройств в ходе съемки, так и путем математического преобразования координат пикселей результирующего снимка. Недостатком первого подхода является рост стоимости и массогабаритных параметров съемочной аппаратуры, кроме того, в ряде случаев он не обеспечивает полной компенсации нелинейности движения платформы-носителя.

Из уровня техники известен способ устранения искажений изображений дистанционного зондирования, связанных со сложной траекторией движения носителя сенсора изображения (Патент РФ на изобретение №2411449, опубликовано 10.02.2011 г.), включающий получение последовательности снимков кадрового сенсора и сканирующего сенсора и их запись на запоминающее устройство, сопоставление последовательных кадров, полученных кадровым сенсором, между собой и построение траектории летательного аппарата. Устройство, работающее по этому способу, включает в себя сканирующий сенсор и кадровый сенсор, причем съемка этими двумя устройствами синхронизована во времени. Полученные кадровым сенсором снимки могут быть сопоставлены между собой с использованием корреляционного метода для последующего восстановления смещения кадров относительно друг друга и восстановления траектории движения, согласно которой происходит преобразование координат снимков сканирующего сенсора и формирование неискаженного изображения.

Недостатками известного способа являются отсутствие получения проекции снимка на географическую сетку, необходимость точной синхронизации двух съемочных устройств во времени и пространственной ориентации, а также невысокая устойчивость к высокочастотным искажениям.

Задачей настоящего изобретения является создание системы устранения геометрических искажений изображений дистанционного зондирования, полученных щелевым сенсором, с одновременным их приведением к универсальной координатной сетке, позволяющей использовать их в ГИС-приложениях.

Техническим результатом изобретения является повышение точности геометрической коррекции данных зондирования земной поверхности сканирующими съемочными системами, формирование географически привязанного изображения на основе данных сканирующей съемочной системы.

Поставленная задача решается, а указанный результат достигается тем, что в способе получения изображения дистанционного зондирования, включающем в себя получение снимка кадрового сенсора и последовательности снимков сканирующего сенсора, снимок кадрового сенсора получают независимо и географически привязывают, производят поиск точек с ярко выраженными особенностями, для которых можно установить их точное соответствие одним и тем же объектам подстилающей поверхности (опорных точек) на обоих изображениях, для кадров сканирующего сенсора, содержащих опорные точки, определяют поперечный относительно направления полета сдвиг, затем для каждого из этих кадров находят угол поворота относительно соответствующей ему опорной точки путем минимизации отличия рассчитанного движения платформы-носителя от равномерного, и, наконец, для кадров, не содержащих опорных точек, смещение и поворот интерполируют. В качестве интерполяционного метода может быть использована линейная интерполяция. В качестве кадрового сенсора может быть применена фотокамера высокого пространственного разрешения, а в качестве сканирующего сенсора возможно использование гиперспектрометра типа «pushbroom».

Предлагаемый способ поясняется схемами и фотографиями, представленными на чертежах.

Фиг. 2а - схема построения преобразования координат в предлагаемом способе, где

1 - опорная точка кадра n₁, содержащего опорную точку, до и после преобразования координат;

2 - опорная точка кадра n₂, содержащего опорную точку, до и после преобразования координат;

3 - опорная точка кадра n₃, содержащего опорную точку, до и после преобразования координат;

4 - середина отрезка, соответствующего кадру n₁, содержащего опорную точку, до и после преобразования координат;

5 - середина отрезка, соответствующего кадру m₁₂, не содержащего опорную точку. Ее положение интерполируется после окончания нахождения положений кадров, содержащих опорные точки;

6 - середина отрезка, соответствующего кадру n₂, содержащего опорную точку, до и после преобразования координат;

7 - середина отрезка, соответствующего кадру m₂₃, не содержащего опорную точку. Ее положение интерполируется после окончания нахождения положений кадров, содержащих опорные точки;

8 - середина отрезка, соответствующего кадру n₃, содержащего опорную точку, до и после преобразования координат;

Фиг. 2b - схема, иллюстрирующая трансформацию положения кадров относительно опорных точек при проведении геометрической коррекции снимка предложенным способом, где

А, В - концы отрезка, соответствующего проекции первого кадра, содержащего опорную точку, на строку в развертке снимка, полученного сканирующим сенсором;

С - опорная точка на первом из кадров, содержащих опорную точку, в развертке снимка, полученного сканирующим сенсором;

C₁ - опорная точка на втором из кадров, содержащих опорную точку, в развертке снимка, полученного сканирующим сенсором;

D, Е - концы отрезка, соответствующего проекции первого кадра, содержащего опорную точку, на референсный снимок;

F - опорная точка на референсном снимке, соответствующая опорной точке на первом из кадров, содержащих опорную точку;

F₁ - опорная точка на референсном снимке, соответствующая опорной точке на втором из кадров, содержащих опорную точку;

Фиг. 2с - схема, иллюстрирующая нахождение углов поворота проекций кадров в системе координат референсного снимка, для двух кадров, содержащих опорные точки, где

A₁, B₁ - концы отрезка, соответствующего проекции первого кадра, содержащего опорную точку;

М_1, N₁ - концы отрезка, соответствующего проекции второго кадра, содержащего опорную точку;

А - опорная точка, принадлежащая первому кадру;

N - опорная точка, принадлежащая второму кадру;

В - основание перпендикуляра, опущенного из точки N на отрезок A₁B₁;

М - основание перпендикуляра, опущенного из точки А на отрезок M₁N₁;

α, β - вспомогательные углы, рассчитываемые из ширины отрезков и расстояния между опорными точками и необходимые для построения первого приближения угла поворота проекций кадров сканирующего сенсора в системе координат референсного снимка.

Фиг. 2d - схема, иллюстрирующая оптимизацию взаимного положения проекций кадров сканирующего сенсора на систему координат референсного снимка, где

α₁, α₂, α₃, α₄, α₅, α₆, α₇, α₈ - внутренние углы четырехугольников, образованных найденными проекциями кадров на референсный снимок и линиями, попарно соединяющими концы отрезков, соответствующих этим кадрам.

Фиг. 3 - слева - изображение, полученное сканирующим гиперспектральным сенсором, после коррекции предлагаемым способом и сопоставленное с референсным снимком кадрового сенсора. Изображения получены в мае 2014 года в окрестности города Плавск Тульской области.

Для выполнения геометрической коррекции используется географически привязанный снимок кадрового сенсора высокого пространственного разрешения, в качестве которого может выступать снимок панхроматической фотокамерой космического базирования, для которой задача географической привязки снимка существенно проще таковой для рассматриваемого сканирующего сенсора со сложной траекторией платформы-носителя. В качестве сканирующего сенсора может выступать гиперспектрометр типа «pushbroom», установленный на авианоситель. Для получения геометрически откорректированного и географически привязанного изображения необходимо вычислить координаты каждого пикселя привязываемого снимка в координатной системе референсного снимка, который считается неискаженным. В предлагаемом способе это преобразование координат конструируется на основе информации о процессе съемки и опорных точек, которые могут задаваться оператором-обработчиком данных.

Для упрощения алгоритма используются следующие допущения относительно процесса съемки и исходных данных:

1. Рельеф не вносит существенных искажений в снимок.

2. Территория не содержит резких перепадов высот, а высота полета платформы изменяется плавно.

3. Углы крена и тангажа не вносят существенных искажений.

4. Съемка каждого кадра происходит единовременно для всех пикселей.

5. Опорные точки заданы с наибольшей точностью, которую позволяет выполнить качество изображений.

На основе сделанных допущений каждый кадр сканирующего сенсора проецируется в отрезок прямой линии на референсном снимке. Каждый отрезок задается 4 численными параметрами (x_r, y_r, l, a): двумя координатами центра отрезка в координатной системе референсного снимка (х_r, у_r), длиной отрезка l и углом поворота относительно нулевого положения а (в качестве нулевого положения принимается горизонтальный отрезок, вектор скорости платформы направлен вверх).

Каждая пара опорных точек задается их координатами на референсном снимке (х_r, у_r) и привязываемом снимке (x_t, y_t). Координата y_t является порядковым номером полученного сканирующим сенсором кадра и интерпретируется как целое число. Отношение расстояния от левого края строки, соответствующей кадру, до опорной точки на привязываемом снимке к длине этой строки обозначим как х_а (значение 0 соответствует точке на левом крае снимка, 1 - на правом крае). Каждая опорная точка предоставляет дополнительные данные о местоположении отрезка, соответствующего строке y_t: точка этого отрезка, которая отсекает его х_а-ю долю, фиксируется в положении (х_r, у_r). Для такого отрезка остаются неизвестными только два параметра (l, а), а параметры {х_r, у_r) могут быть вычислены на их основе. При наличии двух пар опорных точек с одинаковым y_t на их основе можно сразу вычислить точное положение соответствующего отрезка. Указание более двух пар опорных точек с одинаковым y_t не допускается. Обозначим множество номеров всех кадров, содержащих опорные точки, за N={n_i}, где n_i - порядковый номер кадра, содержащего i-ю опорную точку по ходу съемки. Примем также множество номеров кадров, не содержащих опорные точки, за {A/N}={m_i,i+i}, где А - множество всех номеров кадров, a i денотирует более ранний по ходу съемки по сравнению с рассматриваемым кадр, содержащий опорную точку (если такого кадра нет, i=0). Нумерацию кадров, не содержащих опорные точки, в подпоследовательности {m_i,i+1} для фиксированного i будем вести с помощью верхних индексов. Так, номер первого из кадров, содержащих опорную точку, в принятых обозначениях будет записан как n₁; кадр, не содержащий опорной точки и находящийся между вторым и третьим кадрами, содержащими опорные точки, будет записан как m₂₃, при рассмотрении нескольких таких кадров нотация может выглядеть как ; для 17 и 42 кадра из подпоследовательности номеров, лежащих между вторым и третьим кадрами, содержащими опорные точки соответственно.

Алгоритм работает следующим образом. Полученные сканирующим сенсором данные развертываются в прямоугольное изображение, которое бы соответствовало снимку поверхности при равномерном и прямолинейном движении платформы-носителя, как показано на фиг. 1.

Далее на референсном снимке и полученной развертке находят пары опорных точек, соответствующих одним и тем же объектам подстилающей поверхности. Этот поиск может производиться оператором-обработчиком данных. После нахождения пар опорных точек происходит идентификация кадров, в которых расположены опорные точки. Список кадров переупорядочивается в соответствии с последовательностью съемки.

На следующем этапе выполняется детектирование ширины отрезков l. Для этого последовательно рассматриваются пары найденных кадров и анализируются данные соответствующих пар опорных точек (С, F) и (С_1, F₁) (фиг. 2b) с координатами (x_t1, y_t1, x_r1, y_r1) и (x_t2, y_t2, x_r2, y_r2). Индекс 1 соответствует кадру, снятому ранее, а 2 - кадру, снятому позднее; индекс t обозначает привязываемый снимок, r - референсный снимок. При задании опорных точек оператором-обработчиком данных пара исключается из рассмотрения, если для какой-либо из точек оператор установил фиксированную ширину. В остальных случаях пара используется для вычисления ширины отрезков, если выполняется условие y_t2-у_t1<p_dw, где p_dw - параметр алгоритма, который выражается в количестве пикселей снимка и подбирается экспериментально (так, может использоваться значение p_dw=20). Другими словами, отрезки должны находиться достаточно близко друг к другу по времени съемки. Обозначим ширину привязываемого снимка в пикселях как w_t, а высоту (количество кадров) как h_t. В окрестности рассматриваемой пары кадров предполагается отсутствие искажений, поэтому можно вычислить ширину образа привязываемого снимка на референсном снимке на основе ширины привязываемого снимка и известных расстояний между опорными точками:

Вычисленная ширина присваивается обоим отрезкам, участвовавшим в вычислении.

Далее ширины отрезков вычисляются для остальных отрезков, в которых присутствуют опорные точки. Если некий отрезок находится между двумя отрезками с вычисленной шириной, то его ширина вычисляется линейной интерполяцией между этими отрезками (используется ближайший отрезок с каждой стороны), т.е. предполагается линейная зависимость ширины отрезка от номера строки (кадра). Если же все отрезки, которым на предыдущем этапе была присвоена ширина, находятся только по одну сторону от рассматриваемого отрезка (например, отрезок находится в начале или конце снимка), то для него используется ширина ближайшего подходящего отрезка. Таким образом, каждый отрезок, содержащий опорную точку, получает значение ширины w_r.

На следующем этапе вычисляются предпочтительные углы поворота для каждой пары отрезков. Вычисления производятся в координатной системе референсного снимка. Для упрощения расчетов различием ширины отрезков на этом шаге можно пренебречь, используется ширина первого отрезка из пары (на следующем шаге углы будут оптимизированы с учетом различий ширины). Каждый отрезок может вращаться вокруг своей опорной точки. Нужно найти угол, при котором два отрезка образуют прямоугольник. Обозначим отрезки в этом положении как A₁B₁ и M₁N₁, а их опорные точки А ∈ A₁B₁ и N ∈ M₁N₁ (фиг. 2с). A₁B₁N₁M₁ - прямоугольник. Не теряя общности, положим A₁A≤M₁N. Опустим перпендикуляры AM на M₁N₁ и NB на A₁B₁, построив таким образом прямоугольник ABNM. Далее, Поворот относительно нулевого положения (вектора (1, 0)) вычисляется как а финальный угол поворота вектора равен γ=α+β. Для случая A₁A>M₁N можно провести аналогичные вычисления. В этом случае α и β можно вычислить по тем же формулам, а итоговый угол поворота равен γ=α+π-β.

Для каждого отрезка, кроме отрезков с первой и последней опорной точкой, вычислено два угла - по одному для каждого из соседних отрезков. Начальный поворот такого отрезка вычисляется как взвешенное среднее между этими двумя углами, а вес слагаемого обратно пропорционален числу кадров между отрезками соответствующей пары:

Таким образом, чем ближе соседний отрезок к рассматриваемому отрезку, тем больше он влияет на его начальный угол поворота.

Полученный угол поворота отрезков вычислен без учета разницы в длине отрезков и положения других отрезков. Далее выполняется итеративная оптимизация углов поворотов с учетом длин и взаимного положения отрезков. На каждой итерации для каждого отрезка рассматриваются два альтернативных положения, повернутые относительно текущего на Δγ по и против часовой стрелки (может использоваться значение Δγ=0,3°). Рассматриваются четырехугольники, образованные этим отрезком, соседними отрезками и боковыми сторонами снимка (фиг. 2d, рассматриваемый отрезок обозначен пунктиром). Из двух положений выбирается то, которое обеспечивает наименьшее значение оптимизационной метрики, в качестве которой может использоваться следующая величина:

т.е. то, при котором четырехугольники приближаются к форме прямоугольника, что соответствует идеальному прямолинейному движению между опорными точками. В конце итерации все отрезки поворачиваются в соответствии с выбранным положением. Для определения стабилизации системы анализируется суммарный (со знаком) угол поворота всех отрезков за последние k итераций (k может быть принято равным 10). Если он меньше 2Δγ, то система стабилизировалась и можно прекращать итерации. Отсутствие стабилизации системы за разумное число итераций свидетельствует об ошибке в расстановке опорных точек или ошибочному определению ширины отрезков, которые приводят к нарушению ориентации четырехугольников, по которым считается метрика.

Полученные повороты отрезков, содержащих опорные точки, считаются окончательными. На основе этих поворотов и положений опорных точек вычисляются координаты центров отрезков. Затем с помощью линейной интерполяции вычисляются координаты центров, длины и углы поворота отрезков, на которых нет опорных точек. При отсутствии отрезков с опорными точками с обеих сторон от рассматриваемого отрезка (т.е. если отрезок расположен до первой опорной точки или после последней) используется угол и ширина ближайшего отрезка с опорной точкой, а положение центра вычисляется линейной интерполяцией по двум ближайшим отрезкам с опорными точками, несмотря на то что они расположены по одну сторону от отрезка. Такое вычисление соответствует предположению о прямолинейности движения платформы на участках снимка, не содержащих опорных точек.

Это проиллюстрировано на фиг. 2а.

Наконец, по полученным координатам строится геометрически откорректированное изображение, которое также является географически привязанным в силу того, что новые координаты пикселей снимка заданы в системе координат референсного снимка, который является географически привязанным.

Предлагаемый способ был использован для анализа состояния сельскохозяйственных культур возле города Плавск Тульской области на основе данных гиперспектрального дистанционного зондирования (результат коррекции показан на фиг. 3), что свидетельствует о его промышленной применимости.