Способ дешифрации изображений

Изобретение относится к области дешифрации изображений, получаемых от датчиков изображения, например телевизионных и тепловизионных камер, в режиме реального времени на борту летательных аппаратов гражданского назначения. Изобретение может быть использовано для улучшения точности построения двухмерных и трехмерных карт и моделей местности, в том числе и специализированной системой улучшенного видения на дисплее пилота, используемой для повышения ситуационной осведомленности пилота и принятия им решений по изменению траектории полета летательного аппарата.

Система улучшенного видения EVS - это электронное средство обеспечения летного экипажа изображением внешней обстановки, полученным либо непосредственно от датчиков, либо предварительно обработанным (улучшенным). В качестве датчика изображения может использоваться инфракрасная камера, радиолокатор миллиметрового диапазона и др. Добавление каждого сенсора в систему при комплексировании его информации с другими источниками потенциально приводит к увеличению возможности получить дополнительные эксплуатационные преимущества.

Для решения задач дешифрации изображений, в том числе аэрофотоснимков, полученных от бортовых камер летательного аппарата, бортовые системы улучшенного зрения выполняют ряд действий, среди которых можно выделить:

- формирование изображений;

- сегментация изображений;

- классификация образов на изображении;

- визуализация результатов дешифрации изображений.

Оценка качества работы модулей бортовых систем улучшенного зрения, выполняющих дешифрацию изображений, например аэрофотосъемки, производится путем

- оценки среднего и максимального времени выполнения дешифрации;

- оценки точности дешифрации путем оценки процентного соотношения количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на изображении;

- оценки диапазона условий применения дешифрации.

Оценка качества работы модулей производится на тестовом наборе изображений, репрезентативно покрывающем множество возможных комбинаций погодных условий, времени съемок, времен года и прочих факторов, влияющих на качество выполнения съемки для конкретного климата, природных условий и тому подобных характеристик местности.

Одним из самых популярных подходов является подход, базирующийся на применении дерева принятия решений для сегментации и распознавания изображений. Дерево принятия решений может быть реализовано аппаратно. Обладая низкими временными затратами на дешифрацию изображений, данный подход имеет низкую точность распознавания 50-60% образов объектов и узкий диапазон условий применения, так как аппаратный модуль, реализующий дерево принятия решений, требует перенастройки под различные погодные условия, различные времена года и т.п. даже для одного изображения.

Другим широко известным подходом является метод, основанный на применении эвристических систем дешифрации изображений, в состав которых входят различные концепции теории искусственного интеллекта и теории машинного обучения. Нередко в состав таких систем включаются искусственные нейронные сети, однако, учитывая общую концепцию данных систем, все вычисления выполняются, как правило, на специализированном вычислительном устройстве, состоящем из центрального процессора и одного или нескольких графических процессоров, с помощью которых достигается распараллеливание вычислений. Данный подход существенно проигрывает по времени выполнения подходам, реализованным полностью аппаратно, однако он лучше подхода, основанного на дереве принятия решений, с точки зрения точности и возможного диапазона дешифрации, поскольку имеет больше возможностей по тонкой настройке.

Известен способ дешифрации изображений, основанный на применении охлаждаемых инфракрасных датчиков, реализованный, в частности, компанией Kollsman Inc. (США) в системах Kollsman All Weather Window - всепогодная система дневного применения и Kollsman Night Window - система ночного применения. К недостаткам данного подхода относятся низкие показатели по точности дешифрации изображений в условиях плохой погоды (тумана, дымки и т.п.) из-за отсутствия в системе датчиков, работающих в видимом диапазоне частот. В отличие от данного подхода заявляемый способ содержит в своем составе датчики, работающие в видимых диапазонах частот.

Наиболее близкими к заявленному техническому решению являются аппаратные комплексы дешифрации изображений, основанные на применении датчиков, работающих в видимом диапазоне, и датчиков, работающих в ближнем инфракрасном диапазоне, реализованные, в частности, компанией CMC Electronics (Канада) в системах СМА-2600 I-Series и СМА-2610 M-Series. К недостаткам данного подхода относят низкие показатели по точности дешифрации изображений из-за применения для дешифрации неинтеллектуальных алгоритмов компьютерного зрения, основанных на простейших операциях обработки изображений, например, таких как пороговая обработка, морфологические операции. В отличие от данного подхода в заявляемом способе дешифрация изображений осуществляется с помощью методов теории искусственного интеллекта, в частности с помощью искусственных нейронных сетей.

Технический результат заявляемого изобретения состоит в улучшении основных эксплуатационных параметров бортовых систем улучшенного видения - качества детектирования объектов на изображении, оцениваемого как процентное соотношение количества правильно распознанных образов объектов и количества неправильно распознанных образов объектов на наборе модельных изображений, репрезентативно покрывающем характерные сцены, анализируемые бортовыми системами улучшенного видения при полетах над средней полосой России, а также в уменьшении времени обработки одного кадра.

Для достижения низких временных показателей, высоких показателей точности и широкой применимости процесса дешифрации в настоящем изобретении используется подход, основанный на применении сегментатора, выполненного по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации; классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети; предусмотрено введение дополнительных кеширующих банков памяти, позволяющих эвристически оптимизировать работу за счет кеширования отдельных результатов работы сегментатора и классификатора, позволяющих эвристически оптимизировать работу программно-аппаратного комплекса за счет кеширования отдельных результатов.

Заявляемое изобретение иллюстрируется Фиг. 1.

Фиг. 1. Блок-схема способа дешифрации изображений.

Изобретение осуществляется следующим образом.

Аппаратный комплекс дешифрации изображений состоит из блока «Регистрация изображения», блока «Сегментатор», блока «Классификатор» и блока «Визуализация».

Блок «Регистрация изображения», выполненный по технологии программируемой логической интегральной схемы, получает по шине Ethernet исходные изображения от телевизионной и тепловизионной камер, выполняет их объединение в одно изображение и расширяет цветовой диапазон изображения до 16 бит на спектральный канал, после чего передает результирующее изображение на вход блока «Сегментатор».

Блок «Сегментатор» представляет собой набор модулей, связанных друг с другом шинами передачи данных, выполненных по технологии PCIe. Модуль «Построение дерева изображений» выполняет кратномасштабную обработку изображений (пять уровней), на каждом шаге уменьшая изображение в два раза путем усреднения его элементов. Модули «Простой сегментатор 1», «Простой сегментатор 5» выполняют сегментацию соответствующего уровня дерева изображений с помощью многомерной нейронной карты Кохонена, передавая результат обработки на вход блока «Классификатор».

Блок «Классификатор» выполняет классификацию образов на изображении. Блок содержит несколько модулей, выполненных в виде ПЛИС. Модуль «Очередь» реализует очередь изображений, получаемых от блока «Классификатор». Блок «Дерево классификаторов» управляет деревом классификаторов - передает на вход блока «Простой классификатор» вектор параметров классификатора, зависящий от уровня классификатора в дереве классификаторов, погодных условий съемки, времени года съемки и прочих факторов, а также передает соответствующее изображение. Результат своей работы блок «Простой классификатор» передает обратно блоку «Дерево классификаторов», который выполняет анализ результатов и принимает решение о дальнейшей необходимости классификации или принимает решение о выдаче результатов классификации образов объектов, выделенных на обрабатываемом изображении, на блок «Визуализация».

Блок «Визуализация», выполненный в виде ПЛИС, упорядочивает результаты классификации и передает их по шине Ethernet в систему улучшенного видения.

Отличительные особенности заявляемого изобретения:

- сегментатор выполнен по пирамидальной схеме, предполагающей сегментацию различных изображений на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшее объединение результатов сегментации;

- классификатор состоит из нейронных сетей прямого распространения без обратных связей, обучение которых выполняется с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети;

- введены дополнительные кеширующие банки памяти, позволяющие эвристически оптимизировать осуществление способа за счет кеширования отдельных результатов работы сегментатора и классификатора.

Заявляемое изобретение позволяет достичь точности распознавания образов объектов равной 97,12% от общего количества образов объектов, а также времени обработки кадра размером 2000 на 2000 пикселей, состоящем из пяти спектральных каналов видимого и ближнего инфракрасного диапазонов, в 0,031 секунды, что равно примерно 32-м кадрам в секунду и удовлетворяет требованиям, предъявляемым к бортовой системе улучшенного видения, функционирующей в режиме реального времени.