СПОСОБ ВИЗУАЛИЗАЦИИ ОБЪЕКТА

Изобретение относится к области информационных технологий, компьютерной техники, а именно обработке и генерации данных изображения, обработке изображений для машинной графики, и может быть использовано для поиска, извлечения и обработки и отображения данных изображения.

Наиболее близким по технической сущности является способ захвата изображения, содержащий этапы, на которых: захватывают цифровое изображение; получают информацию позиции захвата изображения, указывающую позицию, в которой захвачено цифровое изображение; получают информацию направления захвата изображения, указывающую направление, в котором захвачено цифровое изображение; получают множество элементов дополнительной информации из устройства хранения дополнительной информации, которое хранит множество элементов дополнительной информации, при этом в множестве элементов дополнительной информации каждый элемент соответствует заранее заданному объекту, и каждый элемент содержит информацию позиции объекта, указывающую позицию соответствующего одного из объектов; разделяют на подполя пространство обзора, определенное информацией позиции захвата изображения и информацией направления захвата изображения, и выбирают для каждого из подполей соответствующий один или более элементов дополнительной информации, имеющих количество, не превышающее количество, которое установлено в соответствующем одном из подполей, среди множества элементов дополнительной информации, содержащего множество элементов информации позиций объектов, соответственно указывающих позиции, содержащиеся в подполях; и отображают соответствующий один или более элементов из множества элементов дополнительной информации с наложением на цифровое изображение, причем соответствующий один или более элементов из множества элементов дополнительной информации выбраны на упомянутом этапе выбора (см. RU 2463663 С2, кл. G06T 19/00, G06T 11/60).

Известный способ может быть реализован для визуализации и фильтрации дополнительной информации наземных ориентиров, накладываемой на изображение местности, захваченное с помощью видеокамеры.

Недостатком известного способа является ограниченность его применения лишь отображением ориентиров местности и требует получения данных о направлении и позиции захвата. Известный способ не может быть использован для отображения дополнительной информации о движимых объектах или объектах, не привязанных к местности. Кроме того, необходимость получения данных о позиции и направлении захвата изображения подразумевает наличие соответствующих координатных систем, например GPS и компаса, которые не достаточно точны (особенно в условиях перепада высот местности или в условиях городской застройки).

Указанные недостатки ограничивают область применения известного способа.

Техническим результатом является расширение области применения за счет обеспечения возможности идентифицировать объект на захваченном изображении на основе данных изображения самого объекта, а также повышения точности локализации визуализируемого объекта.

Указанный результат достигается тем, что в способе визуализации объекта, заключающемся в захвате цифрового изображения, получении элементов дополнительной информации из электронной памяти, которое хранит множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, отображении, по меньшей мере, одного элемента из множества элементов дополнительной информации с наложением на цифровое изображение, при этом помимо дополнительной информации об объекте в электронной памяти хранят данные образов соответствующих объектов, осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения, используя полученные из электронной памяти данные образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении, если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом, захват изображения осуществляют цифровой камерой устройства визуализации и выводят его на дисплей.

Кроме того: - осуществляют распознавание объекта на основе данных изображения его формы, и/или цвета, и/или текстуры;

- выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта, является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4…, или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию на нем объекта;

- данные образов объектов включают, по меньшей мере, общие признаки и специальные признаки, при этом обнаружение и распознавание объектов осуществляют в следующей последовательности, используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, вычисляют координаты обнаруженного объекта на выбранном кадре, используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения;

- вычисляют ожидаемые координаты объекта в следующем кадре на основе координат объекта в предыдущих кадрах и ограничивают область распознавания объекта на следующем кадре множеством указанных ожидаемых координат объекта, при этом если время отсутствия распознавания объекта на указанной ограниченной области распознавания в последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всем выбранном кадре;

- выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения;

- выделение распознанного объекта осуществляют путем подсвечивания части изображения, содержащего изображение объекта;

- захват изображения осуществляют камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения;

- создание данных образов объектов и занесение их в электронную память осуществляют предварительно.

Способ визуализации объекта поясняется с помощью чертежей, где на фиг. 1 показана структурная схема устройства для реализации способа визуализации объекта, выполненного на основе цифрового фотоаппарата, на фиг. 2 представлено реальное изображение, на котором присутствует объект и изображение визуализированного объекта на мобильном устройстве визуализации, на фиг. 3 - структурная схема работы вычислительных средств устройства визуализации, на фиг. 4 - функциональная схема вычислительных средств.

На чертежах сделаны следующие обозначения: 1 - видеокамера, 2 - вычислительные средства (вычислительная машина), 3 - сервер, 4 - цифровой дисплей, 5 - сеть интернет, 6 - электронная память, 7 - устройство связи с сервером - модем, 8 - изображение реального объекта, 9 - визуализированное изображение объекта, 10 - дополнительная информация, 11 - мобильное устройство визуализации, 12 - захват изображения и вывод его на дисплей устройства визуализации, 13 - обращение к электронной памяти и извлечение данных образа объекта, 14 - анализ цифрового изображения на предмет обнаружения объекта, 15 - вычисление координат объекта на захваченном изображении, 16 - сравнение длительности отсутствия обнаружения объектов на выбранных кадрах с пороговым значением времени T_min, 17 - распознавание объекта, 18 - выделение объекта, 19 - обращение к электронной памяти и извлечение дополнительной информации, 20 - формирование сигнала наложения дополнительной информации на захваченное изображения для вывода на дисплей, 21 - вывод дополнительной информации на дисплей, 22 - анализ наличия сигнала цифрового изображения, 23 - завершение программы в случае отсутствия цифрового изображения, 24 - переход к следующему выбранному кадру, 25 - цифровой фотоаппарат (видеокамера), 26 - средства извлечения данных образа объектов, 27 - средства обнаружения объекта в кадре видеоизображения, 28 - средства вычисления координат объекта в кадре, 29 - средства вычисления ожидаемых координат объекта в следующем кадре, 30 - средства извлечения дополнительной информации из электронной памяти, 31 - средства формирования сигнала наложения дополнительной информации и подсвечивания объекта, 32 - цифровое изображение с выхода видеокамеры, 33 - данные образов объектов и дополнительная информация, сохраняемая в электронной памяти, 34 - сигнал визуализации объекта для вывода на дисплей.

Способ визуализации объекта заключается в том, что предварительно создают образы объектов и множество элементов дополнительной информации, каждый из которых соответствует заранее заданному объекту, связанной с объектами, и заносят их в электронную память.

Захватывают изображение цифровой камерой устройства визуализации и выводят на дисплей, затем осуществляют обнаружение и распознавание, по меньшей мере, одного объекта в каждом выбранном кадре захваченного изображения на основе данных изображения его формы, и/или цвета, и/или текстуры, используя полученную из электронной памяти информацию образа объекта, вычисляют координаты обнаруженного объекта на захваченном изображении, получают из электронной памяти и отображают, по меньшей мере, один элемент дополнительной информации в непосредственной близости от соответствующего объекта на выводимом на дисплей захваченном изображении с наложением на цифровое изображение. При этом если обнаруженный и распознанный на предыдущих выбранных кадрах объект перестал обнаруживаться на последующих выбранных кадрах в течение установленного заранее времени, то делают вывод об отсутствии объекта на захваченном изображении и прекращают вывод дополнительной информации, связанной с объектом.

При этом каждым выбранным кадром захваченного изображения, на котором осуществляют обнаружение и распознавание объекта, является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4…, или каждый кадр, сформированный к моменту готовности вычислительных средств к обнаружению и распознаванию объекта.

Данные образов объектов содержат, по меньшей мере, общие признаки, характерные для всех обнаруживаемых объектов, и специальные признаки, характерные лишь для конкретного объекта. Используя общие признаки образов объектов, осуществляют обнаружения объекта на выбранном кадре, на всей его площади, вычисляют координаты обнаруженного объекта на выбранном кадре, а затем используя специальные признаки образов объектов, осуществляют распознавание объекта в выбранном кадре захваченного изображения.

При распознавании уже обнаруженного ранее на предыдущих выбранных кадрах объекта осуществляют на ограниченной площади кадра, координаты которой прогнозируют на основе вычисленных координат объекта на предыдущих выбранных кадрах. При этом если время отсутствия обнаружения объекта на указанной ограниченной площади последующих выбранных кадрах превысит установленное заранее пороговое значение, то далее обнаружение вновь осуществляют на всей площади выбранного кадра.

Выделяют область расположения обнаруженного и распознанного объекта на дисплее при выводе захваченного изображения путем подсвечивания части изображения, содержащего изображение объекта.

Захват изображения осуществляют цифровой камерой устройства визуализации, содержащего дисплей для вывода захваченного изображения, вычислительные средства и электронную память.

Способ визуализации объекта реализуется следующим образом.

Предварительно определяют состав объектов визуализации и создают их образы для использования в процессе обнаружения и распознавания изображений этих объектов. Образы объектов представляют собой наборы признаков изображения объекта, характерных для соответствующего объекта, используемые в процессе обнаружения и распознавания изображения объекта на захваченном изображении. При этом образы объектов представляют собой, по меньшей мере, две группы признаков, одна из которых - общие, характерные для всех установленных заранее объектов. Признаки этой группы используют для определения факта наличия любого объекта на изображении, то есть обнаружения объекта. Признаки другой группы используют для распознавания конкретного объекта на изображении.

Создают также массив дополнительной информации, относящейся к определенным ранее указанным объектам в виде элементов дополнительной информации, ассоциируемых с одним из указанных объектов, такой как текст, изображение или мультимедиа. Сохраняют в электронной памяти, соединенной с устройством визуализации, данные образов объектов и дополнительную информацию об этих объектах вместе с данными о связях элементов дополнительной информации с конкретными объектами.

После включения видеокамеры устройства визуализации осуществляют захват изображения с помощью видеокамеры, и отображение его на дисплее устройства визуализации. Захваченное цифровое изображение направляют в виде сигналов на вход вычислительных средств.

Вычислительные средства обращаются к электронной памяти в процессе обнаружения и распознавания заранее определенных указанных объектов на захваченном изображении, используя ранее созданные образы объектов. Распознавание объекта осуществляют на каждом выбранном кадре видеоизображения, на основе данных изображения его формы, и/или цвета, и/или текстуры. При этом каждым выбранным кадром является каждый n-й кадр видеоизображения, где n - натуральное число 1, 2, 3, 4… Однако, если же производительность вычислительных средств недостаточна для обработки каждого n-го кадра, то выбранным кадром является каждый кадр видеоизображения, сформированный к моменту, когда вычислительные средства закончат предыдущий цикл обработки и будут готовы к обработке нового кадра для обнаружения и распознавания объекта.

Обнаружение и распознавание объектов осуществляют в несколько этапов, вначале используя общие признаки образов, характерные для всех объектов, осуществляют обнаружение объекта на выбранном кадре, в пределах всего кадра. Факт обнаружения свидетельствует о наличии одного из объектов без конкретизации, какой именно объект обнаружен. Далее вычисляют координаты обнаруженного объекта на выбранном кадре и затем, используя специальные признаки образов объектов, осуществляют распознавание конкретного объекта в выбранном кадре захваченного изображения, учитывая координаты обнаруженного объекта.

В целях экономии ресурсов устройства визуализации и повышения быстродействия визуализации объекта, распознавание уже обнаруженного на предыдущем выбранном кадре объекта осуществляют не по всей площади выбранного кадра, а на ограниченной его площади. Координаты этой площади прогнозируют на основе значений вычисленных координат объекта на предыдущих выбранных кадрах. Однако, если время, в течение которого обнаружение объекта на указанной ограниченной площади в последующих выбранных кадрах прекратилось, превысит установленное заранее пороговое значение, например, 100 кадров захваченного видеоизображения, то далее обнаружение вновь осуществляют на всей площади выбранного кадра.

При наличии факта распознавания одного из указанных объектов обращаются к массиву дополнительной информации, сохраняемой в электронной памяти и извлекают элементы дополнительной информации, ассоциируемые или связанные с распознанным объектом.

Далее формируют цифровой сигнал изображения дополнительной информации и отображают, по меньшей мере, один элемент из множества элементов дополнительной информации, определенный ранее как связанный с обнаруженным объектом путем наложения элементов дополнительной информации на цифровое видеоизображение с видеокамеры устройства визуализации. Выделяют также обнаруженный объект на выводимом на дисплей изображении путем подсветки места изображения объекта.

Вывод дополнительной информации на дисплее осуществляют так, чтобы дополнительная информация располагалась на выводимом изображении вблизи изображения соответствующего обнаруженного и распознанного объекта.

Если на последующем кадре захваченного изображения не удается обнаружить объект, в отношении которого уже визуализируется ассоциируемая с ним дополнительная информация, то вывода дополнительной информации на дисплей продолжают в течение установленного заранее времени, по истечении которого, если изображение объекта обнаруживают вновь, то делают вывод о наличии объекта и продолжении вывода дополнительной информации, если же в течение установленного времени обнаружить объект не удается, то делают вывод об отсутствии объекта на захваченном изображении и прекращении вывода дополнительной информации на дисплей.

Распознавание объекта на видеоизображении обеспечивает возможность идентификации конкретного объекта по его внешним признакам, что в свою очередь обеспечивает возможность осуществления способа без всякой привязки к местности или карте и идентифицировать в том числе движущиеся или перемещаемые объекты.

Благодаря обнаружению и распознаванию объекта непосредственно на видеоизображении и отслеживанию координат перемещающегося объекта в кадре, обеспечивается высокая точность локализации объекта на изображении, которая не зависит от ограничений каких-либо навигационных систем.

Вычислительные средства устройства визуализации выполнены на основе процессора, работающего под управлением соответствующей операционной системы. Схема работы вычислительных средств при реализации способа визуализации объекта включает следующие основные этапы (Фиг. 3).

Начало работы связано с включением видеокамеры и формированием цифрового изображения, которое в реальном времени выводят на дисплей устройства визуализации. Сформированное цифровое изображение подают на вход вычислительных средств, которые при появлении сигнала начинают обращаться к электронной памяти, где хранятся данные эталонных образов объектов, используемые при обнаружении и распознавании объектов. Обнаружение объекта повторяют на каждом выбранном кадре видеоизображения.

Если на захваченном видеокамерой изображении обнаруживают наличие объекта, то осуществляют вычисление его координат, которые используют, в частности, для работы средств прогнозирования координат объекта, обеспечивающих вычисление предполагаемых координат на будущем кадре.

Осуществляют распознавание обнаруженного объекта на вычисленных координатах кадра, в результате чего изображение обнаруженного объекта отождествляют с реальным объектом, попавшим в поле зрения видеокамеры.

Распознавание в последующих выбранных кадрах осуществляют на ограниченной площади кадра, координаты которой вычисляют средства прогнозирования координат объекта. Если в течение установленного заранее времени T_min обнаружить объект на этой ограниченной площади кадра не удается, то обнаружение вновь выполняют по всей площади выбранного кадра. Таким образом, осуществляют одновременно отслеживание перемещения обнаруженного объекта в пределах кадра.

Вычислительные средства осуществляют обращение к электронной памяти для извлечения связанной с обнаруженным и распознанным объектом дополнительной информации.

Вычисленные координаты объекта используют также для привязки изображений дополнительной информации и выделения области нахождения изображения объекта на захваченном изображении.

Формируют сигнал вывода и наложения дополнительной информации на выводимое захваченное изображение и выводят дополнительную информацию дисплей устройства визуализации с учетом координат объекта на выводимом изображении.

Если в результате анализа цифрового изображения на текущем выбранном кадре обнаружить изображение объекта не удается, процесс анализа изображения продолжают при поступлении следующего выбранного кадра изображения. Анализ изображения продолжают до тех пор, пока запущена соответствующая программа.

Осуществляют также анализ наличия цифрового изображения на входе вычислительных средств. Если сигнал цифрового изображения поступает на вход вычислительных средств, процесс повторяется на каждом выбранном кадре, обеспечивая отслеживание перемещения изображения объекта на захваченном изображении и соответствующую корректировку визуализируемой дополнительной информации.

Процесс визуализации объекта заканчивают при отсутствии сигнала цифрового изображения, которое означает, например, отключение видеокамеры. Формируют команду на завершение программы.

Функциональная схема вычислительных средств (Фиг. 4) показывает взаимосвязь между элементами множества средств, обеспечивающих осуществление способа. Цифровое видеоизображение подают на средства обнаружения объекта, куда также поступают данные образов объектов с выхода средств извлечения образов объектов. Результаты обнаружения подают на средства вычисления координат, результаты вычисления которых анализируют в средствах вычисления ожидаемых координат объекта в следующем кадре. Текущие и ожидаемые координаты подают на входы средств распознавания, куда заводят также видеоизображение и данные образов. По результатам распознавания средства извлечения дополнительной информации получают дополнительную информацию, ассоциированную с объектом, и направляют ее на средства формирования сигнала, содержащего дополнительную информацию, для наложения ее на захваченное видеоизображение.

Пример 1

Устройством визуализации служит мобильное устройство (Фиг. 2), содержащее фронтальную видеокамеру, вычислительные средства на основе процессора, электронную память для хранения образов объектов и дополнительной информации и дисплей.

Во встроенную или съемную память мобильного устройства визуализации заносят созданные заранее данные образов объектов и дополнительную информацию, связанную с этими объектами.

Для визуализации объекта наводят видеокамеру на объект, предназначенный для отображения, и осуществляют захват изображения с помощью видеокамеры. При этом угол обзора объектива видеокамеры и расстояние до объекта выбирают так, чтобы на захваченном изображении была видна большая часть объекта или объект был представлен целиком. Захваченное изображение отображают на дисплее мобильного устройства визуализации.

Направляют сигналы цифрового изображения также на вход вычислительных средств, которые, при наличии на входе сигналов захваченного изображения, обращаются к электронной памяти, извлекая данные образов объектов для обнаружения и распознавания объекта на захваченном изображении. При распознавании используют такие признаки изображения объекта как контур, сформированный границами перепадов цветов и яркости, цвет и цветовые соотношения, наличие регулярных элементов, характеризующих текстуру и пр.

В процессе обнаружения используют общие для всех объектов признаки образов объектов. Результатом операции обнаружения может быть одно из двух событий: либо наличие объекта в выбранном кадре обнаружено, либо обнаружение отсутствует.

В первом случае вычисляют координаты объекта в кадре и, используя специальные признаки образов объектов, осуществляют распознавание обнаруженного объекта.

Координаты обнаруженного объекта в нескольких предыдущих выбранных кадрах используют для прогнозирования координат объекта в последующем кадре, формируя множество ожидаемых координат объекта, что позволяет снизить требования к производительности устройства визуализации. Распознавание в этом случае осуществляют на следующем кадре в пределах ограниченной площади или области кадра. Если в последующих выбранных кадрах в течении двух секунд объект не обнаруживают, то далее вновь переходят к обработке всего кадра изображения для обнаружения объекта.

После обнаружения и распознавания объекта на захваченном изображении, вычислительные средства, обращаясь к электронной памяти, извлекают связанную с обнаруженным и распознанным объектом дополнительную информацию, которую выводят на дисплей путем наложения на отображаемое захваченное изображение. Дополнительная информация представляет собой текст, содержащий буквы и/или цифры имеющий пояснительный или описательный характер, относящийся к обнаруженному объекту, а также изображения и мультимедийную информацию.

Отображаемую дополнительную информацию визуализируют на полупрозрачном транспаранте и выводят в непосредственной близости от изображения обнаруженного и распознанного объекта. Область изображения самого объекта при этом подсвечивается, так, что изображение объекта становится более ярким по сравнению с фоновым.

Если в процессе вывода дополнительной информации обнаружение и распознавание прекратилось и в течение 1 с. не возобновилось, то вывод дополнительной информации прекращают.

Пример 2

Устройством визуализации служит цифровой фотоаппарат (Фиг. 1), снабженный объективом с матрицей формирования цифрового изображения, образующих видеокамеру, цифровым дисплеем, вычислительными средствами с электронной памятью и устройством связи с сервером - модемом для связи вычислительных средств с сервером по радиоканалу с использованием сети Интернет. Сервер, обеспечивает хранение данных образов объектов и дополнительной информации.

Образы объектов для их обнаружения и распознавания, а также дополнительную информацию создают заранее и сохраняют на сервере, с возможностью связи с ним посредством сети Интернет и извлечения хранящейся на нем информации.

В процессе осуществления съемки наводят объектив фотоаппарата на объект съемки и осуществляют захват изображения, при этом формируемое матрицей видеоизображение выводят на дисплей фотоаппарата.

Захваченное цифровое изображение передают также на вход вычислительных средств, которые посредством модема через сеть Интернет связаны с сервером. Захваченное изображение после сжатия на вычислительных средствах передают на сервер, где осуществляют обработку изображения в целях обнаружения признаков объектов на изображении с использованием ранее созданных и хранящихся в памяти сервера образов.

При наличии факта обнаружения объекта на изображении и его распознавании из электронной памяти извлекают связанную с обнаруженным объектом дополнительную информацию и передают посредством сети Интернет соответствующий образ и дополнительную информацию на вход модема и затем в электронную память фотоаппарата.

С помощью вычислительных средств фотоаппарата осуществляют распознавание изображение объекта на захваченном изображении, извлекают из электронной памяти фотоаппарата связанную с объектом дополнительную информацию и визуализируют на дисплее фотоаппарата дополнительную информацию на выводимом захваченном изображении. При этом визуализируют изображение так, что обнаруженный и распознанный объект отображается в квадратной или овальной рамке, сформированной яркими линиями, а дополнительную информацию накладывают на изображение в непосредственной близости от изображения объекта.

Пример 3

Устройством визуализации являются очки со встроенными видеокамерой, вычислительными средствами с электронной памятью и дисплеем.

В электронной памяти устройства визуализации хранят заранее созданные образы объектов и массив дополнительной информации.

На дисплее устройства визуализации отображают изображение, захваченное фронтальной видеокамерой, встроенной в оправу очков. Захваченное цифровое изображение передают также для обработки на вычислительные средства, которые, обращаясь к электронной памяти, получают образы объектов и обеспечивают обнаружение и распознавание объектов на захваченном изображении. После распознавания объекта область вокруг объекта на дисплее выделяют прямоугольной рамкой, сформированной яркими линиями, которые накладывают на выводимое захваченное изображение и извлекают дополнительную информацию из электронной памяти, которую в виде изображения накладывают на выводимое захваченное изображение в непосредственной близости от обнаруженного объекта.

Вычислительные средства обеспечивают вычисление координат обнаруженного объекта на захваченном видеоизображении, которые используют при выборе координат визуализации рамки выделения объекта и дополнительной информации, так, что положение рамки и размещение дополнительной информации сопровождают изображение объекта при его перемещении, пока объект обнаружен на изображении.

Если в процессе вывода дополнительной информации обнаружение и распознавание обнаруженного ранее объекта прекратилось и в течение 30 выбранных кадров захваченного видеоизображения не возобновляется вновь, то прекращают вывод дополнительной информации и рамки выделения объекта.

Устройство визуализации объекта может быть выполнено при использовании стандартных электронных компонентов: LED дисплеев, процессоров, элементов твердотельной памяти, модемов и пр.

Таким образом, устройство визуализации объекта имеет более широкую область применения за счет обеспечения возможности идентификации объекта на захваченном изображении на основе данных изображения самого объекта, а также повышения точности локализации визуализируемого объекта.