СПОСОБ ОБМЕНА ДАННЫМИ МЕЖДУ IP ВИДЕОКАМЕРОЙ И СЕРВЕРОМ (ВАРИАНТЫ)

ОБЛАСТЬ ТЕХНИКИ

Группа изобретений относится к области обработки данных, полученных посредством IP видеокамер, имеющих встроенную видеоаналитику, и передачи их на сервер.

УРОВЕНЬ ТЕХНИКИ

Под видеоаналитикой понимается программно-аппартное обеспечение или технические средства, использующие методы компьютерного зрения для автоматизированного сбора данных, на основании анализа потокового видео (видеоанализа). Видеоаналитика опирается на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека. Видеоаналитика используется в составе интеллектуальных систем видеонаблюдения, управления бизнесом и видеопоиска.

Видеоаналитика, в зависимости от конкретных целей, может реализовывать множество функций, таких как: обнаружение объектов, слежение за движением объектов, классификация объектов, идентификация объектов, обнаружение ситуаций, в том числе и тревожных.

С точки зрения аппаратно-программной архитектуры, различают следующие типы систем видеоаналитики: серверная видеоаналитика и встроенная видеоаналитика. Серверная видеоаналитика предполагает централизованную обработку видеоданных на сервере. Сервер анализирует видеопотоки от множества камер или кодеров на центральном процессоре или на графическом процессоре. Главным недостатком серверной аналитики является необходимость наличия серверных мощностей для обработки видео. Дополнительным недостатком является необходимость непрерывной передачи видео от источника видеоданных на сервере, что создает дополнительную нагрузку на каналы связи.

Встроенная видеоаналитика реализуется непосредственно в источнике видеоданных, то есть в IP видеокамерах и в кодерах. Встроенная видеоаналитика работает на выделенном процессоре, встроенном в IP видеокамеру. Главное преимущество встроенной видеоаналитики состоит в уменьшении нагрузки на каналы связи и сервер обработки видеоданных. При отсутствии объектов или событий видео не передается и не загружает каналы связи, а сервер обработки не декодирует сжатое видео для видеоанализа и индексирования.

Из уровня техники известна система видеонаблюдения, использующая системы связи, IP видеокамеры, сервер и базу данных. В этой системе обработка видеопотока осуществляется на сервере (см. US 2014333777 А1, опубл. 13.11.2014).

Также в уровне техники раскрыты способы идентификации видеопотока, включающие использование камеры и сервера. В этих системах обработка видеопотока, в том числе идентификация видеокадров, осуществляется на сервере (см. US 2014099028 А1, опубл. 10.04.2014).

Также из уровня техники известна система видеоаналитики захваченного видеоконтента, содержащая IP видеокамеры и серверы. Система существляет передачу данных по каналам связи между IP видеокамерами и серверами. В данной системе обработка видеопотока осуществляется на сервере (см. US 2014015964 А1, опубл. 16.01.2014). Выбрана в качестве наиболее близкого аналога (прототип).

Недостатками известных решений является наличие повышенной вычислительной нагрузки на процессоры серверов, связанной с обработкой видеоданных.

Задачами, на решение которых направлена заявленная группа изобретений, является повышение быстродействия обработки видеоданных, с помощью процессора IP видеокамеры, снижение нагрузки на каналы связи между IP видеокамерой и внешним сервером, а также снижение вычислительной нагрузки внешнего сервера.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Техническим результатом заявленной группы изобретений является снижение вычислительной нагрузки процессора сервера по обработке видеоданных, за счет того что данная обработка производится процессором IP видеокамеры с использованием встроенной видеоаналитики.

Технический результат достигается за счет использования следующей совокупности существенных признаков: Способ обмена данными между IP видеокамерой, использующей встроенную видеоаналитику, и, по меньшей мере, одним внешним сервером, содержащий этапы, на которых осуществляют:

формирование, по меньшей мере, одного видеокадра посредством упомянутой IP видеокамеры;

преобразование, по меньшей мере, одного видеокадра в цифровой вид посредством упомянутой IP видеокамеры;

обработку, по меньшей мере, одного преобразованного видеокадра посредством процессора упомянутой видеокамеры, используя методы машинного зрения, с последующим формированием метаданных;

передачу полученных метаданных на, по меньшей мере, один внешний сервер для дальнейшего их использования.

В частном случае исполнения изобретения в качестве упомянутого внешнего сервера может выступать облачный сервер. Обмен данными между упомянутой IP видеокамерой и упомянутым внешним сервером осуществляется по стеку протоколов TCP/IP. Метаданные могут представлять собой структурированные формализованные данные объектов, находящихся на, по меньшей мере, одном преобразованном видеокадре. Метаданные могут представлять собой информацию о движущихся объектах, их размере, типе, цвете, идентификаторах, информацию об изменениях положений объектов в сцене видеокадра, скорости и направлении движения объектов, биометрические данные человеческих лиц, распознанные регистрационные знаки транспортных средств, железнодорожных вагонов, транспортных контейнеров. Упомянутый идентификатор объекта сохраняется от кадра к кадру. На упомянутом, по меньшей мере, одном внешнем сервере осуществляются операции в реальном времени, включающие поиск, идентификацию, оценку, управление объектами в, по меньшей мере, одном видеокадре по сформированным для, по меньшей мере, одного видеокадра, метаданным.

В другом варианте исполнения изобретения способ обмена данными между IP видеокамерой, использующей встроенную видеоаналитику, и, по меньшей мере, одним внешним сервером содержит этапы, на которых осуществляют:

формирование, по меньшей мере, одного видеокадра посредством упомянутой IP видеокамеры;

преобразование, по меньшей мере, одного видеокадра в цифровой вид посредством упомянутой IP видеокамеры;

обработку, по меньшей мере, одного преобразованного видеокадра посредством процессора упомянутой IP видеокамеры, используя методы машинного зрения, с последующим формированием метаданных;

сохранение сформированных метаданных в хранилище IP видеокамеры;

считывание сервером сохраненных метаданных.

В частном случае исполнения изобретения в качестве упомянутого внешнего сервера может выступать облачный сервер. Обмен данными между упомянутой IP видеокамерой и упомянутым внешним сервером осуществляется по стеку протоколов TCP/IP. Метаданные могут представлять собой структурированные формализованные данные объектов, находящихся на, по меньшей мере, одном преобразованном видеокадре. Метаданные могут представлять собой информацию о движущихся объектах, их размере, типе, цвете, идентификаторах, информацию об изменениях положений объектов в сцене видеокадра, скорости и направлении движения объектов, биометрические данные человеческих лиц, распознанные регистрационные знаки транспортных средств, железнодорожных вагонов, транспортных контейнеров. Упомянутый идентификатор объекта сохраняется от кадра к кадру. Упомянутое хранилище IP видеокамеры выполнено с возможностью поиска, управления метаданными, по меньшей мере, одного видеокадра. Считывание сервером сохраненных метаданных осуществляется постоянно или по предварительно заданному расписанию.

В другом варианте исполнения изобретения способ обмена данными между IP видеокамерой, использующей встроенную видеоаналитику, и, по меньшей мере, одним внешним сервером содержит этапы, на которых осуществляют:

формирование, по меньшей мере, одного видеокадра посредством упомянутой IP видеокамеры;

преобразование, по меньшей мере, одного видеокадра в цифровой вид посредством упомянутой IP видеокамеры;

обработку, по меньшей мере, одного преобразованного видеокадра посредством процессора упомянутой IP видеокамеры, используя методы машинного зрения, с последующим формированием метаданных;

сохранение метаданных в СУБД упомянутой IP видеокамеры;

получение от упомянутого внешнего сервера поискового запроса к СУБД;

обработку в СУБД поискового запроса от упомянутого внешнего сервера;

передачу результатов поиска от СУБД на внешний сервер.

В частном случае исполнения изобретения в качестве упомянутого внешнего сервера может выступать облачный сервер. Обмен данными между упомянутой IP видеокамерой и упомянутым внешним сервером осуществляется по стеку протоколов TCP/IP. Метаданные могут представлять собой информацию о движущихся объектах, их размере, типе, цвете, идентификаторах, информацию об изменениях положений объектов в сцене видеокадра, скорости и направлении движения объектов, а также биометрические данные человеческих лиц, распознанные регистрационные знаки транспортных средств, железнодорожных вагонов, транспортных контейнеров. Упомянутый идентификатор объекта сохраняется от кадра к кадру. Упомянутая СУБД выполнена с возможностью хранения метаданных, представленных в геометрическом виде, также с возможностью поиска, оценки, управления метаданными, по меньшей мере, одного видеокадра. Поисковый запрос к СУБД содержит условия, раскрывающие изменения геометрических соотношений метаданных объектов, по меньшей мере, одного видеокадра. Результаты поискового запроса представляют собой интервалы времени, в течение которых условие в запросе истинно. В качестве поискового запроса к СУБД может выступать запрос на поиск всех моментов времени, когда объект, находящийся на, по меньшей мере, одном видеокадре, находился с одной стороны линии, а на следующий момент времени находился с другой стороны линии, при этом в результате данного запроса на внешний сервер передается информация о моментах времени, в которые объект пересекал заданную линию. Также в качестве поискового запроса к СУБД может выступать запрос на поиск всех объектов, находящихся на, по меньшей мере, одном видеокадре, которые перешли из одной области в другую в заданном направлении. Также в качестве поискового запроса к СУБД может выступать запрос на поиск всех моментов времени, в которых объект двигался в заданной области.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Ниже будет приведено описание примеров вариантов заявленной группы изобретений. Однако настоящая группа изобретений не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, попадают и другие различные варианты осуществления.

Заявлены варианты способы обмена данными между IP видеокамерой, использующей встроенную видеоаналитику, и, по меньшей мере, одним внешним сервером.

Видеоданные получают посредством IP видеокамеры. Под IP-видеокамерой следует понимать цифровую видеокамеру, особенностью которой является передача видеопотока в цифровом формате по сети Ethernet и TokenRing, использующей протокол IP. Являясь сетевым устройством, каждая IP видеокамера в сети имеет свой IP-адрес. Обмен данными между описанными устройствами, в том числе IP видеокамерами, внешними серверами осуществляется по стеку протоколов TCP/IP.

IP видеокамера формирует видеокадры, преобразовывает их в цифровой вид, обрабатывает, получая метаданные.

Метаданные представляют собой структурированные, формализованные данные объектов, находящихся на преобразованных посредством IP видеокамеры видеокадрах. Метаданные включают в себя информацию о движущихся объектах, их размере, типе, цвете, идентификаторах объектов, информацию об изменениях положений объектов в сцене видеокадра, скорости и направлении движения объектов, биометрические данные людей, присутствующих на видеокадрах, распознанные регистрационные знаки транспортных средств, железнодорожных вагонов, транспортных контейнеров и многие другие параметры объектов, находящихся на видеокадрах. Метаданные формируются посредством методов машинного зрения. Для каждого видеокадра формируется информация о положении в кадре движущихся объектов, их размере, цвете. Для каждого объекта передается уникальный идентификатор, который сохраняется от кадра к кадру. Также передается факт изменения сцены (т.е. факт появления нового неподвижного предмета) или факт превращения неподвижного объекта в подвижный, а также положения лиц, биометрические векторы лиц, положения номеров автомобилей, результаты распознавания номеров автомобилей. Также метаданными можно считать информацию о наличии в видеокадре движения, дыма, огня.

Большая часть метаданных имеет характер геометрических данных. Для каждого кадра указывается нуль или больше «прямоугольников», описывающих обнаруженные на кадре движущиеся объекты. Для эффективного поиска по таким данным по условиям, связанным с геометрическими соотношениями указанных «прямоугольников», была создана специальная СУБД, которая находится внутри IP видеокамеры.

В первом варианте обмена данными между IP видеокамерой и внешним сервером полученные метаданные передаются на внешний сервер для дальнейшего их использования. Возможным использованием сервером сгенерированных IP видеокамерой метаданных могут быть операции в реальном времени, включающие поиск, идентификацию, оценку, управление объектами на видеокадре посредством упомянутых метаданных. При этом вышеуказанные операции могут выполняться посредством базы данных упомянутого сервера.

Во втором варианте обмена данными между IP видеокамерой и внешним сервером полученные метаданные хранятся в хранилище IP видеокамеры. Хранилище IP видеокамеры сконфигурировано для осуществления поиска объектов, управления объектами на видеокадрах, по сформированным для них метаданным.

В третьем варианте обмена данными между IP видеокамерой и внешним сервером полученные метаданные хранятся в специализированной СУБД IP видеокамеры. СУБД IP видеокамеры сконфигурирована для осуществления поиска объектов, оценки объектов на видеокадрах, управления объектами по сформированным для них метаданным.

Все три способа используют стандартные программные средства, компоненты, в том числе компьютерные системы, в состав которых входят базы данных. Упомянутые базы данных могут быть выполнены в виде внешнего сервера, хранилища данных, СУБД. Причем хранилище данных и специализированная СУБД встроены в программные средства IP видеокамер.

В качестве внешнего сервера может выступать любой удаленный сервер, в том числе виртуальный сервер, представляющий собой облачное хранилище данных.

Внешний сервер осуществляет считывание сохраненных метаданных постоянно, то есть, когда есть соединение между IP видеокамерой и компьютером, на котором, к примеру, находится внешний сервер. Либо вычитка метаданных осуществляется по предварительно заданному расписанию. Данное расписание может быть задано и/или отредактировано пользователем в настройках системы.

Далее, приведем примеры осуществления вариантов изобретения.

Пример 1 - поиск по биометрическим данным человеческих лиц.

На этапе записи данных с IP видеокамеры на внешний сервер или хранилище или СУБД IP видеокамеры, система сканирует лица всех присутствующих в кадре людей. При этом для каждого из обнаруженных лиц, выбирается наиболее фронтальное положение и осуществляется построение биометрического вектора (краткое описание лица), которое сохраняется в виде метаданных. При последующем поиске по сохраненным метаданным системе предоставляется некое эталонное изображение лица. Эталонное изображение лица получено посредством загрузки фотографии человека или выделения его лица на кадре видеоархива. Для эталонного изображения будет построен биометрический вектор, который будет сравниваться с теми, что уже имеются в базе данных. В качестве результатов поиска на экран оператора будут выведены все люди, чьи лица схожи с лицом на эталонном изображении.

Пример 2 - поиск по номерам транспортных средств.

В системе есть возможность поиска по метаданным, представляющим собой регистрационные знаки транспортных средств, например автомобилей, а также железнодорожных вагонов и транспортных контейнеров. При поиске в базе данных по номерам транспортных средств железнодорожных вагонов, транспортных контейнеров, применяется алгоритм, схожий с распознаванием и поиском лиц. Все номера транспортных средств, а также идентификаторы железнодорожных вагонов, транспортных контейнеров, появляющиеся в поле зрения IP видеокамер, сохраняются в базе данных в текстовом виде. В случае когда изображение номера и/или идентификатора видно нечетко, система строит несколько гипотез, включающих похожие символы номера. Впоследствии пользователь в качестве критерия поиска может ввести необходимый номер, и, в качестве результата, система предоставит один или несколько соответствующих вариантов номеров.

Пример 3 - поиск по текстовым комментариям.

Данный способ позволяет найти в большом объеме данных моменты, однажды уже отмеченные оператором. Комментарии можно оставлять как ко всему кадру, так и к выделенной области, а также к интервалу записи или к определенному тревожному срабатыванию.

Пример 4 - поиск по событию.

Также в системе существует способ поиска в видеоархиве события, зная только время его наступления. Пользователь указывает некий диапазон времени, в рамках которого предположительно произошло некое событие. Этот отрезок времени разбивается на столько равномерных отрезков, сколько умещается на экране оператора, например на 10. Изображения, соответствующие каждому из этих отрезков, отображаются на экране. Оператор визуально определяет тот отрезок, на котором произошло событие, выбирает его, и он также разбивается на 10 отрезков. С каждым разом эти отрезки становятся все детальнее, и в итоге, всего за несколько шагов, становится возможным определить время наступления события с точностью до секунды и, соответственно, увидеть детали этого события.

Пример 5 - примеры поисковых запросов, направляемых к специализированной СУБД от внешнего сервера, а также результатов запросов, которые передаются от СУБД на внешний сервер.

Специализированная СУБД является одним из составляющим программного обеспечения IP видеокамеры. СУБД оптимизирована для хранения геометрических данных, а также, в том числе, и для выполнения запросов с геометрическим условиями. При этом полученные метаданные видеокадров могут использоваться для принятия каких-либо решений в реальном времени (сразу после их получения) или сохраняются в СУБД для дальнейших операций с ним, включающих поиск, оценку, управление. Поиск осуществляется прямо на борту IP видеокамеры, при этом на сервер передаются результаты поиска, а не исходные метаданные. Что также снижает вычислительную нагрузку, связанную с обработкой данных, на внешний сервер. А также плюсом является то, что метаданные не теряются при временной потере связи между IP видеокамерой и сервером.

Большая часть метаданных имеет характер геометрических данных. А именно, для каждого кадра указывается нуль или больше «прямоугольников», описывающих обнаруженные на кадре движущиеся объекты. Поисковые запросы представляют собой условия, сформулированные на специальном языке запросов. Примером таких запросов может быть такой запрос (пример по смыслу, а не по написанию на языке запросов): запрос на поиск всех моментов времени, когда объект, находящийся на видеокадре, находился с одной стороны линии, а на следующий момент времени, находился с другой стороны линии. В результате обработки данного запроса, на внешний сервер передает информация о моментах времени, в которые объект пересекал заданную линию. К примеру, IP видеокамера установлена на улице около проезжей части и формирует видеокадры, детектирующие переход пешеходов данной проезжей части. Для идентификации и/или поиска человека в нужный временной промежуток данная система позволяет определить, пересек ли человек дорогу или нет. Также примером поискового запроса к СУБД может послужить запрос на поиск всех объектов, находящихся на видеокадре, которые перешли из одной области в другую в заданном направлении. К примеру, IP видеокамера установлена в отделении банка, в котором произошло ограбление. Для расследования данного ограбления оператор просматривает видеоархив, полученный от IP видеокамеры за определенный временной промежуток времени. Могут быть заданы следующие поисковые запросы: поиск определенного количества людей, зафиксированных в помещении банка в 14:00, которые перешли из одного помещения в другое слева-направо. В качестве ответа на такой запрос СУБД предоставит на внешний сервер временные интервалы, в которых интересующее количество людей двигались в заданном направлении. А также есть возможность уточнить временные промежутки происхождения того или иного события, если они неизвестны. В качестве ответа на такой запрос могут быть даны такие временные промежутки.

Варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном из различных традиционных машиночитаемых носителей. В контексте данного документа «машиночитаемым носителем» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер. Машиночитаемый носитель может включать энергонезависимый машиночитаемый носитель данных, который может быть любой средой или средством, содержащим или хранящим инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер, или для использования в связи с ними.

В одном из примеров осуществления может быть предложена схема или схема пользовательского интерфейса, конфигурированная для обеспечения, по меньшей мере, некоторых функций управления, описанных выше.

Если необходимо, по меньшей мере, часть различных функций, рассмотренных в данном описании, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом. Кроме того, при необходимости одна или более из описанных выше функций могут быть опциональными или могут комбинироваться.

Хотя в независимых пунктах формулы изобретения охарактеризованы различные аспекты настоящей группы изобретения, другие аспекты изобретений включают другие комбинации признаков из описанных вариантов осуществления и/или зависимых пунктов формулы изобретения совместно с признаками независимых пунктов формулы изобретения, при этом упомянутые комбинации не обязательно явно указаны в формуле изобретения.

По мнению авторов, заявленная совокупность существенных признаков достаточна для достижения заявленного технического результата и находится в причинно-следственной связи с ним.

Предварительно проведенные патентные исследования и информационные поиски достаточно объектино указывают на то, что заявленная группа изобретений соответствует всем критериям патентоспособности изобретения.