СПОСОБ РАНЖИРОВАНИЯ ВИДЕОДАННЫХ

Изобретение относится к обработке данных, а именно к области охранного телевидения, видеонаблюдения и видеоаналитики. Изобретение позволяет эффективно строить территориально-распределенные системы видеонаблюдения в различных отраслях, включая охрану и безопасность, транспорт и розничные продажи, спорт и развлечения, жилищно-коммунальное хозяйство и социальную инфраструктуру. Изобретение может быть использовано в локальных и глобальных сетях, на выделенных или облачных серверах. Изобретение позволяет снизить расходы на анализ, хранение и передачу видео, а также расширить область применения услуги VSaaS - видеонаблюдение как сервис (англ. video surveillance as a service).

Одним из существенных барьеров развития территориально-распределенных систем видеонаблюдения является значительный объем данных, поступающих с камер. Даже при использовании современных алгоритмов сжатия, таких как Н.264, камеры стандартной четкости (0.4 мегапиксела) формируют поток данных от 0.5 до 4 Мбит/с, а камеры высокой четкости (1-3 мегапиксела) от 1 до 10 Мбит/с (в режиме высокого качества видео). Для систем с большим числом камер, затраты на передачу, хранение и анализ данных становятся критическими.

В частности, серьезным барьером развития услуги VSaaS являются недостаточная пропускная способность каналов связи за пределами локальной сети. Так, средняя скорость подключения абонента к Интернету в мире составляет 1.8 Мбит/с по данным на 2010 год. При использовании асимметричных технологий доступа (например, через ADSL- или кабельный модем) исходящий канал от абонента к приложению VSaaS в 4-10 раз меньше входящего, и в среднем он меньше 512 Кбит/с. Таким образом, услуга VSaaS не позволяет реализовать удаленный просмотр и запись видео с большего числа камер, особенно камер высокого разрешения (более 1 мегапикселя).

Как раскрывается в международной заявке WO 2011041903, опубликованной 14.04.2011, видеоаналитика, реализованная на стороне источника видео, то есть встроенная видеоаналитика, позволяет уменьшить объем передаваемой информации по каналам связи. Однако в системах с большим числом камер и большим числом событий, регистрируемых видеоаналитикой, данный подход не является достаточным для снижения объема данных, передаваемых по каналам связи и записываемых в архив. На оживленных объектах видеоаналитика формирует непрерывный поток событий и реального уменьшения объема передаваемых данных не происходит.

Другой проблемой является большое количество тревожных событий, поступающих в ситуационные центры и на пульт удаленной охраны. Операторы часто не успевают реагировать на тревожные события, формируемые системой видеонаблюдения с аналитикой, и не могут сфокусироваться на решении наиболее важных задач.

Хранение больших объемов видео является высокозатратным. В существующих хранилищах видео (видеорегистраторы) используются следующие методы для повышения эффективности использования дискового пространства: а) удаление старых видеозаписей с возможностью ручной блокировки удаления отдельных записей (функция lock); б) уменьшение объема архива видео за счет более высокой степени сжатия, что негативно отражается на качестве видео (пространственной и временной детализации видео).

На решение вышеуказанных проблем и направлено предлагаемое изобретение.

Способ ранжирования видеоданных, включающий получение видеоданных с, по крайней мере, одной видеокамеры и передачу отсортированных видеоданных по каналам связи, по крайней мере, одному пользователю и/или, по крайней мере, в одно хранилище, характеризующийся тем, что вначале из полученных исходных видеоданных выделяют фрагменты, соответствующие, по крайней мере, одному объекту и/или событию, затем вычисляют признаки каждого фрагмента, которые влияют на оценку приоритета фрагмента и/или используются при поиске фрагментов в хранилище, далее оценивают приоритет каждого фрагмента с учетом его признаков, потом сортируют фрагменты в соответствии с приоритетом каждого из них и передают по каналам связи, по крайней мере, одному пользователю и/или, по крайней мере, в одно хранилище полученную приоритетную очередь фрагментов или один фрагмент с наибольшим приоритетом.

Фрагменты могут выделяться при помощи детектора движения.

Фрагменты могут выделяться при помощи видеоаналитики, встроенной в сетевую камеру или в видеосервер.

Фрагменты могут выделяться при помощи серверной видеоаналитики.

Оценку приоритета каждого фрагмента могут осуществлять при помощи функции регрессии.

Построение функции регрессии могут осуществлять на основе статистики запросов пользователя.

Оценку приоритета каждого фрагмента могут осуществлять при помощи статистического классификатора.

Обучение статистического классификатора могут осуществлять на основе статистики запросов пользователя.

Оценку приоритета каждого фрагмента могут осуществлять при помощи правил, задаваемых пользователем.

Оценку приоритета каждого фрагмента могут производить с учетом текущих запросов пользователя.

Оценку приоритета каждого фрагмента пользователь может устанавливать вручную.

Оценку приоритета каждого фрагмента могут производить на основе приоритета камеры, которая является источником фрагмента видеоданных.

Для оценки приоритета каждого фрагмента могут использовать один признак, вычисляемый видеоаналитикой, такой как точность обнаружения объекта или ситуации.

Для оценки приоритета могут использовать значение приоритета, заранее задаваемое пользователем в таблице для каждого типа объектов или ситуаций.

Для оценки приоритета фрагмента могут использовать сумму или максимум оценок приоритетов отдельных объектов и/или ситуаций, содержавшихся в этом фрагменте.

Для оценки приоритета могут использовать данные, полученные из внешних датчиков.

Фрагментом видеоданных может являться последовательность кадров.

Фрагментом видеоданных может являться изображение - тревожный кадр или часть изображения.

Пользователем может являться оператор системы видеонаблюдения.

Время хранения фрагмента, переданного в хранилище, может зависеть от приоритета фрагмента.

При передаче видеоданных по каналам связи с ограниченной пропускной способностью в первую очередь могут передавать фрагменты с наибольшим приоритетом.

Полученная приоритетная очередь может быть отображена на пользовательском интерфейсе.

Фрагменты полученной приоритетной очереди могут быть отображены на пользовательском интерфейсе, цветом или иным графическим индикатором, зависящим от приоритета фрагмента.

Могут выполняться те или иные действия для привлечения внимания оператора: подача звукового сигнала и/или отправка сообщения SMS (англ. Short Message Service - сервис коротких сообщений) в зависимости от полученной оценки приоритета.

Каждый фрагмент приоритетной очереди может быть предан в отдельном файле.

Приоритетная очередь может распределяться между несколькими пользователями.

Настоящее изобретение поясняется рис.1-4. На рис.1 представлена общая схема осуществления способа ранжирования видеоданных. На рис.2 изображена схема системы видеонаблюдения. На рис.3 представлен эскиз графического интерфейса пользователя системы. Фрагменты видео выделены цветом и представлены в хронологическом порядке. На рис.4 показан эскиз графического интерфейса пользователя Системы. Фрагменты видео выделены цветом и представлены в приоритетном порядке.

Способ ранжированной передачи видеоданных включает следующие шаги, отображенные на рис.1:

Шаг 1. Выделение фрагментов из исходного видео при помощи видеоаналитики

Исходное видео, поступающее с камер наблюдение, разделяется на фрагменты. Фрагмент может представлять собой последовательность кадров, отдельный кадр (тревожный кадр) или часть кадра. Разделение видео на фрагменты происходит таким образом, чтобы каждый фрагмент соответствовал одному объекту или событию, наблюдаемых камерой и представляющих интерес для пользователя. Возможно, что в одном фрагменте присутствуют несколько объектов в случае их одновременного появления.

Возможно применение различных типов видеодетекторов, например, детектор движения, детектор лиц людей, детектор номеров автомобилей, детектор огня и так далее. Рекомендуется применение алгоритмов слежения (трекинга) за объектами с целью завершения формирование фрагмента после исчезновения обнаруженного объекта. Возможно применение правил для автоматического распознавания предопределенных ситуаций, например, пересечения сигнальной линии (tripwire), праздношатания (loitering) и оставленного предмета.

Примерам фрагментов является: а) лицо человека, выделенное из потока видео; б) тревожный кадр с появлением человека в стерильной зоне; в) видеозапись с проездом автомобиля на красный свет.

Целесообразно ограничение размеров фрагмента для снижения времени передачи наиболее приоритетных фрагментов по каналам связи с ограниченной пропускной способностью и более эффективного использования хранилища видео.

Возможны случаи, особенно для оживленных сцен, когда в одном фрагменте содержатся несколько объектов или ситуаций.

Шаг 2. Вычисление признаков фрагментов

Для каждого фрагмента вычисляются признаки, которые влияют на оценку приоритета фрагмента и/или могут быть использованы для последующего поиска фрагментов в хранилище. Примеры признаков, которые могут быть использованы в Изобретении, приведены в Таблице 1.

На рис.1 признаки фрагментов обозначены строчными буквами: а, b, с…

Шаг 3. Оценка приоритета каждого фрагмента

Оценка приоритета каждого фрагмента может производиться автоматически формальными или эмпирическими методами, а также в ручном режиме.

Среди формальных методов оценки приоритетов следуют отметить:

а. Функция регрессии. Предполагается, что приоритет фрагмента и признак фрагмента - зависимые случайные величины. Приоритет фрагмента зависит от признака фрагмента: q=f(x), где, f - функция регрессии, определяющая зависимость приоритета фрагмента q от вектора x, содержащего признаки фрагмента или объекта на фрагменте. Приоритет фрагмента q может принимать непрерывные значения, например, от 0 (самый низкий приоритет) до 1 (самый высокий приоритет). Могут использовать известные методы построения регрессионной функции, например, линейная регрессия или метод опорных векторов (SVM, support vector machine).

б. Статистический классификатор определяет приоритет фрагмента на основе признаков фрагмента: q=С(x), где q - приоритет фрагмента, С - статистический классификатор, x - вектор, содержащий признаки фрагмента или объекта на фрагменте. Классификатор выдает дискретные значения q, например, 1 (низкий приоритет), 2 (средний приоритет) и 3 (высокий приоритет). Могут использовать известные классификаторы, например, метод опорных векторов (SVM), метод ближайших соседей (k-NN) или метод бустинга (boosting).

В описанных формальных подходах, построение функции регрессии или обучение классификатора может производиться: а) на этапе конфигурирования системы видеонаблюдения; и/или б) непрерывно в процессе эксплуатации системы видеонаблюдения для учета статистики возникновения событий и действий пользователя.

На рис.1 приоритеты фрагменты обозначены заглавными буквами: Н (High - высокий), М (Medium - средний), L (Low - низкий).

Среди возможных эмпирических подходов к оценке приоритетов фрагментов следует выделить:

а. Тривиальная оценка по одному признаку: (q=x или q=-x, где x - признак фрагмента, такой как, точность обнаружения объекта, количество обнаруженных объектов, расстояние от объекта до камеры.

б. Таблица приоритетов: q=Q[x], где x - тип ситуации или тип объекта на фрагменте, определенной видеоаналитикой; Q - справочная таблица приоритетов (lookup table), определяющая приоритет фрагмента для каждого типа ситуации или типа объекта. Пример таблицы приоритетов приведен в таблице 2.

В случае, когда на фрагменте присутствует множество объектов или ситуаций, то признаки каждого объекта или ситуации могут быть агрегированы в общую оценку приоритета при помощи таких функций как суммирование или максимум. Например, q=Σ_ip_iq_i/Σ_ip_i или q=max_ip_iq_i, где p_i - оценка точности обнаружения (распознавания) i-ого объекта или ситуации на фрагменте видео, q_i - приоритет i-ого объекта или ситуации, определяемой по справочной таблице, t=1, 2, … - номер объекта или ситуации. Если алгоритм видеоаналитики не рассчитывает точность, то полагается p_i=1.

Пользователь может самостоятельно менять приоритет каждого фрагмента для управления сроком хранения фрагмента видео в архиве или передачей фрагментов по каналам с узкой полосой пропускания.

Возможно так же задание априорных приоритетов для камер или зона обнаружения объектов (ситуаций). В этом случае, формула для определения приоритета будет иметь вид: q=q_sf(х), где q_s - приоритет источника события (приоритет камеры или зоны наблюдения).

Шаг 4. Ранжирование всех фрагментов по оценкам приоритета

На шаге 4 производится поиск, ранжирование всех фрагментов по оценкам приоритета с целью обработки наиболее приоритетных данных в первую очередь. Ранжированные фрагменты могут поступать в структуру данных, называемых приоритетной очередью. Частным случаем ранжирования является поиск одного фрагмента с наиболее высоким приоритетом.

Например, фрагмент видео с обнаруженным пожаром может иметь более высокий приоритет, чем фрагмент с появлением человека перед дверью. Такой фрагмент передается по каналам связи, предъявляется оператору и записывается в хранилище в первую очередь.

Фрагменты видеоданных с низким приоритетом могут дальше не обрабатываться, но могут записываться в локальное хранилище на случай запроса пользователя. Существенное снижение нагрузки на каналы связи, хранилище и оператора происходит за счет фильтрации фрагментов с низким приоритетом.

По мере поступления новых данных (исходного видео), шаги 1-4 повторяются.

Таким образом, изобретение обеспечивает эффективную передачу не за счет снижения качества видео, как в продуктах-аналогах, а за счет приоритетной передачи наиболее важной для пользователя информации. Приоритет передачи фрагментов видео или части кадра определяется по результатам работы видеоаналитики и/или запросов пользователя.

Лучшие ближайшие аналоги осуществляют видеозапись по детектору движения и передачу видеофрагментов без учета их важности, либо непрерывную передачу видео, что приводит к быстрому исчерпанию дискового пространства в хранилище данных и/или полосы пропускания канала. Так же ближайшее аналоги не позволяют ранжировать данные для представления оператора, что увеличивает требования к числу операторов в центрах мониторинга.

На рис.2 иллюстрирован один из возможных вариантов применения настоящего изобретения. Несжатое видео поступает с сенсора (камеры) на видекодер и модуль видеоаналитики. Видеокодер сжимает видео, например, при помощи алгоритма Н.264. Модуль видеоаналитики формирует метаданные, описывающие объекты и ситуации на видео. Модуль ранжирования данных реализует настоящий Способ ранжирования видеоданных, а именно реализует 4 шага: а) разделяет сжатое видео на фрагменты на основе метаднных видеоаналитики; б) вычисляет признаки каждого фрагмента; в) оценивает приоритеты каждого фрагмента на основе признаков; г) ранжирует (сортирует) все фрагменты по оценкам приоритета. Ранжированные видеоданные поступают пользователям (оператором) и записываются в хранилище.

Изобретение может быть использовано в составе локальной или территориально-распределенной системы видеонаблюдения. Модуль ранжирования видеоданных может быть: а) встроен в передатчик видео (сетевую камеру или сетевой видеосервер); б) находиться на приемнике видео (на сервере); в) распределен между передатчиком и приемником видео.

Способ ранжированной передачи быть реализован в виде программных модулей и интегрирован с такими компонентами системы видеонаблюдения, как сетевая камера, сетевой видеосервер, сетевой видеорегистратор (NVR), система управления видео (VMS) и система онлайн-видеонаблюдения. Кроме того, данные программные модули могут запускаться на рабочих станциях и выделенных серверах, в центре обработке данных (ЦОД) или на хостинге облачного провайдера.

Оценка приоритета фрагмента видеоданных, согласно настоящему Изобретению, может быть использована для выделения цветом (рис.3-4) и ранжирования фрагментов на рабочем месте пользователя (оператора) системы видеонаблюдения с целью представления пользователю наиболее важных фрагментов в приоритетном порядке (рис.4). Например, тревожные кадры видео можно выводить на экран и сортировать в порядке убывания оценки приоритета. Это позволяет существенно повысить продуктивность пользователя (оператора) системы видеонаблюдения за счет фокусировки его внимания на наиболее важных объектах и ситуациях (рис.4).

Оценку приоритета можно отображать не только при помощи цвета, но и при помощи иных графических индикаторов, например, цифрами, столбиками, линиями, кружочками, то есть аналогично тому, как на бытовых устройствах показывают уровень сигнала или заряда аккумуляторной батареи.

Пользовательский интерфейс, отображающий ранжированные видеоданные, может быть реализован при помощи специализированного программного обеспечения или при помощи веб-технологий, таких как HTML5 или Flash.

Так же оценка приоритета фрагмента видеоданных может быть использована для управления хранилищем видео. Для организации циклической записи видео в хранилище возникает задача удаления старых фрагментов. Согласно Изобретению, удаление фрагментов может производиться согласно оценке их приоритетов: в первую очередь будут удаляться наименее приоритетные фрагменты. Время хранения каждого фрагмента видео может определяться по формуле t=t₀q, где t₀ - базовое (максимальное) время хранения данных в хранилище, например, 30 дней, q - приоритет фрагмента в диапазоне [0,1]. Таким образом, настоящее изобретение повышает эффективность использования памяти хранилища за счет хранения наиболее важной информации.

Изобретение может быть использовано для различных режимов передачи видео: а) непрерывный с фиксированной скоростью (передача максимального количества видеоданных в рамках выделенной полосы пропускания); б) непрерывный с варьируемой скоростью (передача приоритетных видеоданных по мере их поступления); в) пакетный (по запросу пользователя и при установлении соединения между источником и приемником видео).

Изобретение позволяет передать наиболее важные видеоданные после временного разрыва соединения между источником и приемником видео.

Изобретение может быть использовано для ранжированной передачи тревожных кадров с опциональной загрузкой видеоданных, соответствующих тревожному кадру, по запросу пользователя или в отложенном режиме (например, в ночное время, когда загрузка канала связи снижается).

Способ ранжирования видеоданных может быть использован не только на живом (поточном) видео, поступающих с камер в реальном масштабе времени, но на архивном видео, записанном в хранилище (пост-обработка).

Способ ранжирования видеоданных может быть использован в системах видеонаблюдения, построены с применением стандартом и/или рекомендаций Открытого форума интерфейса сетевого видео (Open Network Video Interface Forum, ONVIF, www.onvif.org) или Альянса совместимости физической безопасности (Physical Security Interoperability Alliance, PSIA, psiaalliance.org). В частности, оценка приоритета может передаваться в метаданных, сообщениях и/или событиях в соответствии с рекомендациями ONVIF и/или PSIA. Фрагмент видеоданных может передаваться в соответствии с рекомендациями форума ONVIF и/или PSIA.

Фрагменты видеоданных могут так же передаваться в виде файлов, например, в популярных контейнерах типа TS, M2TS, MKV, OGV, MP4, AVI и др.

Способ ранжирования видеоданных может быть использован для реализации двух стратегий: а) обработка всех видеоданных или событий с заданным уровнем приоритета и выше при минимальном использовании ресурсов (операторов, каналов связи, хранилища); б) обработка максимального объема видеоданных или событий с максимальными приоритетами при заданных ограничениях на ресурсы. На практике часто используется гибридная стратегия, при которой комбинируются вышеуказанные варианты (а) и (б), при этом нагрузка на ресурсы может варьироваться по ходу возникновения тревожных ситуаций в рамках установленных лимитов.