ТЕЛЕКАМЕРА И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ПАНОРАМНОГО ВИДЕОИЗОБРАЖЕНИЯ И РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА НЕМ

Изобретение относятся к области видеонаблюдения и распознавания объектов, а именно к телекамерам и способам для формирования панорамного видеоизображения и распознавания объектов на нем, и может применяться в системах видеонаблюдения.

В настоящее время в телекамерах применяют насколько основных способов формирования панорамного видеоизображения.

В многообъективных телекамерах (US 2018095275) формирование панорамного видеоизображения осуществляют из нескольких видеопотоков как внутри телекамеры, за счет использования вычислительных ресурсов встроенного в камеру вычислителя, так и с помощью внешнего вычислителя.

В наборе стационарных широкоугольных телекамер с перекрывающейся областью обзора (CN 205750270 (U)) формирование панорамного видеоизображения осуществляют с помощью внешнего вычислителя, который формирует единый панорамный видеопоток из нескольких видеопотоков со стационарных телекамер.

Наиболее близкой к заявленному изобретению является поворотная телекамера, описанная в патенте CN 106331653, в которой формирование панорамного видеоизображения осуществляют при движении камеры по заранее заданному маршруту с остановками, в заранее определенных точках. В этих точках маршрута производят захват кадров видеопотока. Во внешнем вычислителе из захваченных кадров формируют панорамное изображение. На следующем проходе по заранее заданному маршруту осуществляют обновление изображения. Таким образом, во внешнем вычислителе формируют панорамный видеопоток с низкой частотой кадров. Частота кадров итогового видеопотока определяется скоростными возможностями поворотной телекамеры и вычислительными возможностями внешнего вычислителя. Для большого круга задач по организации видеонаблюдения на стационарных объектах такой частоты кадров достаточно. Данная телекамера выбрана в качестве прототипа заявленного изобретения.

Недостатками телекамер аналогов и прототипа изобретения является требуемая высокая мощность внешних вычислителей, а так же высокое качество и пропускная способность канала передачи данных от телекамеры до внешнего вычислителя, что усложняет конструкцию и, соответственно, удорожает всю систему.

Техническим результатом заявленного изобретения является создание телекамеры и способа для формирования панорамного видеоизображения и распознавания объектов на нем с более простой и дешевой конструкцией, за счет использования встроенного в камеру вычислителя, который управляет движением наклонно-поворотной платформы, с установленной на ней телекамерой, по заданному маршруту, при этом формирует единое панорамное видеоизображение, а также выявляет и распознает объекты на каждом кадре видеоизображения.

Поставленный технический результат достигнут путем создания телекамеры для формирования панорамного видеоизображения и распознавания объектов на нем, содержащей наклонно-поворотную платформу, на которой установлены видеосенсор 1, выход которого соединен с входом блока 2 распознавания изображений и с входом блока 5 наложения служебной информации, выход которого соединен с видеокодеком 9, первый и второй выходы которого соединены соответственно с четвертым входом блока 10 формирования панорамного изображения и с первым входом блока 12 формирования видеопотоков, второй вход которого соединен с первым выходом блока 10 формирования панорамного изображения, а выход блока 2 распознавания изображений соединен с первым входом блока 6 принятия решения и формирования метаданных, выход которого соединен с первым входом блока 10 формирования панорамного изображения, второй выход которого соединен с входом блока 13 формирования тревог, первый, второй, третий, четвертый и пятый выходы блока 7 управления наклонно-поворотной платформой соединены соответственно с трансфокатором 4, с шаговыми двигателями 3 наклонно-поворотной платформы, с вторым входом блока 6 принятия решения и формирования метаданных, с вторым входом блока 10 формирования панорамного изображения и с первым входом блока 15 коммуникаций, второй, третий, четвертый, пятый и шестой входы которого соединены соответственно с третьим выходом блока 10 формирования панорамного изображения, с выходом блока 13 формирования тревог, с выходом блока 12 формирования видеопотоков, с выходом блока 14 поддержки ONVIF и с выходом WEB интерфейса 16, вход которого соединен с первым выходом блока 15 коммуникаций, второй вход которого соединен с выходом блока 14 поддержки ONVIF, а третий и четвертый выходы блока 10 формирования панорамного изображения соединены соответственно с первым входом блока 7 управления опорно-поворотной платформой и с входом блока 11 накопления кадров, выход которого соединен с четвертым входом блока 10 формирования панорамного изображения, причем

- видеосенсор 1 выполнен с возможностью формирования основного видеопотока и передачи его в блок 5 наложения служебной информации и в

- блок 2 распознавания изображений, который выполнен с возможностью покадрового обнаружения объектов на изображении, определения типа и координат относительно кадра обнаруженных объектов и передачи их в

- блок 6 принятия решения и формирования метаданных, который выполнен с возможностью анализа данных, полученных от блока 2 распознавания изображений, при этом принятия решения о выделении или игнорировании объекта, причем в случае принятия решения о выделении объекта, с возможностью формирования метаданных в координатах панорамного изображения на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, и с возможностью передачи потока метаданных в блок 10 формирования панорамного изображения и в

- блок 5 наложения служебной информации, который выполнен с возможностью наложения рамок на обнаруженные объекты и другой визуальной информации об объекте на видеокадры из входного потока, при этом формирования выходного видеопотока и передачи его в

- видеокодек 9, который выполнен с возможностью сжатия видеопотока, при этом формирования множества сжатых видеопотоков с различными разрешениями, в соответствии с заданным режимом работы телекамеры, и передачи сжатых видеопотоков в блок 12 формирования видеопотоков и в

- блок 10 формирования панорамного изображения, который выполнен с возможностью получения сжатого видеопотока, синхронизированного с ними потока метаданных, информации о текущем положении (координатах) наклонно-поворотной платформы от блока 7 управления наклонно-поворотной платформой и предшествующего кадра от блока 11 накопления кадров, и на основе полученных данных с возможностью осуществления «склейки» панорамного изображения, устранения дублирования метаданных от соседних кадров и формирования команды управления наклонно-поворотной платформой для ее движения по заданной траектории, и передачи панорамного изображения в блок 12 формирования видеопотоков и в блок 11 накопления кадров, а прореженного потока метаданных в блок 13 формирования тревог и блок 15 коммуникаций,

- блок 11 накопления кадров выполнен с возможностью буферизации кадров,

- блок 12 формирования видеопотоков выполнен с возможностью подготовки сжатых видеопотоков к трансляции потребителю, при этом преобразования их в видеопотоки формата RTSP и передачи в блок 15 коммуникаций,

- блок 13 формирования тревог выполнен с возможностью формирования сообщений о тревоге, на основе поступающих в него метаданных и заранее заданных тревожных линий и зон, и передачи сообщений о тревоге в блок 15 коммуникаций,

- блок 7 управления наклонно-поворотной платформой выполнен с возможностью получения информации с датчика 8 движения и остановки и команды управления наклонно-поворотной платформой и с возможностью формирования сигналов управления шаговыми двигателями 3 наклонно-поворотной платформы, а также сигналов управления трансфокатором 4, при этом передачи информации о текущем положении (координатах) наклонно-поворотной платформы и трансфокатора в блок 6 принятия решения и формирования метаданных, в блок 10 формирования панорамного изображения и в блок 15 коммуникаций,

- блок 14 поддержки ONVIF выполнен с возможностью обеспечения взаимодействия телекамеры через блок 15 коммуникаций с внешними объектами в соответствии со стандартом ONVIF,

- WEB интерфейс 16 выполнен с возможностью передачи внешних команд управления телекамерой,

- блок 15 коммуникаций выполнен с возможностью соединения и взаимодействия с внешними объектами.

В предпочтительном варианте осуществления телекамеры блок 13 формирования тревог выполнен с возможностью формирования сообщений о тревоге, выбранных из набора сообщений о тревоге: объект пересек линию; объект появился в зоне; объект пропал в зоне; объект зашел в зону; объект вышел из зоны; объект слишком долго находится в зоне.

Поставленный технический результат достигнут также путем создания способа для формирования панорамного видеоизображения и распознавания объектов на нем, в котором

- с помощью видеосенсора 1 формируют основной видеопоток и передают его в блок 5 наложения служебной информации и в

- блок 2 распознавания, с помощью которого покадрового обнаруживают объекты на изображении, определяют типа и координаты относительно кадра обнаруженных объектов и передают их в

- блок 6 принятия решения и формирования метаданных, с помощью которого анализируют данные, полученные от блока 2 распознавания изображений, при этом принимают решение о выделении или игнорировании объекта, причем в случае принятия решения о выделении объекта, формируют метаданные в координатах панорамного изображения на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, и передают поток метаданных в блок 10 формирования панорамного изображения и в

- блок 5 наложения служебной информации, с помощью которого накладывают рамки на обнаруженные объекты и другую визуальную информацию об объекте на видеокадры из входного потока, при этом формируют выходной видеопоток и передают его в

- видеокодек 9, с помощью которого сжимают видеопоток, при этом формируют сжатые видеопотоки с различными разрешениями, в соответствии с заданным режимом работы телекамеры, и передают сжатые видеопотоки в блок 12 формирования видеопотоков и в

- блок 10 формирования панорамного изображения, с помощью которого получают сжатые видеопотоки, синхронизированный с ними поток метаданных, информацию о текущем положении (координатах) наклонно-поворотной платформы от блока 7 управления наклонно-поворотной платформой и предшествующий кадр от блока 11 накопления кадров, и на основе полученных данных осуществляют «склейку» панорамного изображения, устраняют дублирование метаданных от соседних кадров и формируют команды управления наклонно-поворотной платформой для ее движения по заданной траектории, и передают панорамное изображение в блок 12 формирования видеопотоков и в блок 11 накопления кадров, а прореженный поток метаданных в блок 13 формирования тревог и блок 15 коммуникаций,

- с помощью блока 11 накопления кадров буферизируют кадры,

- с помощью блока 12 формирования видеопотоков подготавливают сжатые видеопотоки к трансляции потребителю, при этом преобразовывают их в видеопотоки формата RTSP и передают в блок 15 коммуникаций,

- с помощью блока 13 формирования тревог формируют сообщения о тревоге, на основе поступающих в него метаданных и заранее заданных тревожных линий и зон, и передают сообщения о тревоге в блок 15 коммуникаций,

- с помощью блока 7 управления наклонно-поворотной платформой получают информацию с датчика 8 движения и остановки и команды управления наклонно-поворотной платформой и формируют сигналы управления шаговыми двигателями 3 наклонно-поворотной платформы, а также сигналы управления трансфокатором 4, при этом передают информацию о текущем положении (координатах) наклонно-поворотной платформы и трансфокатора в блок 6 принятия решения и формирования метаданных, в блок 10 формирования панорамного изображения и в блок 15 коммуникаций,

- с помощью блока 14 поддержки ONVIF обеспечивают взаимодействие телекамеры через блок 15 коммуникаций с внешними объектами в соответствии со стандартом ONVIF,

- с помощью WEB интерфейса 16 передают внешние команды управления телекамерой,

- с помощью блока 15 коммуникаций осуществляют соединение и взаимодействие с внешними объектами.

В предпочтительном варианте осуществления способа с помощью блока 13 формирования тревог формируют сообщения о тревоге, выбранные из набора сообщений о тревоге: объект пересек линию; объект появился в зоне; объект пропал в зоне; объект зашел в зону; объект вышел из зоны; объект слишком долго находится в зоне.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.

Фиг. 1. Общая функциональная схема телекамеры для формирования панорамного видеоизображения и распознавания объектов на нем, выполненная согласно изобретению.

Элементы:

1 - видеосенсор;

2 - блок распознавания изображений;

3 - шаговые двигатели наклонно-поворотной платформы;

4 - трансфокатор;

5 - блок наложения служебной информации;

6 - блок принятия решения и формирования метаданных;

7 - блок управления наклонно-поворотной платформой;

8 - датчик движения и остановки;

9 - видеокодек;

10 - блок формирования панорамного изображения;

11 - блок накопления кадров;

12 - блок формирования видеопотоков;

13 - блок формирования тревог;

14 - блок поддержки ONVIF;

15 - блок коммуникаций;

16 - WEB интерфейс;

17 - внешние объекты;

18 - основной видеопоток;

19 - координаты, относительно кадра, и тип обнаруженных объектов;

20 - сигналы управления шаговыми двигателями;

21 - сигналы управления трансфокатором;

22 - метаданные;

23 - информация о текущем положении (координатах) наклонно-поворотной платформы;

24 - информация с датчика движения и остановки;

25 - выходной видеопоток;

26 - метаданные объектов;

27 - команды управления наклонно-поворотной платформой;

28 - текущее положение (координаты) наклонно-поворотной платформы;

29 - сжатые видеопотоки;

30 - панорамный кадр;

31 - предшествующий кадр;

32 - текущее положение (координаты) наклонно-поворотной платформы;

33 - сжатые видеопотоки;

34 - панорамное изображение;

35, 36 - метаданные;

37 - видеопотоки формата RTPS;

38 - сообщения о тревоге;

39-43 - данные блока коммуникации.

Рассмотрим кратко функционирование заявленной телекамеры для формирования панорамного видеоизображения (Фиг. 1). Блок 10 формирования панорамного изображения управляет движением наклонно-поворотной платформы для обеспечения ее безостановочного движения по заранее заданному маршруту. Остальные элементы телекамеры, расположенные на наклонно-поворотной платформе, непрерывно формируют видеопоток. Каждый кадр сформированного видеопотока передают в блок 2 распознавания изображения, в котором осуществляют обнаружение и распознавание всех объектов, попавших в кадр. Полученный таким образом поток метаданных об обнаруженных объектах (тип объекта, его координаты в рамках кадра, время обнаружения) передают в блок 10 формирования панорамного изображения.

В блоке 10 формирования панорамного изображения на основе данных местоположение от наклонно-поворотной платформы встраивают полученный видеокадр в соответствующее место на панорамном изображении, координаты распознанных объектов пересчитывают из координат в рамках кадра в координаты в рамках общей панорамы.

Сформированное таким образом панорамное изображение вместе с потоком метаданных о распознанных объектах передают как один из формируемых телекамерой выходных видеопотоков.

Рассмотрим более подробно функционирование заявленной телекамеры для формирования панорамного видеоизображения (Фиг. 1).

С помощью видеосенсора 1 (рис. 1) формируют основной видеопоток 18, который поступает напрямую в блок 2 распознавания изображений и в блок 5 наложения служебной информации.

Блок 2 распознавания изображений работает по одному кадру, что позволяет проводить обнаружение объектов на изображении, полученном с движущейся телекамеры. Тип и координаты 19 относительно кадра обнаруженных объектов передают в блок 6 принятия решения и формирования метаданных.

В блоке 6 принятия решения и формирования метаданных, на основе полученных от блока 2 распознавания изображений оценок соответствия объекта, принимают решение о выделении или игнорировании объекта. В случае принятия решения о выделении объекта, на основании информации о текущем положении (координатах) наклонно-поворотной платформы, полученной от блока 7 управления наклонно-поворотной платформой, формируют метаданные в координатах панорамного изображения. Сформированный таким образом поток метаданных 26 подают в блок 10 формирования панорамного изображения для встраивания метаданных в панорамное изображение. Аналогичный поток метаданных 22 передают в блок 5 наложения служебной информации.

В блоке 5 наложения служебной информации, на основе полученных метаданных 22 осуществляют наложение рамок на обнаруженные объекты и другой визуальной информации об объекте на видеокадры из входного основного видеопотока 18, при этом формируют выходной видеопоток 25.

С помощью видеокодека 9 сжимают входной видеопоток 25 и формируют один или нескольких видеопотоков 33 с различными разрешениями, в соответствии с заданным режимом работы телекамеры. Полученные таким образом, сжатые видеопотоки 33 с помощью видеокодека 9 передают на вход блока 12 формирования видеопотоков (RTSP streaming) и на вход блока 10 формирования панорамного изображения.

На вход блока 10 формирования панорамного изображения поступают сжатые видеопотоки 29, синхронизированный с ним поток метаданных 26, информация 28 о текущем положении (координатах) наклонно-поворотной платформы и предшествующий кадр 31 от блока 11 накопления кадров. На основе этих данных в блоке 11 формирования панорамного изображения осуществляют «склейку» панорамного изображения, устраняют дублирование метаданных от соседних кадров и формируют команды 27 управления наклонно-поворотной платформой для ее движения по заданной траектории. Полученное панорамное изображение 34 передают в блок 12 формирования видеопотоков (RTSP streaming), это же кадр панорамного изображения 30 передают в блок 11 накопления кадров. Прореженный поток метаданных 35, 36 передают в блок 13 формирования тревог и блок 15 коммуникаций.

В блоке 11 накопления кадров осуществляют буферизацию кадров, для последующего формирования единого панорамного кадра изображения.

В блоке 12 формирования видеопотоков (RTSP streaming) подготавливают сжатые видеопотоки 33 и 34 к трансляции потребителю в виде видеопотоков 37 формата RTSP (real time streaming protocol - потоковый протокол реального времени). Видеопотоков 37 может быть несколько, с различными разрешениями. Готовые видеопотоки формата RTPS 37 передают в блок 15 коммуникаций.

В блоке 13 формирования тревог на основе поступающих в него метаданных 35 и заранее заданных тревожных линий/зон формируют следующие виды сообщений о тревоге:

- объект пересек линию;

- объект появился в зоне;

- объект пропал в зоне;

- объект зашел в зону;

- объект вышел из зоны;

- объект слишком долго находится в зоне.

Сформированный таким образом поток сообщений 38 о тревоге передают в блок 15 коммуникаций.

Блок 7 управления наклонно-поворотной платформой на вход получает информацию 24 с датчика 8 движения и остановки и команды 27 на перемещение наклонно-поворотной платформы. На основе этой информации в блоке 7 управления наклонно-поворотной платформой формируют сигналы 20 управления шаговыми двигателями 3 наклонно-поворотной платформы и сигналы 21 управления трансфокатором 4, при этом на выходы блока 7 управления наклонно-поворотной платформой поступает информация 23, 28 и 32 о текущем положении наклонно-поворотной платформы и трансфокатора.

С помощью блока 14 поддержки ONVIF (Open Network Video Interface Forum - отраслевая международная организация, которая занимается разработкой стандартизованных протоколов для взаимодействия различного оборудования и программных средств, входящих в состав систем безопасности) обеспечивают взаимодействие 39, 41 через блок 15 коммуникаций 15 с внешними объектами 17 в соответствии со стандартом ONVIF.

С помощью WEB интерфейса 16 передают внешние команды 40, 42 управления телекамерой.

С помощью блока 15 коммуникаций обеспечивают соединение и взаимодействие 43 с внешними, по отношению к телекамере, объектами 17.

Заявленное изобретение представляет собой полностью автономную систему, реализованную в виде телекамеры установленной на управляемой наклонно-поворотной платформе, без использования внешних вычислителей для управления движением наклонно-поворотной платформы по предварительно заданному маршруту, выявления и распознавания объектов на каждом кадре видеопотока и формирования единого панорамного кадра в процессе движения наклонно-поворотной платформы по маршруту. Такое решение позволяет резко снизить требования к вычислительной мощности управляющих системами видеонаблюдения вычислительных устройств и систем или увеличить число одновременно задействованных телекамер. Кроме того, использование заявленного изобретения позволяет снизить требования к качеству и пропускной способности канала передачи данных от телекамеры до управляющего вычислительного устройства.

Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.