Результат интеллектуальной деятельности: Система контроля и мониторинга автотранспортных средств

Изобретение относится к системам автоматизированного контроля, диспетчерского управления и обеспечения безопасности нахождения на маршруте транспортных средств (ТС).

Из уровня техники известна автоматизированная система контроля технического состояния мониторинга автотранспортных средств и регистратор параметров транспортного средства (RU 53049 U1, G08G 1/01, 27.04.2006). Она состоит из базовой станции, подвижных единиц, центрального диспетчерского пункта и маршрутных датчиков. На базовой станции установлены приемопередающие устройства. Микроконтроллер базовой станции выполнен с возможностью генерировать команды настройки и опроса подвижной единицы. На каждой подвижной единице установлен блок датчиков ее технического и эксплуатационного состояния. Центральный диспетчерский пункт содержит приемопередающее устройство, выход которого подключен через соответствующую шину порта ввода-вывода к второй ПЭВМ, выполненной с возможностью обобщать и анализировать информацию микроконтроллера базовой станции по граничным значениям контролируемых параметров регистратора параметров транспортного средства. Маршрутные датчики имеют в своем составе передающие устройства, выполненные с возможностью генерации сигналов, фиксирующих факт прохождения мимо них подвижных единиц. Объединение в единую автоматизированную систему осуществляется радиоканалами между подвижной единицей и базовой станцией приемопередающими устройствами, между базовой станцией и центральным диспетчерским пунктом и между подвижной единицей и маршрутными датчиками приемопередающим устройством регистратора и передающим устройством маршрутного датчика.

Недостатком указанной системы является отсутствие высокой степени его автоматизации и оперативности контроля, отсутствие анализа видеоданных.

Из уровня техники известна система контроля и мониторинга маршрутизированных автотранспортных средств (RU 2712404 С2, G08G 1/123, дата публикации патента 28.01.2020), выбранная в качестве прототипа заявляемого изобретения. Система по прототипу включает бортовой терминал системы, осуществляющий сбор данных от датчиков пассажиропотока или датчиков нагрузки, устройств контроля стиля и манеры вождения водителя, модуля видео-аналитики безопасного вождения, видеорегистраторов, устройства непрерывной голосовой связи диспетчера с водителем, кнопки экстренной помощи, температурных датчиков и передачу всех полученных сведений на телематический сервер с программным обеспечением и на компьютер диспетчера. На телематический сервер поступают данные с терминалов телемедицины, с устройства радиочастотной идентификации на право доступа к въезду/выезду автотранспортного средства в/из автопарк(а) и модуля отчетов, в который заносятся отчеты по поездкам. Во время движения транспортного средства терминал получает данные от модуля видео-аналитики безопасного вождения, выполненного в виде программно-аппаратного модуля и камер видеонаблюдения, установленных в салоне, и позволяющего отслеживать поведение водителя в процессе движения транспортного средства, выявлять разговор водителя автобуса по мобильному телефону и т.д.

Основным недостатком системы по прототипу является отсутствие возможности проанализировать все полученные системой данные непосредственно на борту транспортного средства, что делает ее уязвимой, например, при аварийном отключении связи. При этом безопасность движения автотранспортного средства может быть поставлена под угрозу. К другим недостаткам системы по прототипу можно отнести отсутствие технологии биометрического распознавания лиц, отсутствие использования для детектирования событий алгоритмов компьютерного зрения и системы искусственного интеллекта (нейросети).

Задачей заявляемого изобретения является создание системы контроля и мониторинга автотранспортных средств, обеспечивающей повышение безопасности движения ТС, за счет возможности анализа всех полученных системой сведений и детектирования событий непосредственно на борту транспортного средства, настройки каждого модуля аналитики на решение своей задачи, настройки генерации сообщений по типу ситуации, контроля состояния водителя, дорожного полотна, соблюдения ПДД водителем, автоматизации контроля за техническим и эксплуатационным состоянием автотранспортного средства, автоматизированной передачи массивов данных о техническом и эксплуатационном состоянии автотранспортного средства в центр реагирования, повышения безопасности автомобильных перевозок путем постоянного контроля за состоянием автотранспортного средства и предотвращения выходов контролируемых параметров о техническом и эксплуатационном состоянии.

Поставленная задача достигается за счет того, что система контроля и мониторинга автотранспортных средств включает центр реагирования, сторонние системы и программно-аппаратный комплекс видео аналитики (ПАК ВДА), выполненный с возможностью подключения сторонних систем и включающий видеокамеры и установленный на автотранспортном средстве главный вычислитель, выполненный с возможностью получения данных от сторонних систем и видеокамер, сохранения и передачи в центр реагирования данных и аналитики, получаемых в процессе работы, в заявленной системе ПАК ВДА предназначен для определения ситуаций, которые могут оказаться нежелательными, при этом упомянутые ситуации определяются на основе автоматизированного анализа изображений, получаемых с видеокамер, установленных на автотранспортном средстве, анализ осуществляется электронно-вычислительным комплексом с использованием алгоритмов компьютерного зрения, причем системы машинного распознавания и искусственного интеллекта используются для выявления инцидентов, связанных с падением внимания и нарушением управления автотранспортным средством, контроль состояния мимики лица, движения глаз и закрытия век водителя с определением инцидентов, косвенно выявляющих угрозы, а именно, зевота, закрывание век, замедление психологических реакций, производится непрерывно, при этом ПАК ВДА дополнительно включает установленную на автотранспортном средстве распределенную сеть анализа видеоданных, представляющую собой модули аналитики и выполненную с возможностью получения информации о состоянии автотранспортного средства и использования ее для детектирования нежелательных ситуаций (событий), генерации сообщений о детектированных нежелательных ситуациях для их последующей отправки в центр реагирования, с возможностью настройки генерации сообщений для центра реагирования по каждому типу ситуаций: при детектировании ситуации, при детектировании окончания ситуации, периодичность сообщений при продолжении ситуации, с возможностью настройки каждого модуля аналитики на решение своей задачи, с указанием адреса видеокамеры, с которой необходимо получать видео поток или места на диске, настройки событий и указания адреса внешней системы, при этом система контроля и мониторинга автотранспортных средств дополнительно включает систему контроля и управления доступом, осуществляющую биометрическое распознавание лиц, дополнительный модуль, выполненный с возможностью произведения не инвазивного замера температуры с помощью тепловизора, а именно выявления повышенной температуры тел, главный вычислитель выполнен с возможностью получения данных от распределенной сети анализа видеоданных, системы контроля и управления доступом, тепловизора и настройки модулей аналитики, входящих в распределенную сеть анализа видеоданных, и указания места получения данных для аналитики. В преимущественном варианте исполнения заявленной системы сторонними системами являются видеорегистратор, установленный на автотранспортном средстве, трекер, бортовая сеть автотранспортного средства. Видеорегистратор может быть выполнен с возможностью подключения видеокамер. Трекер может быть выполнен с возможностью подключения по меньшей мере одного типа датчиков, выбранного из последовательности: дискретные, аналоговые, частотные, импульсные датчики, тахометр, цифровые датчики уровня топлива, тахограф. Заявленная система может дополнительно включать опциональные модули: панель индикации, цифровые датчики, аналоговые датчики. ПАК ВДА может быть выполнен с возможностью подключения опциональных модулей, а главный вычислитель - с возможностью получения данных от цифровых и аналоговых датчиков. Главный вычислитель может быть выполнен с возможностью информирования водителя о работе системы контроля и мониторинга автотранспортных средств при помощи панели индикации.

Наличие распределенной сети анализа видеоданных позволяет настраивать модули аналитики на детектирование определенных событий, а также детектировать события непосредственно в месте их обнаружения, что увеличивает быстроту передачи информации и принятия решений и, следовательно, безопасность движения всего транспортного средства. За счет того, что аналитика происходит на борту транспортного средства, а не на облачном сервере, заявляемая система может работать офлайн в зонах, где нет связи с сервером, принимать решения прямо на борту, а не в последствии (когда попадет в зону с сотовой связью). Улучшается контроль за состоянием водителя за счет непрерывного мониторинга его поведения и выявления косвенных угроз нарушения процесса вождения. Кроме того, может улучшаться обратная связь с водителем, когда сообщение о событии передается ему непосредственно, а не через диспетчера, что происходит незаконный слив топлива, или о не закрытом люке и т.д.

Система контроля и мониторинга автотранспортных средств включает в себя следующие узлы (см. фиг.1): центр реагирования (11), сторонние системы мониторинга, программно-аппаратный комплекс видео аналитики (ПАК ВДА), а также СКУД и дополнительный модуль для не инвазивного замера температуры тел с помощью тепловизора. Возможно подсоединение к системе опциональных модулей. Рассмотрим каждый узел отдельно.

Центр реагирования (11) является удаленным сервером, связанный с системой контроля и мониторинга автотранспортных средств через радиомодем. Позволяет выполнять следующие функции:

- База данных, сохраняет все данные поступающие от ТС оборудованных ПАК ВДА;

- модуль аналитики, для автоматического принятия решений информирования оператора;

- модуль интеграции с внешними системами государственной противопожарной службой;

- модуль обновления ПО ПАК ВДА;

- модуль создания конфигурационных файлов ПО ПАК ВДА;

- интерфейс оператора.

Сторонние системы мониторинга - это штатные системы мониторинга, уже установленные на ТС системы или устанавливаемые для расширения возможностей ПАК ВДА. Сторонние системы мониторинга состоят из: трекера (4), видеорегистратора (5) и бортовой сети ТС (6)

Трекер (4) соединен с ПАК ВДА по интерфейсу RS-485. Он предназначен для контроля за перемещением транспорта, уровня топлива, работы ТС.К трекеру могут быть подключены:

- Дискретные датчики: датчики движения, зажигания, открытия дверей, наличия пассажира, наклона и др.: Р0, P1, Р2, Р3 для датчиков с положительной полярностью выходного сигнала, Р4, Р5 для датчиков с отрицательной полярностью выходного сигнала.

- Аналоговые датчики (уровня топлива, напряжения, температуры и прочие): Р0, Р1, Р2, Р3.

- Частотные датчики (уровня топлива, частоты, оборотов двигателя, температуры и прочие): Р2, Р3, Р4, Р5.

- Импульсные датчики (топливные расходомеры, датчики подсчета пассажиров и прочие): Р2, Р3, Р4, Р5.

- Тахометр: Р4, Р5.

- Цифровые датчики уровня топлива LLS: RS-485.

- Тахограф и датчики, использующие интрфейс: RS-485.

Видеорегистратор (5) поддерживает подключение до 4(8) аналоговых или 4(8) HD (720Р) AHD камер видеонаблюдения, также может выступать в гибридном режиме для различного сочетания аналоговых и HD камер (поканальное переключение). Связь с ПАК ВДА осуществляется в зависимости от модели видеорегистратора, это может быть USB, Ethernet, WiFi (проводное или беспроводное исполнение).

Бортовая сеть ТС (6) соединена с ПАК ВДА по CAN шине. Информация, полученная от бортовой сети ТС и предоставляемая блоком передачи информации (внешняя система) о состоянии ТС: скорости, направлении движения, напряжении питания, факте работы двигателя, включения стояночного тормоза, данные системы управления светом фар, рулевой колонкой и педалями управления, данные от системы контроля использования ремней безопасности, температуры внутри салона и др.

ПАК ВДА предназначен для определения ситуаций, которые могут оказаться нежелательными. Описание потенциально нежелательных ситуаций (событий) содержится в таблице 1.

Определение ситуаций осуществляется на основе автоматизированного анализа изображений, получаемых с видеокамер, установленных на ТС. Анализ осуществляется электронно-вычислительным комплексом с использованием алгоритмов компьютерного зрения. Использование системы машинного распознавания и Искусственного Интеллекта (нейросети) для выявления инцидентов, связанных с падением внимания и нарушением управления ТС. Производится непрерывный контроль состояния мимики лица и движения глаз (в т.ч. закрытия век) водителя с определением инцидентов косвенно выявляющих угрозы (зевота, закрывание век, замедление психологических реакций). С помощью дополнительного модуля производится не инвазивный замер температуры с помощью тепловизора (выявление повышенной температуры тела).

Комплексы располагаются на ТС анализируют изображения в реальном времени. Результаты анализа в архивированном виде передаются в центр мониторинга.

Для оптимизации работы электронно-вычислительного комплекса предполагается использование дополнительных данных, например, данных бортовой сети передачи данных транспортного средства.

Одновременно с этим ПАК ВДА должен обеспечивать запись, хранение и санкционированный съем всех получаемых видеопотоков в высоком качестве.

Опционально предусматривается выполнение в ПАК ВДА дополнительного функционала, такого, как сбор и передача данных различного характера непосредственно в центр реагирования, передача речевых сообщений водителю и др.

ПАК ВДА состоит из Распределенной сети анализа видеоданных (1) (модулей аналитики), главного вычислителя (2), цифровых видеокамер (3), коммутатора(ов) РоЕ, громкоговорителя и динамика. Данные от цифровых видеокамер (3) транслируются в общую сеть, от аналоговых камер данные поступают как на локальный диск. Распределенная сеть анализа видеоданных (1) позволяет через Веб интерфейс или загрузив конфигурационный файл, настроить каждый модуль аналитики на решение своей задачи (определения события, приведенного в таблице 1), указать адрес камеры, с которой необходимо получать видео поток или место на диске для сохранения видео или метаданных события, настроить события и указать адрес внешней системы (например, диспетчерского центра). С помощью громкоговорителя и микрофона связаться с водителем. Распределенная сеть анализа видеоданных позволяет моментально сообщать водителю ТС о детектированных событиях (см. таблицу 1). Главный вычислитель, принимая события от распределенной сети анализа видеоданных, данные от трекера, видеорегистратора, бортовой сети ТС, системы контроля и управления доступом (СКУД), тепловизора, цифровых и аналоговых датчиков, сохраняет их и передает в центр реагирования по средствам радиомодема. Для информирования водителя о работе системы возможна установка панели индикации, а также предусмотрена световая и звуковая сигнализация.

Рассмотрим комплекс поэлементно:

1. Распределенная сеть анализа видеоданных. (1) Она состоит из модулей, одноплатных компьютеров транспортной аналитики и выступают для сторонних систем как датчики, сообщающий о дискретных событиях по сети Ethernet. Каждое событие, передаваемое внешним системам, это сообщаемый тип распознанной потенциально нежелательной ситуации.

Распределенная сеть анализа видеоданных позволяет:

- получать видеопотоки, содержащие изображения, генерируемые видеокамерами, установленными на ТС;

- получать информацию от блока передачи данных (сторонняя система) о состоянии ТС и использовать ее для детектирования ситуаций, при этом перечень необходимых данных и протокол передачи данных может корректироваться;

- получать информацию о состоянии ТС от модуля связи с CAN шиной транспортного средства, использовать ее для детектирования Ситуаций (в необходимом объеме);

- производить обработку полученных изображений с учетом (при необходимости) информации о состоянии транспортного средства;

- обрабатывать все изображения одновременно, за исключением тех случаев, когда это является избыточным, обработка включает в себя анализ на предмет определения всех ситуаций, указанных в Таблице 1, при этом качество детектирования ситуаций на видео измеряется по метрикам precision/recall на отложенной размеченной выборке изображений и не должно быть менее значений, перечисленных в Таблице 1 для каждого события соответственно с учетом распознаваемой последовательности, например, из 5 кадров, допускается обеспечение детектирования ситуаций встроенными средствами видеокамер с получением информации о факте детектирования в модуль распознавания с последующей передачей его для центра реагирования, соответствие метрикам не зависит от интенсивности и направленности внешнего освещения;

- в случае детектирования ситуаций генерировать соответствующие сообщения с событиями для их последующей отправки в центр реагирования через блок передачи данных (сторонняя система) или через модуль мобильной связи, сообщения должны сопровождаться подтверждающей фотографией, на которой распознанная ситуация должны выделяться цветной рамкой;

- удостоверяться в получении сообщений центром реагирования по возвращаемым им соответствующим квиткам в случае неполучения квитка передавать сообщения повторно;

- в связи с относительно высокой продолжительностью рассматриваемых ситуаций, для увеличения качества распознавания, позволяет допускать проведение нескольких подряд проверок на факт наступления ситуации до того, как будет сформировано сообщение для центра реагирования;

- настраивать генерации сообщений для центра реагирования по каждому типу ситуаций: при детектировании ситуации, при детектировании окончания ситуации, периодичность сообщений при продолжении ситуации;

- передавать сигнал в модуль записи видеоизображений о блокировке от стирания файлов, соответствующих обнаруженной ситуации, при этом допускается запись соответствующих файлов в собственное хранилище при обеспечении гарантированности хранения таких данных;

- осуществлять сбор диагностической информации (температура, загрузка процессора и т.п.) с различных подсистем ПАК ВДА для последующей их передачи в центр реагирования;

2. Главный вычислитель (2). Устанавливается непосредственно в ТС (автобус, грузовой автомобиль, специализированный автомобильный транспорт различного назначения). Подключается к имеющейся интеллектуальной системе управления ТС или может работать независимо. Получая питание от аккумуляторной батареи (АКБ) ТС, фильтрует от помех и преобразовывает его в рабочее напряжение, заряжает встроенный АКБ, следит за температурой системы и при необходимости включает обогрев или охлаждение системы. Система включается или от включения зажигания, или от предустановленных настроек. Принимая данные от датчиков, подключенных по различным интерфейсам (CAN, RS-232, RS-485, USB, Ethernet, WiFi, BlueTooth и GPIO), подключенных видео камер через интерфейсы MIPI, USB, Ethernet или WiFi), использует встроенную аналитику машинного зрения, примеры указаны в таблице 1, выполняет различные действия, такие как: логирование и хранения данных привязанных к мировому времени UTC, передачу данных по радиомодемам(дублирование), управление внешними устройствами.

3. Цифровые видеокамеры (3). Изображения, передаваемые цифровыми видеокамерами в распределенную сеть анализа видеоданных и главный вычислитель, удовлетворяют требованиям анализа видеоданных вне зависимости от интенсивности и направленности внешнего освещения (в т.ч. контрового, в т.ч. в темное время суток).

Расположение видеокамер должно подбираться таким образом, чтобы степень их загрязнения в течение 12 часовой смены не приводила к ухудшению качества изображения ниже требуемого модулю анализа видеоданных для работы с заданными характеристиками (за исключением случайных разовых загрязнений). Возможно использование камер с системой омывания. Управление омывателем осуществляется с помощью GPIO от Главного вычислителя или от трекера.

Расположение видеокамер должно подбираться таким образом, чтобы в ходе эксплуатации зоны интереса не могли оказаться за полем зрения видеокамер.

В метаданные изображения с видеокамеры должно накладываться системное время и название видеокамеры.

4. Коммутатор РоЕ. Отвечает за связь между главным вычислителем и распределенной сетью анализа видеоданных и цифровых камер, а также их питание. Может быть оснащен источником бесперебойного питания.

5. Система контроля и управления доступом (СКУД) (7). При осуществлении входа в салон производится биометрическое распознавание лиц. Производится обработка лиц преданализатором подготавливающим данные для работы системы СКУД по Face ID. Производится запрос к БД Face ID. Производится идентификация «свой/чужой». Производится выдача статуса в систему управления доступом (открытие турникета входа в салон).

6. Тепловизор (8). Подключается в комплекс ПАК ВДА по сети Ethernet. Водитель и пассажиры, находящиеся в ТС должны иметь температуру тела не выше 37,2 град. При обработке биометрии лиц, добавляется тепловизионная картина лица. Производится обработка системой «машинного зрения» с анализом температуры тела. При обнаружении превышения «пороговой температуры» выше 37,2 град производится выдача предупредительного сигнала + запрет на доступ в салон (турникет не открывается). Производится оформление инцидента и передачи в центр реагирования.

7. Панель индикации (9). Для информирования водителя о работе комплекса, ПАК ВДА может быть укомплектована планшетом с вычислителем, который позволяет проводить диагностику системы, информировать водителя о различных ситуациях.

8. Цифровые и аналоговые датчики (10). Предназначены для контроля за перемещением транспорта, уровня топлива, работы ТС. Могут подключаться к ПАК ВДА по интерфейсу RS-485 или через порты GPIO.

Могут быть подключены следующие датчики:

- Дискретные датчики: датчики движения, зажигания, открытия дверей, наличия пассажира, наклона и др.: I0, I1, I2 для датчиков с положительной полярностью выходного сигнала.

- Аналоговые датчики (уровня топлива, напряжения, температуры и прочие): 10, 11, 12.

- Внешние выходы: О0, O1, О3.

- Цифровые датчики уровня топлива LLS: RS-485.

- Тахограф и датчики, использующие интерфейс: RS-485.

Технический результат от использования изобретения заключается в обеспечении повышения безопасности движения ТС, за счет возможности анализа всех полученных системой сведений и детектирования событий непосредственно на борту транспортного средства, настройки каждого модуля аналитики на решение своей задачи, настройки генерации сообщений по типу ситуации и измерения качества детектирования ситуаций, контроля состояния водителя, дорожного полотна, соблюдения ПДД водителем, автоматизации контроля за техническим и эксплуатационным состоянием автотранспортного средства, автоматизированной передачи массивов данных о техническом и эксплуатационном состоянии автотранспортного средства в центр реагирования, повышения безопасности автомобильных перевозок путем постоянного контроля за состоянием автотранспортного средства и предотвращения выходов контролируемых параметров о техническом и эксплуатационном состоянии.