СИСТЕМА РАСПОЗНАВАНИЯ ОБЪЕКТОВ И СЛЕЖЕНИЯ ЗА НИМИ

Область техники

Изобретение касается системы распознавания объектов и слежения за ними.

Обзор известных технических решений

Известны системы для подсчета объектов, таких как люди, проходящие по коридору, например, в торговом центре, но такие системы не приспособлены для распознавания или различения объектов определенного типа или различных типов и их положения и для слежения за такими объектами в течение времени.

Целью данного изобретения является создание системы распознавания объектов и слежения за ними.

Сущность изобретения

В соответствии с одной из форм своего осуществления, которая может не быть единственной или самой широкой, изобретение касается системы распознавания объектов и слежения за ними, содержащей по меньшей мере один матричный датчик, причем указанный или каждый матричный датчик содержит датчик первого типа и датчик второго типа, датчик первого типа выполнен с возможностью обнаружения присутствия объекта в рабочей зоне датчика и определения его положения, а датчик второго типа выполнен с возможностью использования этого определенного первым датчиком положения объекта для идентификации или распознавания объекта либо для подсчета или регистрации присутствия объекта, если он является объектом некоторого выбранного типа.

Присутствие объекта, которое определяется первым датчиком, может быть обнаружено по изменениям в контрастных границах или по изменениям в картине изображения либо по перемещениям. Таким образом можно обнаруживать объекты, которые движутся в рабочей зоне датчика.

Датчики могут быть выполнены с возможностью использования части электромагнитного спектра, выбранной из радиолокационного, микроволнового, радиочастотного, инфракрасного, миллиметрового и оптического диапазонов либо с возможностью использования звуковой локации или другой системы обнаружения.

Датчики первого и второго типов могут быть приборами одного типа или же они могут быть приборами различных типов. Таким образом, датчик первого типа может быть телевизионной камерой с низкой разрешающей способностью, а датчик второго типа может быть радиочастотной системой обнаружения.

В случае, если первый датчик и второй датчик фактически являются одним и тем же прибором, второй датчик может работать с более высокой разрешающей способностью, чем первый, или может быть датчиком конкретного идентифицирующего типа.

В предпочтительной форме осуществления изобретения датчик первого типа может являться прибором типа глаза насекомого. А именно он может быть датчиком, который предназначен для обнаружения изменений в контрасте между смежными пикселами в поле зрения, а не для окончательной идентификации объектов. В такой форме осуществления изобретения датчик второго типа может быть датчиком с цифровой обработкой сигнала, например цифровым телевизионным датчиком. Таким образом, датчик первого типа служит для того, чтобы идентифицировать в рабочей зоне датчика определенную область, представляющую интерес, а затем датчик с цифровой обработкой сигнала должен лишь идентифицировать объект, просматривая эту определенную область рабочей зоны, а не обрабатывать все телевизионное изображение контролируемого пространства. Благодаря этому требуется значительно меньшая вычислительная мощность и может быть достигнута более высокая эффективность.

Первый датчик и второй датчик могут быть одним устройством, где второй датчик обеспечивает вторую ступень обработки данных.

Таким образом, в альтернативной форме осуществления изобретения датчики первого и второго типов могут быть выполнены в виде единого телевизионного датчика, наблюдаемое которым изображение обрабатывается двумя различными путями. Сначала наблюдаемое изображение может преобразовываться в цифровую форму, записываться в следующие друг за другом области памяти, а затем последовательные изображения могут анализироваться для обнаружения изменений в последовательных кадрах цифрового изображения, которые будут указывать на перемещающуюся контрастную границу. Там самым определяется движущийся объект в рабочей зоне датчика, и то же самое цифровое изображение может затем быть проанализировано в этой определенной области рабочей зоны датчиком второго типа. Для улучшения распознавания или результата в отношении объекта, представляющего интерес, датчик второго типа может использовать последующие или предыдущие кадры.

Если процесс распознавания не достигает пороговых уровней надежности, заранее заданных или полученных в результате искусственного обучения, то тогда дополнительные хранимые или загружаемые алгоритмы могут использоваться в итеративном процессе до тех пор, пока результаты не улучшатся.

В то время как датчик первого типа используется для идентификации объектов, представляющих интерес, датчик второго типа используется для целей распознавания. Каждый объект обладает рядом характеристик, такими как масса, высота, форма, контраст, яркость, цвет, узоры, скорость, тепло, отражательная способность, сигнатура и многие другие. Каждая характеристика сама по себе не обязательно пригодна в качестве признака, который может отдельно использоваться для распознавания объекта, и некоторые характеристики могут быть более легко идентифицируемыми, чем другие. Предпочтительно, изобретение предусматривает, что анализ наиболее легко распознаваемых характеристик выполняется сначала, а затем, используя другие характеристики и следующие друг за другом во времени кадры, система на каждом шаге в процессе итеративного анализа улучшает вероятность распознавания ею объекта с большей точностью. Определение, какие характеристики анализируются сначала, и порядок, в котором они анализируются, представляет собой наиболее важную часть данного изобретения.

В еще одной форме осуществления изобретения система может быть построена с искусственным интеллектом, чтобы принимать эти решения без внешнего вмешательства. В этом случае система определяет, какая характеристика будет анализироваться сначала. С течением времени система может идентифицировать новую характеристику или новую последовательность характеристик, которые могут лучше идентифицировать объект, представляющий интерес, и поэтому становится самосовершенствующейся. В этом случае самоусовершенствованные процедуры или алгоритмы хранятся в памяти в имеющейся резидентной библиотеке для будущих обращений. Система будет использовать анализ с использованием искусственного интеллекта, чтобы решить, используя вероятностный анализ, какой алгоритм является наиболее подходящим, по его успеху и скорости распознавания.

Таким образом, изобретение в целом описывает систему, которая может быть разбита на несколько ступеней. Первая ступень обработки будет включать машину для обнаружения объекта, предназначенную для захвата изображения и загрузки последовательностей оцифрованных изображений из аппаратных средств в соответствующем цифровом формате для машины для распознавания объекта. Датчик первого типа может опознавать границу объекта, определяя ее по последовательным кадрам, когда объект перемещается через рабочую зону датчика. Датчик второго типа, который может формировать вторую ступень системы, будет машиной для распознавания объекта, которая, во-первых, используется для преобразования определенных характеристик в подходящие математические образы или алгоритмы и, во-вторых, может использоваться для представления и записи результатов в течение времени, необходимого для анализа конкретных характеристик рассматриваемых объектов. Характеристики, подвергаемые анализу, могут включать, но не ограничиваются этим, один или несколько признаков, таких как масса, высота, форма, цвет, узор, контраст, текстура, тепло, отражательная способность, частота, скорость, излучение сигнала, сигнатура и т.д. Каждой характеристике обнаруженного объекта присваивается вероятность того, что обнаружен объект, представляющий интерес. Чтобы получить более высокие уровни точности, последовательные оцифрованные изображения могут анализироваться в течение времени с использованием хранимых процедур, хранимых библиотек, алгоритмов анализа, а также итеративного процесса анализа, который может обеспечивать наблюдение множества характеристик множества объектов в реальном времени.

Каждая итерация анализа увеличивает (или уменьшает, в соответствующих случаях) вероятность для обнаруженного объекта являться объектом, представляющим интерес. Если уровень вероятности достигает заранее заданного уровня признания или порогового уровня, то объект распознается как объект, представляющий интерес. Чтобы улучшить вероятностный анализ и повысить вероятность распознавания объекта, дополнительные разновидности датчиков второго типа могут быть включены в одну рабочую зону, используемую для наблюдения различных характеристик объекта, представляющего интерес.

Датчики дополнительных разновидностей могут быть расположены в различных местах и направлены под различными углами, но для просмотра одной и той же рабочей зоны, чтобы улучшить вероятность различения объектов, позиционирования объектов в трехмерном пространстве либо определения местоположения объекта, который иначе, при использовании датчика только одного типа, был бы затенен.

Датчик второго типа может быть выполнен с возможностью запрашивания запрашиваемого устройства, связанного с объектом. В одной такой форме осуществления изобретения первый датчик может быть выполнен с возможностью наблюдения того, что объект перемещается в пределах рабочей зоны, а запрашивающее устройство второго датчика служит для последующего запроса радиочастотной сигнатурной интегральной схемы, например интегральной схемы смарт-карты или транспондера, чтобы обеспечить уверенную идентификацию объекта и его прохождения через рабочую зону датчика.

Система распознавания и слежения за объектами может включать несколько матричных датчиков, датчики нескольких типов и несколько рабочих зон датчиков.

Матричный датчик может быть выполнен с возможностью взаимодействия с соседними матричными датчиками в нескольких рабочих зонах датчиков, чтобы передавать или принимать информацию, которая принята или получена путем обучения. Эта передача информации может осуществляться по замкнутой сети типа Intranet или по открытой сети типа Internet. Решения или информация будут передаваться дальше на следующие датчики или другие устройства третьих лиц, требующие такой информации для осуществления, когда это необходимо, запрограммированных действий. Датчики могут принимать решения, подавать команды или инициировать некоторые другие формы действий без человеческого вмешательства.

Третья ступень системы может быть представлена машиной для слежения. Распознав объект, представляющий интерес, машина для слежения может выполнять такие задачи, как инициализация координатной сетки, двумерное или трехмерное отображение, назначение метки, слежение за меткой и передача метки в следующие рабочие зоны датчиков. Это требует существенно меньшей мощности обработки, чем у машины для распознавания объекта, когда идентифицированный и отмеченный меткой объект перемещается из рабочей зоны одного датчика в рабочую зону другого. Если в следующей рабочей зоне датчика появляется объект, который предварительно не был обнаружен из-за того, что был заслонен другим объектом, процесс может быть прослежен в обратном направлении по всем возможным записанным кадрам изображения и записи могут соответствующим образом корректироваться. Система в целом обновляется с помощью этой новой информации. Это существенно увеличивает точность системы. С этого момента объект может прослеживаться дальше во времени до тех пор, пока он не выйдет из всех рабочих зон датчиков. После распознавания вида объекта, который требуется отследить, позиция каждого объекта, представляющего интерес, с течением времени последовательно отображается на универсальную координатную сетку. Поскольку вычислительная мощность, необходимая для слежения, существенно уменьшается в последовательных рабочих зонах датчиков, множество объектов может быть отслежено с высоким уровнем точности и надежности.

В предпочтительной форме осуществления изобретения могут использоваться несколько матричных датчиков, датчики нескольких типов и несколько рабочих зон датчиков в двумерном или трехмерном пространстве, а система может содержать средства взаимодействия между соседними матричными датчиками для передачи слежения за выбранным объектом из одной рабочей зоны датчика в соседнюю рабочую зону датчика и регистрации перемещения объекта с течением времени.

С помощью этих средств система может быть способна следить за движущимися объектами выбранного типа в намного большей области, чем рабочая зона одного датчика. Это может быть использовано, например, если требуется отслеживать объекты как по всему торговому центру, так и в рабочих зонах отдельных датчиков, таких как выставочная площадь.

Необходимо отметить, что поскольку объекты, которые не перемещаются в рабочей зоне датчика, например предметы мебели или другие неподвижные объекты, не наблюдаются датчиком первого типа, который наблюдает только перемещающиеся контрастные границы или изменения, например, между соседними кадрами телевизионного изображения, то они не отслеживаются или не наблюдаются и вторым датчиком. Это будет экономить значительную вычислительную мощность.

Должно быть понятно, что если матричный датчик, установленный на потолке здания, смотрит по существу вниз, например на коридор, то объект, когда он находится непосредственно под датчиком, будет иметь определенный контур, а когда объект перемещается через рабочую зону датчика, контур, наблюдаемый неподвижным матричным датчиком, будет изменяться вместе с углом наблюдения. Поэтому в одной из предпочтительных форм осуществления изобретения устройство обработки данных для идентификации движущихся объектов в рабочей зоне датчика может содержать средства учета угла, под которым объект находится относительно матричного датчика, или учета смещения объектов относительно центра в пределах этой зоны.

В системе распознавания объектов и слежения за ними все или некоторые из матричных датчиков могут быть установлены сбоку от их рабочей зоны, например на стене, определяющей границу рабочей зоны, или в углах этой зоны.

Система распознавания объектов и слежения за ними согласно данному изобретению может использоваться для подсчета людей в супермаркетах или других подобных местах или для транспорта, перемещающегося вдоль дороги, для охранного наблюдения и контроля, а также для определения предпочтений людей при их передвижении по магазину или выставочной площади либо для подсчета числа людей, находящихся в трехмерном пространстве, таком как комната или некоторая территория.

Система может использоваться для отслеживания перемещений, кажущихся случайными, чтобы определять их законы или тенденции во времени.

Система может использоваться как система наблюдения с пользовательским интерфейсом, чтобы формировать удобочитаемое изображение того, что наблюдает датчик, такой как телевизионная камера.

Следует отметить, что матричный датчик может быть установлен на подвижном объекте, например на автомобиле, и его наблюдения будут касаться стационарных объектов, таких как дорожные знаки или стоп-сигналы. Он может использоваться и для обнаружения присутствия пешеходов.

Для более полного понимания ниже приводится описание изобретения со ссылкой на приложенные чертежи, на которых показана предпочтительная форма осуществления изобретения.

На чертежах:

На фиг.1 показана рабочая зона датчика с некоторыми объектами в ней.

На фиг.2 показаны объекты и области, которые наблюдаются датчиком первого типа.

На фиг.3 показана область, наблюдаемая датчиком второго типа, и обнаруживаемые им объекты.

На фиг.4 показана расширенная рабочая зона датчиков с несколькими матричными датчиками и объектами, перемещающимися по ней.

На фиг.5 показана более реалистичная картина объектов, наблюдаемых датчиком первого типа в его рабочей зоне.

На фиг.6 показаны объекты фиг.5, наблюдаемые датчиком второго типа.

На фиг.7 показана схема системы распознавания и слежения согласно данному изобретению.

На фиг.8 показана схема системы обнаружения согласно другой форме осуществления данного изобретения.

На фиг.9 показана схема системы обнаружения согласно еще одной форме осуществления данного изобретения.

На фиг.10 показана схема системы обнаружения согласно еще одной форме осуществления данного изобретения.

На фиг.11 показана схема системы обнаружения согласно еще одной форме осуществления данного изобретения.

На фиг.12 показана схема системы обнаружения согласно еще одной форме осуществления данного изобретения, использующей транспондерное сигнатурное устройство идентификации.

Подробное описание предпочтительных вариантов осуществления изобретения

Обратимся к чертежам устройств, показанных на фиг.1-3, где в рабочей зоне (контролируемом пространстве) 1 датчика имеется несколько объектов. Первым объектом является человек 2, толкающий тележку 3, а другими объектами являются два человека 4 и 5, перемещающиеся близко друг к другу.

Как можно видеть на фиг.2, деталями объектов, обнаруживаемыми датчиком 7 первого типа, являются только контур 8 человека 2, контур 9 тележки 3 и контуры 10 и 11 людей 4 и 5.

Информация об этих контурах, определяющая области, которые нужно просмотреть в деталях, передается на датчик 15 второго типа, и наблюдаемое изображение, например оцифрованное телевизионное изображение, наблюдается только в областях, показанных пунктирными линиями. Область 16 наблюдается, чтобы идентифицировать объект 2, область 17 наблюдается, чтобы идентифицировать тележку 3, но поскольку тележка не является объектом, который следует подсчитывать, устройство обработки данных системы слежения не принимает тележку 3 во внимание и не подсчитывает ее. Двое людей 4 и 5 наблюдаются при просмотре областей 18 и 19 и идентифицируются как два человека, идущие вместе.

Следовательно, система, выполненная согласно данному изобретению, в этом просматриваемом ею пространстве подсчитывает 3 человек, перемещающихся в этом пространстве, и игнорирует четвертый объект - тележку.

На фиг.4 можно видеть шесть рабочих зон 20, 21, 22, 23, 24 и 25 датчиков. Человек 28 входит в зону 21, проходит через эту зону в зону 23 и затем выходит из зоны 23 в том ее углу, который расположен по соседству с зоной 25. Человек, толкающий тележку, входит в рабочую зону 20 датчика, перемещается по диагонали через нее в рабочую зону 22 другого датчика и затем в зону 24.

Матричный датчик (матрица чувствительных элементов) 31 в рабочей зоне 21 датчика наблюдает и условно отмечает человека, входящего в рабочую зону датчика, отслеживает движение этого человека через свою рабочую зону и затем передает на матричный датчик 32 в рабочей зоне 23 информацию о том, что человек вошел в эту зону в определенном месте, и матричный датчик 32 продолжает отслеживать отмеченного человека до тех пор, пока он не оставляет рабочую зону этого датчика. За непрерывным перемещением этого человека наблюдают так, что по данным наблюдений можно проследить и определить, почему данный человек повернул в рабочей зоне 23 датчика, а не предпочел продолжить идти прямо. При наблюдении за множеством людей, перемещающихся в различных рабочих зонах датчиков, можно наблюдать некоторые тенденции, которые могут дать некоторые указания относительно того, почему такое действие происходит. Однако человек 29, толкающий тележку 30, переместился по прямой линии из одной рабочей зоны датчика в следующую. Передача функции слежения в другую зону выполнена так, что человека 28 подсчитывают только один раз, несмотря на то, что он был в двух рабочих зонах датчиков, и человека 29 подсчитывают только один раз, хотя он побывал в трех рабочих зонах. Тележку 30 не подсчитывают вообще, потому что устройства обнаружения предназначены только для наблюдения движущихся людей.

Конечно, должно быть понятно, что для других устройств обнаружения объектами, за которыми следует наблюдать, могут быть перемещающиеся тележки или транспортные средства, а люди могут игнорироваться.

На фиг.5 и 6 показана несколько более реалистичная картина, где в своей рабочей зоне 40 матричный датчик 41 первого типа наблюдает объект 42, имеющий неправильную форму, и другой объект 43, имеющий неправильную форму. Эта неправильность формы является следствием того, что наблюдаемые объекты находятся не прямо под матричным датчиком 41, и, когда наблюдаются только перемещающиеся контрастные границы, в каждом случае определяется несколько неровная контрастная граница (контур). Детали этой границы объекта передаются на второй матричный датчик 44, как показано на фиг.6, и им наблюдается только ограниченная область, в которой при данном угле наблюдения определяется, что перемещающийся объект 42 фактически является человеком, а объект 43 - тележкой. Аналогично на фиг.5 два объекта 47 и 48 имеют несколько неровную форму, но если задан их угол относительно датчика 41, они идентифицируются как люди 49 и 50.

Как можно видеть на фиг.7, матричный датчик 60 содержит датчик 61 первого типа и датчик 62 второго типа, наблюдающие за рабочей зоной 63 датчика. Первичный сигнальный процессор 64, связанный с матричным датчиком, принимает и обрабатывает сигналы от датчика 61 первого типа и подает датчику 62 второго типа команды о том, что наблюдать в рабочей зоне датчика. Детали релевантных наблюдений передаются в центральный пункт 65, который также принимает информацию от соседних матричных датчиков по линиям 66 и 67 и позволяет следить за объектами, перемещающимися по рабочим зонам соседних датчиков. Релевантная информация, такая как результаты подсчета, подается на другие матричные датчики или устройства, соединенные сетью связи, либо в устройство 68 подсчета.

На фиг.8 матричный датчик 70 находится с одной стороны от рабочей зоны и охватывает область 71, которая включает рабочую зону, состоящую их четырех секторов 72, 73, 74 и 75. В этой форме осуществления изобретения матричный датчик 70 выполняет функции как датчика первого типа, так и датчика второго типа и может обнаруживать объекты в нескольких рабочих зонах, представленных этими четырьмя секторами 72, 73, 74 и 75.

На фиг.9 матричный датчик 76 имеет по существу то же самое расположение, что и на фиг.8, с областью 71 охвата, которая включает рабочую зону, состоящую их четырех секторов 72, 73, 74 и 75. В этой форме осуществления изобретения матричный датчик 70 содержит датчик 77 первого типа и отдельный датчик 78 второго типа. Здесь датчик 77 первого типа может обнаруживать перемещение объектов в нескольких рабочих зонах, представленных этими четырьмя секторами 72, 73, 74 и 75, а датчик 78 второго типа может идентифицировать каждый объект.

На фиг.10 показано расположение матричных датчиков, при котором имеются два матричных датчика 80 и 81, каждый сбоку от рабочей зоны датчиков, состоящей из четырех секторов 72, 73, 74 и 75. Матричный датчик 80 имеет область 83 охвата, которая позволяет выполнять обнаружение и идентификацию объектов в секторах 72 и 73 рабочей зоны. Матричный датчик 81 имеет область 84 охвата, которая позволяет выполнять обнаружение и идентификацию объектов в секторах 74 и 75 рабочей зоны.

На фиг.11 матричные датчики 80 и 81 имеют по существу то же самое расположение, что и на фиг. 10, с соответствующими областями 85 и 86 охвата, но они позволяют выполнять наблюдение только в секторах 73 и 75 соответственно, в то время как наблюдение в секторах 72 и 74 обеспечивается соответствующими матричными датчиками 87 и 88, расположенными сверху.

На фиг.12 показано шоссе 90, по которому перемещаются два автомобиля 91 и 92. Автомобили 91 и 92 движутся по шоссе в различных направлениях. Автомобиль 91 имеет интегральную схему транспондера (ответчика) 93, установленную на нем, и автомобиль 92 имеет интегральную схему транспондера 93, установленную на нем. С одной стороны от шоссе 90 находится матричный датчик, содержащий первый датчик, например телевизионный датчик 95, работающий в инфракрасной области электромагнитного спектра, и второй микроволновый датчик 97, предназначенный для опроса транспондеров 93 и 94. Область 96 охвата телевизионного датчика 95 включает обе полосы дороги и значит он может обнаруживать перемещающиеся автомобили 91 и 92. Когда каждый автомобиль обнаружен, приводится в действие второй микроволновый датчик 97, чтобы опросить сфокусированными лучами 99 и 98 транспондеры 93 и 94 соответственно. Посредством этого регистрируется не только тот факт, что определенный автомобиль прошел данную точку, но также и направление его передвижения. Без первого этапа наблюдения матричный датчик может зарегистрировать, что транспондер прошел данную точку, но направление передвижения регистрироваться не будет.

В этом описании были даны различные указания относительно объема этого изобретения, но изобретение не ограничивается каким-либо одним из них, а может состоять из двух или более, объединенных вместе. Примеры приведены только для иллюстрации, а не для ограничения.

В этом описании, если из контекста не следует иного, слова "содержат", "включают" и производные от них, такие как "содержащий" и "включающий", должны пониматься как подразумевающие включение некоторого целого или их группы, но не исключение любого другого целого или их группы.