РАСПОЗНАВАНИЕ ТЕЛОДВИЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ ЦИФРОВОЙ ЦВЕТОВОЙ РИРПРОЕКЦИИ

2420-182479RU/015

Область техники, к которой относится изобретение

Настоящее изобретение относится к методике обработки изображения и, в частности, к использованию методики обработки изображения для анализа объекта.

Уровень техники

Устройство для распознавания объектов, таких как формы кисти человека, с использованием методик обработки изображения, хорошо известно в данной области, и существуют системы предшествующего уровня техники, которые нацелены на распознавание, например, различных движений кисти руки путем использования камер и электронного устройства обработки. В таких системах предшествующего уровня техники изображения объектов обычно запечатлевают перед сложным фоном или фоном фиксированного цвета. Однако различные объекты могут иметь различные цвета (например, вследствие различных цветов кожи). Если цвет объекта близок к цвету фона, то в системах предшествующего уровня техники трудно обеспечить точное и стабильное распознавание. Ввиду этого, данные системы предшествующего уровня техники имеют ограниченное применение в областях, где требуется высокая точность и хорошая стабильность.

Поэтому, необходимо обеспечить методику определения и анализа объекта, такого как кисти рук людей, с высокой точностью и хорошей стабильностью.

Раскрытие изобретения

Было бы предпочтительно разработать методику определения и анализа различных объектов, в частности объектов различных цветов, с высокой точностью и хорошей стабильностью.

В соответствии с изобретением фон располагается позади подлежащего анализу объекта, причем цвет фона следует установить так, чтобы он отличался от цвета объекта. Таким образом, после получения изображения объекта и фона, на изображении легко различить часть, относящуюся к объекту, от части, относящейся к фону. Это приводит к стабильному распознаванию различных объектов, в частности объектов различного цвета.

В соответствии с одним аспектом настоящее изобретение относится к способу и системе для анализа объекта.

Система содержит:

фон, расположенный позади объекта, причем цвет фона может быть выбран из любого цвета из набора цветов;

первый узел для установки цвета фона так, чтобы указанный цвет отличался от цвета объекта;

второй узел для получения изображения, включающего в себя объект и фон; и

третий узел для определения, по меньшей мере, одного признака, относящегося к объекту, в соответствии с изображением, полученным указанным вторым узлом.

Преимущество такой системы и способа состоит в том, что: очень легко отличить передний план (т.е., часть, относящуюся к объекту) от фона на полученных изображениях, поскольку цвет фона значительно отличается от цвета объекта. Кроме того, в такой системе цвет фона может быть установлен в соответствии с цветом объекта. Таким образом, даже если цвет объекта варьируется ввиду того, что объект заменяется другим объектом, система все же способна надежно определять признаки, относящиеся к объекту, в соответствии с полученными изображениями.

Предпочтительно, цвет, выбранный для фона, отличается от цвета объекта с точки зрения интенсивности цвета, яркости или обеих этих характеристик. Такая система, в зависимости от требований, может в качестве второго узла иметь или недорогую монохромную камеру, или цветную камеру.

Предпочтительно, цвет, установленный для фона, может определяться первым модулем в первом узле. В одном примере, первый модуль может выбирать в качестве цвета фона цвет по умолчанию (например, зеленый). В другом примере цвет фона может определяться на основании информации, вводимой пользователем, причем информация, вводимая пользователем, указывает цвет фона, который хочет выбрать пользователь. С такой системой может быть очень просто и легко работать. В еще одном примере цвет фона может определяться в соответствии с определенным распределением цвета объекта и информацией, вводимой пользователем. Такая система может помочь пациенту или пользователю выбрать наиболее подходящий цвет в качестве цвета фона с тем, чтобы достичь более точного анализа объекта.

Предпочтительно, распределение цвета объекта может автоматически определяться путем выполнения следующих этапов:

последовательного выбора поднабора цветов для фона с целью создания набора фонов различных цветов;

получения для каждого фона из указанного набора фонов, по меньшей мере, одного изображения, включающего в себя объект и фон;

определения распределения цвета объекта на основании статистического анализа изображений, полученных для указанного набора фонов.

Такая система может автоматически определять распределение цвета объекта с тем, чтобы без вмешательства пользователя мог быть точно определен наиболее подходящий цвет фона.

В предпочтительном варианте осуществления объект может представлять собой часть тела (такую как кисть руки человека), и система дополнительно содержит четвертый узел для распознавания движения части тела на основании указанного, по меньшей мере, одного признака, определенного третьим узлом. Например, определенный признак может представлять собой силуэт части тела. Такая система может точно и стабильно определять движение части тела для дальнейшего анализа.

Кроме того, указанная выше система может использоваться в качестве системы реабилитации, и объект представляет собой часть тела пациента (например, верхнюю конечность и кисть руки). Система реабилитации дополнительно оценивает, правильно ли распознанное движение части тела, а затем осуществляет обратную связь для мотивации пациента через аудио и/или видеосигналы. Таким образом, такая система может представлять собой систему реабилитации в домашних условиях для содействия автоматическому выполнению пациентом повторного обучения тренировкам двигательных функций в порядке самопомощи.

В соответствии с другим аспектом настоящее изобретение относится к устройству для содействия анализу объекта, причем устройство содержит:

фон, предназначенный для расположения позади объекта, причем возможен выбор цвета фона из любого из разнообразных цветов;

первый узел для конфигурации цвета для фона так, чтобы данный цвет отличался от цвета объекта.

Такое устройство может работать совместно с камерой и вычислительным устройством для создания системы реабилитации, как указано выше.

Данные и другие аспекты изобретения станут очевидными и более ясными при ссылке на описанные ниже варианты осуществления.

Краткое описание чертежей

Далее настоящее изобретение будет более детально описано и объяснено посредством вариантов осуществления и со ссылкой на чертежи, на которых:

фиг.1 представляет собой схематическое изображение системы для анализа объекта в соответствии с одним вариантом осуществления настоящего изобретения;

фиг.2 представляет собой схему последовательности операций процедуры функционирования системы, изображенной на фиг.1;

фиг.3 представляет собой схему контроллера, показанного на фиг.1;

фиг.4 представляет собой схему последовательности операций автоматического определения распределения цвета объекта в соответствии с одним вариантом осуществления настоящего изобретения;

фиг.5 представляет собой схему последовательности операций процедуры функционирования реабилитационной системы в соответствии с одним вариантом осуществления настоящего изобретения;

фиг.6 представляет собой схематическое изображение силуэтов, полученных в соответствии с одним вариантом осуществления настоящего изобретения.

Одинаковые обозначения на чертежах указывают одинаковые или соответствующие признаки и/или функциональные элементы.

Осуществление изобретения

Далее вариант осуществления настоящего изобретения будет детально описан со ссылкой на чертежи.

Заявитель настоящего изобретения обнаружил, что было бы полезно, если бы цвет фона, который расположен позади подлежащего анализу объекта, мог быть установлен так, чтобы отличаться от цвета объекта. Поскольку имеется большое различие цвета между объектом и фоном, то легко отличить часть изображения, относящуюся к объекту, от фона.

На фиг.1 иллюстрируется пример системы 10 для анализа объекта в соответствии с описанным выше замыслом. Система 10 может представлять собой систему распознавания движений руки или т.п. Как показано на фиг.1, система 10 включает в себя фон 110, контроллер 120 (первый узел), камеру 130 (второй узел) и узел 140 обработки, причем узел 140 обработки включает в себя, например, узел 141 определения (третий узел) и другие возможные функциональные узлы 142 и 143 (которые будут описаны далее в настоящем документе).

Как показано на фиг.1, подлежащий анализу объект 150, такой как рука человека, помещается между фоном 110 и камерой 130. В данном случае, и положение, и высота фона 110 могут, при желании, например, регулироваться для соответствия различным пользователям. Камера 130 получает изображения, включающие в себя объект 150 и фон 110. Камера 130 может представлять собой цифровую камеру или цифровую видеокамеру. Камера 130 соединена с узлом 140 обработки посредством проводного или беспроводного соединения с тем, чтобы полученное изображение можно было передать из камеры 130 в узел 140 обработки для анализа. Узел 140 обработки может представлять собой переносной компьютер, PDA (персональное цифровое электронное вспомогательное устройство), сотовый телефон или любое другое электронное устройство, способное обрабатывать изображение. Узел 140 обработки обрабатывает полученные изображения для определения, по меньшей мере, одного признака, относящегося к объекту 150. Признаки объекта включают в себя положение, размер, очертание или любые другие признаки, которые могут быть определены из изображений.

В варианте осуществления, показанном на фиг.1, цвет фона 110 может быть выбран из любого из разнообразных цветов. Например, фон 110 может представлять собой плату из LED (светоизлучающих устройств), в которую вмонтированы множественные LED. Цвет платы из LED может быть любым из 100 различных цветов с величинами модели R.G.B (красный, зеленый, синий), постепенно увеличивающихся или уменьшающихся. Однако настоящее изобретение не ограничивается этим; если требуется, могут определяться число и типы цветов фона. Фон 110 не ограничивается только платой (световым щитом) из LED, а может представлять собой щит с регулируемым температурой меняющимся цветом или т.п. Кроме цвета фона, текстура фона может также выбираться или изменяться в соответствии предпочтением пользователя с тем, чтобы пользователь был обеспечен удобным интерфейсом.

На фиг.1 контроллер 120 соединен с фоном 110 для выбора данного цвета для фона, причем данный цвет отличается от цвета объекта. Контроллер 120 может функционировать как отдельный узел, такой как узел дистанционного управления, или может быть интегрирован или в фон (если это просто), или в узел 140 обработки. Данный цвет, выбранный для фона, может отличаться от цвета объекта с точки зрения интенсивности цвета, яркости или обеих этих характеристик. Например, цвет может быть представлен форматом YUV или RGB. В формате YUV Y представляет яркость, а U и V представляют интенсивность цвета. При учете только интенсивности цвета объекта (цвет кожи), где U составляет 80-100, а V составляет 120-140, данный цвет для фона будет далек от диапазона цвета объекта, например и U, и V данного цвета составляют примерно 230. Таким образом, имеется большое различие цвета между цветом объекта и цветом фона. Это различие цвета поможет определить признаки (такие как силуэт) в отношении объекта изображения, полученного камерой 130.

На фиг.2 показана иллюстративная процедура функционирования системы 10. Как показано на фиг.2, на этапе S210 запускается система 10 и объект 150 (например, рука человека) помещается перед фоном 110. На этапе S220 контроллер 120 устанавливает цвет фона на данный цвет путем подачи управляющего сигнала на фон 110. Данный цвет совершенно отличен от цвета объекта. Например, данный цвет может представлять собой цвет по умолчанию, например зеленый, который очевидно отличается от цвета кожи людей с желтым цветом кожи. Примеры контроллера 120 будут описаны ниже в связи с фиг.3 и 4. На этапе S230 камера 130 получает, по меньшей мере, одно изображение, включающее в себя объект 150 и сконфигурированный фон 110. Затем полученное изображение переносится в узел 140 обработки. Камера 130 получает изображения в соответствии с командой от узла обработки информации или контроллера, или получает изображения непрерывно. На этапе S240 узел 141 определения в узле 140 обработки выполняет обработку принятых изображений для определения, по меньшей мере, одного признака, относящегося к объекту. Поскольку цвет фона значительно отличается от цвета объекта, узлу 141 определения легко сегментировать часть объекта из полученного изображения с использованием известных методик. Например, сегментация может выполняться с использованием автоматически определяемой пороговой величины. В узле 141 определения сегментированная часть объекта может далее обрабатываться для определения признаков, относящихся к объекту, таких как положение, размер и силуэт объекта, с целью дальнейшего анализа (такого как распознавание). Иллюстративная процедура определения признаков будет детально описана ниже в связи с фиг.5.

На фиг.1 контроллер 120 может быть реализован различными способами. На фиг.3 показаны некоторые примеры контроллера 120.

Как показано на фиг.3, контроллер 120 включает в себя первый модуль 310 для определения данного цвета для фона 110. Например, как указано выше, во время запуска первый модуль может выбрать цвет по умолчанию (например, зеленый) в качестве данного цвета для фона и установить указанный цвет фона 110.

Кроме того, как показано на фиг.3, контроллер 120 дополнительно включает в себя пользовательский интерфейс 320 для приема информации, вводимой пользователем. Вводимая пользователем информация прямо указывает цвет фона, который пользователь желает выбрать. В данном случае, первый модуль 310 определяет цвет, который вводимая пользователем информация указывает в качестве данного цвета. Это простой путь, поскольку пользователь может субъективно выбрать цвет для фона, который в большинстве случаев отличается от цвета объекта.

В другом примере, контроллер 120 дополнительно включает в себя второй модуль 330 для определения распределения цвета объекта 150. В данном примере информация, вводимая пользователем из пользовательского интерфейса 320, указывает цвет объекта (например, цвет кожи и/или цвет рукава). На основании информации, вводимой пользователем, второй модуль 330 генерирует распределение цвета объекта 150, и данный цвет определяется на основании распределения цвета в первом модуле 310. Например, данный цвет может представлять собой один из 100 различных цветов, имеющих цветовые различия от цвета кожи и цвета рукава большие, чем пороговая величина. И чем больше цветовое различие между данным цветом и каждым компонентом в распределении цвета объекта, тем лучше ожидаемый эффект.

В еще одном примере контроллер 120 может только включать в себя первый модуль 310 и второй модуль 330. В данном примере второй модуль 330 автоматически определяет распределение цвета объекта 150. Данный способ больше подходит к ситуации со сложными цветами объекта. Примерная процедура обработки показана на фиг.4.

Как показано на фиг.4, процедура начинается с этапа S410. На этапе S410 фон 110 сконфигурирован так, чтобы последовательно представлять набор цветов (например, 100 различных цветов или поднабор указанных цветов) для создания набора фонов различных цветов. Этап S410 может выполняться вторым модулем 330 или первым модулем 310 под управлением второго модуля. На этапе S420 для каждого из фонов различных цветов камера 130 получает (снимает), по меньшей мере, одно изображение, включающее в себя объект 150 и фон, под управлением второго модуля с тем, чтобы был получен набор изображений различных цветов фонов. На этапе S430 набор изображений передается во второй модуль 330 непосредственно или через узел 140 обработки. На этапе S440 набор изображений анализируется статистически для определения распределения цвета объекта.

В одном примере, на этапе S440, распределение R, G, B для каждого изображения из набора изображений рассчитывается посредством гистограммы. В данном случае распределение цвета объекта 150 может достигаться сравнением рассчитанных распределений, поскольку он всегда имеет такое же или подобное распределение. В более простом примере полученные изображения накапливаются вместе в параметрах R, G, B. Поскольку цвет фона указанных изображений изменяется в пределах большого диапазона, в то время как их относящаяся к объекту часть остается неизменной, на гистограмме имеется область пика накопленных кадров, которая очевидно выше, чем другие области, и область пика соответствует цветовому диапазону части, относящейся к объекту, т.е. распределению цвета объекта. После выявления распределения цвета объекта данный цвет для фона может быть определен как цвет, который имеет максимальное цветовое различие от центра или пика распределения цвета объекта.

Фиг.1-4 иллюстрируют некоторые варианты осуществления системы 10. Система 10 может использоваться в различных применениях, например, как система для распознавания движений руки. В системе распознавания узел обработки дополнительно включает в себя узел 142 распознавания для распознавания движения руки пользователя на основании признаков, определенных узлом 141 определения. Система 10 может дополнительно применяться в других системах, таких как системы классификации изделий или т.п.

На фиг.5 показан вариант осуществления, в котором система 10, показанная на фиг.1, используется в качестве реабилитационной системы. Реабилитационная система представляет собой систему, помогающую пациентам, у которых имеется нарушение двигательной функции, восстановить их утраченные функции. Реабилитационные системы предшествующего уровня техники включают в себя систему электрической стимуляции (FES), робототехнику и т.д. Но такие реабилитационные системы являются дорогостоящими и сложными, что ограничивает их применение в домашних условиях. Поэтому данный вариант осуществления относится к дешевой, используемой в домашних условиях реабилитационной системе для использования пациентами с целью повторного обучения тренировкам двигательных функций в порядке самопомощи, например для верхних конечностей и рук.

В данном варианте осуществления система 10, показанная на фиг.1, функционирует как реабилитационная система. В реабилитационной системе узел 140 обработки дополнительно включает в себя узел инструктирования (не показан) для подачи пациенту посредством аудио или видеосигналов команд на выполнение определенного действия. Кроме того, узел 140 обработки дополнительно включает в себя узел 142 распознавания, как указано выше, и узел 143 оценки. Узел 143 оценки производит оценку того, правильно ли распознано движение посредством узла 142, и возвращает сигнал обратной связи для мотивации пациента. Кроме того, узел 140 обработки дополнительно включает в себя дисплей для показа изображений, полученных в реальном масштабе времени.

Фиг.5 иллюстрирует пример процедуры функционирования реабилитационной системы. Как показано на фиг.5, на этапе S510 пациенту предлагается поместить его верхнюю конечность и руку, в качестве объекта 150, между фоном 110 и камерой 130 и выполнить определенное действие (например, сжать кисть в кулак), когда его об этом попросят. На этапе S520, в соответствии с процедурой, показанной на фиг.2-4, цвет фона выбирается так, чтобы он отличался, например, от цвета кожи и цвета рукава пациента. На этапе S530, таким же образом, как показано на фиг.2, камера 130 получает (снимает) изображение, включающее в себя верхнюю конечность и руку пациента, а также фон с тем, чтобы запечатлеть положение верхней конечности и руки. На этапе S540 изображение передается в узел 141 определения в узле 140 обработки для определения признаков верхней конечности и руки. Например, на этапе S540 алгоритм получения геометрического центра и способ эрозии используется для определения центрального положения, например руки, после сегментирования верхней конечности и части руки, т.е., части объекта. Центральное положение представляет положение объекта и, таким образом, может использоваться в качестве опорной точки. Кроме того, на этапе S540 сегментированная часть объекта, т.е., часть верхней конечности и руки, далее фильтруется высокочастотным фильтром (например, с использованием средства управления Собеля) для получения силуэта верхней конечности и руки. Предпочтительно, далее может устраняться нерезкость полученного силуэта для устранения в силуэте эффектов размытости. В случаях, когда существенное значение имеют четкие края силуэта, то может помочь способ устранения размытости изображения. На фиг.6 показаны два силуэта 610 и 620 верхних конечностей и руки, которые получены, по меньшей мере, по двум последовательно заснятым изображениям, в соответствии с описанным выше способом.

Затем, на этапе 550, узел 142 распознавания дополнительно обрабатывает определенные признаки (включая положение и/или силуэт) для распознавания произведенного пациентом движения. Для указанного распознавания могут использоваться различные способы. Например, движение верхней конечности может предварительно распознаваться на основании определенного центрального положения и угла между плечом и предплечьем, как указано определенным силуэтом. Предпочтительно, на этапе S550 может применяться искусственная нейронная сеть (ANN) или алгоритм оценки максимальной вероятности. Для алгоритма ANN параметры, вводимые в алгоритм ANN, могут представлять собой характерные признаки определенного силуэта, такие как характерные точки на силуэте (крайние точки или точки перегибов), средние величины или стандартное отклонение расстояния между центральным положением и каждой точкой силуэта. Вывод информации алгоритма ANN идентифицирует распознанное движение, такое как разжатая кисть 610 и сжатая кисть 620 на фиг.6. На этапе S560 узел 143 оценки определяет, соответствует ли распознанное движение заданному движению, и посылает сигнал обратной связи на основании результата оценки, такой как поощрение. При такой мотивации пациент может продолжать повторное обучение тренировкам двигательных функций в порядке самопомощи. Альтернативно, множество таких реабилитационных систем может быть подсоединено к реабилитационному центру через сеть. Врач в реабилитационном центре может дистанционно помогать двум или более пациентам в одновременном выполнении повторного обучения тренировкам двигательных функций.

Хотя изобретение было проиллюстрировано и детально описано в чертежах и предшествующем описании, такую иллюстрацию и описание следует рассматривать как иллюстративные или приведенные в качестве примера, а не ограничивающие; изобретение не ограничивается раскрытыми вариантами осуществления. Например, настоящее изобретение может применяться для распознавания нижних конечностей или других частей тела, или для распознавания пространственного движения определенного устройства. Альтернативно, настоящее изобретение может применяться при классификации изделий или в других областях для анализа объекта.

Специалисты в данной области могут понять и осуществить другие модификации описанных вариантов осуществления на основании изучения чертежей, описании и прилагаемой формулы изобретения. В формуле изобретения, слово «содержащий» не исключает другие элементы или этапы, и употребление единственного числа в отношении различных элементов не исключает множества таких элементов. Один процессор или другой узел может выполнять функции нескольких элементов, приведенных в формуле изобретения. Лишь то обстоятельство, что определенные меры приведены в отличающихся друг от друга зависимых пунктах формулы, не указывает на то, что комбинация этих мер не может использоваться для обеспечения преимущества. Компьютерная программа может храниться/распределяться на подходящем носителе информации, таком как оптический носитель информации или твердотельный носитель информации, поставляемый вместе с другим аппаратным обеспечением или в качестве его части, но может также распределяться в других формах, например через Интернет или другие проводные или беспроводные системы телекоммуникации. Любые ссылки в формуле изобретения не должны рассматриваться как ограничивающие объем изобретения.