УПРАВЛЯЕМАЯ ЖЕСТАМИ СИСТЕМА, КОТОРАЯ ИСПОЛЬЗУЕТ ПРОПРИОЦЕПЦИЮ, ЧТОБЫ СОЗДАВАТЬ АБСОЛЮТНУЮ СИСТЕМУ КООРДИНАТ

Область техники, к которой относится изобретение

Изобретение относится к системе с бесконтактным пользовательским интерфейсом, сконфигурированным, чтобы предоставлять пользователю возможность управлять системой при эксплуатации посредством предварительно определенного жеста части тела пользователя. Изобретение дополнительно относится к бесконтактному пользовательскому интерфейсу, сконфигурированному для использования в такой системе, к способу управления системой в ответ на предварительно определенный жест части тела пользователя и к управляющему программному обеспечению, функционирующему, чтобы конфигурировать систему так, чтобы она была управляемой в ответ на предварительно определенный жест части тела пользователя.

Уровень техники

Управляемые жестами системы типа, указанного в преамбуле выше, известны в уровне техники, см., например, патент США 7835498, на имя Bonfiglio et al "Automatic control of a medical device"; патент США 7028269, на имя Cohen-Solal et al "Multi-modal video target acquisition and re-direction system and method"; публикацию патентной заявки США 20100162177, поданной на имя Eves et al. "Interactive entertainment system and method of operation thereof", правопреемником которых является Philips Electronics и которые включены в настоящий документ посредством ссылки.

В этом тексте термин "жест" ссылается на положение или ориентацию части тела пользователя или на изменение в положении или в ориентации (т.е. движение), которое выражает управляющую команду, интерпретируемую управляемой жестами системой.

Традиционная управляемая жестами система типично имеет бесконтактный пользовательский интерфейс с системой камер для захвата видеоданных, представляющих пользовательские жесты, и с системой обработки данных, соединенной с системой камер и функционирующей, чтобы переводить видеоданные в управляющие сигналы для управления управляемой жестами системой.

Традиционная управляемая жестами система типично предоставляет относительное управление пользователю в том смысле, что пользователь управляет изменением в рабочем режиме или состоянии управляемой жестами системы относительно текущего рабочего режима или текущего состояния. Т.е. пользователь управляет управляемой жестами системой на основе обратной связи от управляемой жестами системы в ответ на движения пользователя. Например, относительное управление предоставляет пользователю возможность управлять, посредством предварительно определенных движений, изменением в величине управляемого параметра относительно текущей величины или выбирать из списка выбираемых вариантов в меню следующий вариант относительно выбранного в настоящее время варианта. Пользователь затем использует величину, или характер, текущего изменения, вызванного пользовательскими движениями и воспринимаемого пользователем как основа для управления самим изменением через контур обратной связи.

Альтернативно традиционная управляемая жестами система обеспечивает обратную связь с пользователем в ответ на пользовательские движения через, например, монитор отображения в графическом пользовательском интерфейсе управляемой жестами системы.

Например, монитор отображения показывает указание, например курсор, выделение и т.д., положение или ориентация которого представляет текущий рабочий режим или текущее состояние управляемой жестами системы. Положение или ориентация указания может изменяться относительно предварительно определенной системы координат, показанной на мониторе отображения, в ответ на движения пользователя. Просматривая указание, изменяющее свое положение или ориентацию относительно предварительно определенной системы координат, которая отображена на мониторе отображения, пользователь может двигаться под руководством визуальной обратной связи так, чтобы фокусироваться на желаемом рабочем режиме или желаемом состоянии управляемой жестами системы.

В качестве другого примера предоставления визуальной обратной связи приводится ссылка на "EyeToy Kinetic", название игрового физического упражнения, реализованного на рынке компанией Sony в 2006 году. EyeToy - это небольшая цифровая камера, которая располагается на верху телевизора и подключается к Playstation 2 (PS2), видеоигровой консоли, изготовленной компанией Sony. Чувствительная к движению камера захватывает пользователя, пока он стоит перед телевизором, и выводит изображение пользователя на экране монитора отображения. Пользователь затем использует свои руки, ноги, голову и т.д., чтобы играть в игру, например, посредством управления своим изображением на экране с тем, чтобы заставлять изображение взаимодействовать с виртуальными объектами, сформированными на экране.

В качестве еще одного примера предоставления визуальной обратной связи приводится ссылка на "Fruit Ninja Kinect", видеоигру для видеоконсоли Xbox 360, оборудованной Kinect, камерой движения, оба изготовлены компанией Microsoft. Движения пользователя захватываются камерой Kinect и переводятся в движения силуэта человека на экране монитора отображения. Игра заставляет виртуальные объекты, в этом случае виртуальные фрукты, подбрасываться в воздух, а пользователь должен управлять силуэтом человека посредством своих собственных движений с тем, чтобы изрубить настолько много фруктов, насколько возможно, при этом избегая виртуальных препятствий.

US 2004/019776 описывает устройство распознавания жестов для распознавания поз или жестов человека-объекта на основе изображений человека-объекта, захваченных камерами. Устройство распознавания жестов включает в себя средство распознавания позы/жеста, которое работает, чтобы обнаруживать изменения положения кончика пальца, чтобы распознавать позу или жест человека-объекта.

US 2010/0278384 описывает устройство распознавания позы тела человека на основе изображений человека-объекта, захваченных камерами, включающими в себя камеру глубины. Части тела могут затем быть составлены и обработаны, чтобы определять сочленения или узлы этих частей тела. Узлы или сочленения могут быть предоставлены системе, которая может создавать модель тела из различных узлов или сочленений.

US 2002/0036617 описывает человекомашинный интерфейс, основанный на положениях объектов, манипулируемых людьми, которые захвачены камерами. Камеры предоставляют данные об объектах и/или природных особенностях объектов, причем эти объекты могут отражать элементы, размещенные на пользователях (например, пациентах), или могут манипулироваться пользователями (например, игрушечный самолет или зубной тренировочный инструмент), чтобы быть статичными или в движении. Также могут быть получены положения и перемещения объектов относительно других объектов, как зафиксированных, так и движущихся.

EP 2237131 описывает основанную на жестах систему дистанционного управления. Перемещения частей тела могут быть обнаружены на основе распознавания изображений. Различные части системы могут быть беспроводным образом соединены.

US 2003/0156756 описывает использование информации о 3D-положении, чтобы идентифицировать жест, созданный интересующей частью тела. В одном или более случаях интервала поза части тела распознается на основе формы части тела и ее положения и ориентации. Позы части тела в каждом из одного или более случаев в интервале распознаются как объединенный жест. Жест классифицируется для определения входных данных в связанное электронное устройство.

US 6353764 описывает способ управления, чтобы наблюдать характерные черты человека и на основе результатов, в предварительно определенном содержимом управления, управлять оборудованием, которое должно управляться.

US 2009/0322888 описывает обработку данных изображения видеокамеры посредством определения оптического потока и вычисления выходных данных, которые либо измеряют положение и/или перемещение частей тела людей, либо представляют и кодируют жесты людей.

В качестве еще одного примера предоставления визуальной обратной связи приводится ссылка на "Kinect Adventures", видеоигру, реализованную на рынке компанией Microsoft и предназначенную для Xbox 360 в комбинации с камерой движения Kinect, упомянутой ранее. Видеоигра "Kinect Adventures" генерирует аватар (например, графическое представление гуманоида), перемещения и движения которого управляются посредством движения всего тела пользователя, которое захватывается камерой.

Сущность изобретения

Изобретателями было установлено, что управляемая жестами система одного из вышеупомянутых известных типов предоставляет пользователю возможность управлять системой под руководством обратной связи, предоставляемой системой в ответ на пользовательские жесты. Изобретатели также выявили, что этот вид управляемости имеет некоторые недостатки. Например, изобретатели наблюдали, что базирование пользователя на обратной связи от известной системы в ответ на пользовательские жесты приводит к затратам времени и устанавливает верхний предел скорости, с которой пользователь способен управлять системой посредством жестов. В качестве другого примера пользователь должен наблюдать за перемещением указания или другого графического представления на мониторе отображения, в то же время пытаясь управлять перемещениями указания или перемещениями графического представления посредством одного или более жестов и в то же время пытаясь проверять произведенное изменение в рабочем режиме или изменение в состоянии управляемой жестами системы.

Поэтому изобретатели предлагают ввести более интуитивную и более эргономичную систему координат, чтобы предоставлять пользователю возможность непосредственно задавать конкретное одно из множества состояний системы без необходимости учитывать обратную связь от системы во время управления, как необходимо в известных системах, для того, чтобы фокусироваться на желаемом конкретном состоянии.

Более конкретно изобретатели предлагают систему с бесконтактным пользовательским интерфейсом, сконфигурированным, чтобы предоставлять пользователю возможность управлять системой при эксплуатации посредством предварительно определенного жеста части тела пользователя. Пользовательский интерфейс содержит систему камеры и систему обработки данных. Система камеры сконфигурирована для захвата видеоданных, представляющих часть тела и окружение части тела. Система обработки данных соединена с системой камеры. Система обработки данных сконфигурирована для обработки видеоданных для извлечения из видеоданных текущего пространственного соотношения между частью тела и предварительно определенным ориентиром в окружении; определения того, соответствует ли текущее пространственное соотношение предварительно определенному пространственному соотношению между частью тела и предварительно определенным ориентиром, предварительно определенное пространственное соотношение является характеристикой предварительно определенного жеста; и формирования управляющей команды для настройки системы в предварительно определенное состояние в зависимости от текущего пространственного соотношения, соответствующего предварительно определенному пространственному соотношению. Предварительно определенный ориентир содержит физический объект, внешний по отношению к пользователю и в пределах окружения.

Управление системой изобретения основано на использовании проприоцепции и/или экстероцепции.

Термин "проприоцепция" ссылается на ощущение человеком относительного положения и относительной ориентации частей человеческого тела, и применяются усилия в перемещениях частей тела. Соответственно, проприоцепция относится к физиологической способности человеческого тела принимать входную информацию для восприятия из относительного положения относительной ориентации и относительного перемещения частей тела. Чтобы проиллюстрировать это, рассмотрим человека, ощущение проприоцепции которого может быть ослаблено в результате интоксикации, возбуждения или просто опьянения. Такому человеку будет трудно идти вдоль прямой линии или коснуться своего носа своим указательным пальцем, при этом сохраняя свои глаза закрытыми. Офицеры дорожной полиции используют этот факт, чтобы определять, действительно или нет водитель слишком опьянен, чтобы управлять автомобилем.

Термин "экстероцепция" относится к способности человека воспринимать раздражители извне по отношению к телу человека. Термин "экстероцепция" используется в этом тексте, чтобы ссылаться на способность человека воспринимать положение или ориентацию человеческого тела, или его частей, относительно физического объекта или физического воздействия, внешнего по отношению к человеческому телу, и воспринимать изменения в положении или в ориентации человеческого тела, или его частей, относительно физического объекта или физического воздействия, внешнего по отношению к человеческому телу. Экстероцепция иллюстрируется на примере футболиста, который видит мяч, движущийся в его направлении по баллистической траектории, и который делает размах своей ногой в точный правильный момент в точном правильном направлении, чтобы запустить мяч в направлении цели; или боксера, который уклоняется от прямого удара оппонента; или гонщика, который регулирует текущую скорость и текущую траекторию своей машины в зависимости от его визуального восприятия скорости, положения и ориентации его машины относительно трека и относительно положений, ориентаций других гоночных машин вокруг него и в зависимости от тактильного ощущения от сиденья, и т.д.

Соответственно, (трезвый) человек ощущает относительное положение, и/или относительную ориентацию, и/или относительное перемещение частей своего тела и ощущает положение, и/или ориентацию, и/или перемещение частей своего тела относительно физических объектов в его окружении, внешних по отношению к его телу. В результате, собственное тело пользователя или собственное тело пользователя в пространственном соотношении с одним или более физическими объектами, внешними по отношению к пользователю и в окружении пользователя, служит в изобретении в качестве абсолютной системы координат, которая предоставляет пользователю возможность непосредственно выбирать задуманное состояние системы посредством жеста. Это контрастирует с пользователем, который должен полагаться на обратную связь от традиционной управляемой жестами системы для того, чтобы косвенно направлять традиционную систему в задуманное состояние через корректирующие движения своей части тела в контуре обратной связи, подразумевающем реакцию традиционной управляемой жестами системы.

Например, предварительно определенный ориентир содержит другую часть тела пользователя. Другая часть тела служит в качестве системы координат, относительно которой первая упомянутая часть тела позиционируется или ориентируется или перемещается. Система обработки данных сконфигурирована, чтобы интерпретировать конкретное положение, и/или конкретную ориентацию, и/или конкретное перемещение, например, руки или плеч пользователя, относительно остальной части тела пользователя в качестве конкретного жеста. Конкретный жест ассоциируется с конкретной, предварительно определенной управляющей командой, чтобы устанавливать систему в конкретное одно из множества состояний. Пользовательское ощущение проприоцепции предоставляет пользователю возможность интуитивно помещать часть тела и другую часть тела в правильное пространственное соотношение, ассоциированное с задуманной конкретной, предварительно определенной управляющей командой. Опционально правильное пространственное соотношение включает в себя часть тела пользователя, физически контактирующую с другой частью тела пользователя. Физический контакт частей тела обеспечивает дополнительную осязательную обратную связь пользователю, таким образом, дополнительно содействуя выбору задуманного состояния, которое предполагается системой.

Альтернативно или в дополнение предварительно определенный ориентир содержит физический объект, который захвачен системой камеры и присутствует в окружении, внешнем по отношению к пользователю. Физический объект может быть частью аппаратных средств, физически подключенных к системе или иначе физически интегрированных с самой системой, например корпус системы, такой как корпус осветительного прибора (например, корпус настольной лампы). В качестве другого примера физический объект содержит другую деталь или предмет, который физически не соединен или иначе физически не интегрирован с системой, например материальное изделие, такое как стул, ваза, или книга, или любимая вещь пользователя.

Материальное изделие или любимая вещь выбираются пользователем заранее, чтобы служить в качестве ориентира. В этом случае система обработки данных пользовательского интерфейса должна быть запрограммирована или иначе сконфигурирована заранее для того, чтобы интерпретировать материальное изделие или любимую вещь, когда захвачены в видеоданных, в качестве ориентира, по которому пользователь позиционирует или ориентирует часть тела.

Альтернативно или в дополнение предварительно определенный ориентир содержит предварительно определенное пространственное направление в окружении, например вертикальное направление или горизонтальное направление, как определено силой тяжести, или другое направление, выбранное заранее. Как упомянуто выше, ощущение проприоцепции также подразумевает применение усилия пользователем в позиционировании, или ориентировании, или перемещении одной или более частей своего тела. Например, гравитационное поле на поверхности Земли привносит анизотропию в усилие позиционирования или ориентирования: пользователю легче опускать свою руку на некоторое расстояние, чем поднимать руку на то же расстояние вследствие подразумеваемой работы.

Термин "работа" в предыдущем предложении является термином, используемым в области физики, и ссылается на количество энергии, создаваемой задействованным усилием при перемещении массы. Позиционирование или ориентирование части тела при наличии гравитационного поля вызывает экстероцептивные стимулы. Например, система обработки данных в управляемой жестами системе изобретения сконфигурирована, чтобы определять предварительно определенное пространственное направление в окружении относительно позы пользователя, захваченного системой камер. Предварительно определенное пространственное направление может быть получено как направление, которое параллельно линии симметрии в изображении пользователя, смотрящего на камеру, линии движения, например, от головы пользователя к торсу пользователя или стопе пользователя, или линии, идущей от носовой перегородки через кончик носа пользователя к подбородку пользователя. Линия симметрии может быть определена системой обработки данных посредством анализа видеоданных. В качестве другого примера система камеры снабжена акселерометром, чтобы определять направление силы тяжести в видео, захваченном системой камеры. Система камеры может отправлять видеоданные системе обработки данных вместе с метаданными, представляющими направление силы тяжести.

В этом контексте рассмотрим управляемые на основе жестов системы, при этом жест подразумевает перемещение части тела пользователя, т.е. изменение по времени в положении или в ориентации части тела относительно камеры. Сконфигурированная таким образом система не нуждается в статическом положении ориентира или статической ориентации ориентира, поскольку направление изменения относительно камеры, или пространственный сектор относительно камеры, в котором изменение возникает, уместно для интерпретации жеста как управляющей команды. В отличие от этого в изобретении относительное положение, и/или относительная ориентация, и/или относительное перемещение части тела пользователя, которые захвачены в видеоданных, относительно предварительно определенного ориентира, который захвачен в видеоданных, интерпретируется как управляющая команда. Для полноты отметим, что изобретение может использовать видеоданные, представляющие часть тела и окружение в двух измерениях или в трех измерениях.

Система изобретения содержит, например, бытовой электроприбор, такой как кухонное освещение, светильники столовой, телевизор, цифровое устройство видеозаписи, музыкальный проигрыватель, домашняя развлекательная система и т.д. В качестве другого примера система изобретения содержит больничное оборудование. Больничное оборудование, которое имеет возможность управления жестами, предоставляет возможность медицинскому персоналу эксплуатировать оборудование без необходимости физически прикасаться к оборудованию, таким образом снижая риск передачи микробов или микроорганизмов пациентам через больничное оборудование. В качестве еще одного примера система изобретения содержит цеховое оборудование в окружении, в котором у персонала цеха руки или одежда могут быть грязными, например ферма, зоопарк, литейный цех, нефтяная платформа, цех для ремонтирования и обслуживания автомобилей, поездов или кораблей и т.д. Если персонал не должен физически касаться цехового оборудования для того, чтобы управлять им, грязь не будет скапливаться на пользовательском интерфейсе так быстро, как если бы они касались его. Альтернативно, персоналу будет не нужно снимать свои перчатки, чтобы управлять оборудованием, таким образом повышается удобство использования оборудования для пользователя.

Пользовательские жесты во взаимодействии с управляемой жестами системой изобретения могут быть, например, дейктическими, сигнализирующими или символическими. Для уровня техники см., например, Karam M., and Schraefel, М. С., (2005), "A Taxonomy of Gestures in Human Computer Interaction", ACM Transactions on Computer-Human Interactions 2005, технический отчет, электроника и информатика, Университет Саутгемптона, ноябрь 2005 г.

Дейктический жест подразумевает пользовательское указание для того, чтобы устанавливать идентичность пространственного местоположения объекта в контексте области применения. Например, пользователь указывает с помощью своей правой кисти на местоположение на своей левой руке. Соотношение, с одной стороны, длины левой руки между левым плечевым суставом пользователя и местоположением и, с другой стороны, длины левой руки между местоположением и левым запястьем пользователя может тогда быть использовано, чтобы указывать желаемую настройку громкости воспроизводящей звук системы, включенной в управляемую жестами систему изобретения.

Сигнализирующие жесты ссылаются на любую систему жестикуляции, которая применяет стилизованный словарь статических или динамических жестов части тела, например кисти(ей) или руки (рук) пользователя. Например, пользователь указывает с помощью своей левой кисти на правый локтевой сустав пользователя и дважды постукивает по правому локтевому суставу. Этот динамический жест может быть использован в смысле, например, двойного щелчка мыши.

Символические жесты, также называемые иконическими жестами, типично используются, чтобы иллюстрировать физический атрибут физического, конкретного предмета. Например, пользователь ставит свои кисти перед собой ладонями, обращенными друг к другу. Уменьшение расстояния между ладонями тогда используется в качестве управляющей команды, например, чтобы изменять громкость звука, воспроизводимого системой воспроизведения звука, размещенной в управляемой жестами системе по изобретению. Величина изменения в единицу времени может быть сделана пропорциональной интервалу, на который расстояние уменьшается в единицу времени. Аналогично пользователь может позиционировать свою правую кисть так, что ладонь правой кисти обращена вниз. Уменьшение высоты кисти относительно пола тогда интерпретируется как уменьшение громкости звука, соответственно как в вышеупомянутом примере.

Система в изобретении может быть сконфигурирована для возможности управления посредством одного или более предварительно определенных жестов, каждый соответствующий из них является статическим или динамическим. Пространственное соотношение между частью тела и предварительно определенным ориентиром в статическом жесте, по существу, не изменяется со временем. Т.е. положение или ориентация части тела не изменяется достаточно со временем относительно предварительно определенного ориентира для того, чтобы воспроизводить статический жест неинтерпретируемым бесконтактным пользовательским интерфейсом в системе изобретения. Примером статического жеста является пример дейктического жеста, кратко обсужденного выше. Динамический жест, с другой стороны, характеризуется перемещением части тела относительно предварительно определенного ориентира. Пространственное соотношение между частью тела и предварительно определенным ориентиром тогда характеризуется изменением в положении, или в ориентации, части тела относительно предварительно определенного ориентира. Примерами динамического жеста являются пример сигнализирующего жеста и пример символического жеста, кратко обсужденные выше.

Соответственно, пространственное соотношение представляет, по меньшей мере, одно из относительного положения части тела по отношению к предварительно определенному ориентиру; относительной ориентации части тела по отношению к предварительно определенному ориентиру; и относительного перемещения части тела, т.е. изменения в положении и/или ориентации части тела, по отношению к предварительно определенному ориентиру.

Система в изобретении может быть реализована в одном физическом объекте, например устройстве со всеми управляемыми жестами функциональными возможностями в одном корпусе.

Альтернативно, система в изобретении реализуется как географически распределенная система. Например, система камеры размещается в мобильном устройстве с интерфейсом сети передачи данных, например в интеллектуальном телефоне, система обработки данных содержит сервер в Интернете, и управляемая жестами функциональность системы в изобретении размещается в электронном оборудовании, которое имеет интерфейс с сетью. Таким образом, пользователь мобильного устройства может удаленно управлять оборудованием посредством одного или более жестов. Отметим, что контур обратной связи может, но не должен, использоваться в процессе пользовательского управления оборудованием в системе изобретения. Пространственное соотношение между частью тела пользователя и ориентиром, т.е. относительное положение, и/или относительная ориентация, и/или относительное перемещение, которые захвачены системой камеры, задают желаемое рабочее состояние оборудования.

В дополнительном варианте осуществления системы согласно изобретению, по меньшей мере, один предварительно определенный ориентир, предварительно определенное пространственное соотношение и предварительно определенное состояние является программируемым или перепрограммируемым.

Соответственно, система дополнительного варианта осуществления может быть запрограммирована или перепрограммирована, например, пользователем, установщиком системы, производителем системы и т.д. с тем, чтобы модифицировать или строить систему согласно спецификациям или предпочтениям отдельного пользователя.

Изобретение также относится к бесконтактному пользовательскому интерфейсу, сконфигурированному для использования в системе, чтобы предоставлять пользователю возможность управлять системой при эксплуатации посредством предварительно определенного жеста части тела пользователя. Пользовательский интерфейс содержит систему камеры и систему обработки данных. Система камеры сконфигурирована для захвата видеоданных, представляющих часть тела и окружение части тела. Система обработки данных соединена с системой камеры и сконфигурирована для обработки видеоданных для: извлечения из видеоданных текущего пространственного соотношения между частью тела и предварительно определенным ориентиром в окружении; определения того, соответствует ли текущее пространственное соотношение предварительно определенному пространственному соотношению между частью тела и предварительно определенным ориентиром, предварительно определенное пространственное соотношение является характеристикой предварительно определенного жеста; и формирования управляющей команды для настройки системы в предварительно определенное состояние, в зависимости от текущего пространственного соотношения, соответствующего предварительно определенному пространственному соотношению. Предварительно определенный ориентир содержит физический объект, внешний по отношению к пользователю и в пределах окружения.

Изобретение может быть коммерчески использовано в форме бесконтактного пользовательского интерфейса вида, указанного выше. Такой бесконтактный пользовательский интерфейс может быть установлен в любой системе, которая сконфигурирована для управления пользователем при эксплуатации. Бесконтактный пользовательский интерфейс изобретения пытается сопоставлять текущее пространственное соотношение между частью тела и предварительно определенным ориентиром в окружении с предварительно определенным пространственным соотношением. Если сопоставление успешно, текущее пространственное соотношение преобразуется в предварительно определенную управляющую команду с тем, чтобы настраивать систему в предварительно определенное состояние, ассоциированное с предварительно определенным пространственным соотношением.

В варианте осуществления бесконтактного пользовательского интерфейса предварительно определенное пространственное соотношение представляет, по меньшей мере, одно из относительного положения части тела по отношению к предварительно определенному ориентиру, относительной ориентации части тела по отношению к предварительно определенному ориентиру и относительного перемещения части тела по отношению к предварительно определенному ориентиру.

В дополнительном варианте осуществления бесконтактного пользовательского интерфейса, по меньшей мере, одно из предварительно определенного ориентира, предварительно определенного пространственного соотношения и предварительно определенного состояния является программируемым или перепрограммируемым.

Изобретение может также быть коммерчески использовано в качестве способа. Изобретение, следовательно, также относится к способу управления системой в ответ на предварительно определенный жест части тела пользователя. Способ содержит прием видеоданных, представляющих часть тела и окружение части тела, и обработку видеоданных. Обработка видеоданных содержит: извлечение из видеоданных текущего пространственного соотношения между частью тела и предварительно определенным ориентиром в окружении; определение того, соответствует ли текущее пространственное соотношение предварительно определенному пространственному соотношению между частью тела и предварительно определенным ориентиром, предварительно определенное пространственное соотношение является характеристикой предварительно определенного жеста; и формирование управляющей команды для настройки системы в предварительно определенное состояние, в зависимости от текущего пространственного соотношения, соответствующего предварительно определенному пространственному соотношению. Предварительно определенный ориентир содержит физический объект, внешний по отношению к пользователю и в пределах окружения.

Видеоданные могут быть предоставлены системой камеры в реальном времени. Альтернативно, видеоданные могут быть предоставлены как включенные в электронный файл с предварительно записанными видеоданными. Соответственно, видеоклип пользователя, выполняющего последовательность жестов вида, ассоциированного с изобретением, может быть преобразован в последовательность состояний, которые предполагаются системой, в порядке последовательности.

Способ может быть коммерчески использован в качестве сетевой службы в сети передачи данных, такой как, например, Интернет. Абонент службы указывает заранее одно или более предварительно определенных пространственных соотношений и одну или более предварительно определенных управляющих команд для управления системой. Пользователь также указывает, какое конкретное соотношение из предварительно определенных пространственных соотношений должно быть преобразовано в конкретную команду из управляющих команд. Поставщик службы создает базу данных предварительно определенных пространственных соотношений и предварительно определенных управляющих команд и соответствий между ними. Пользователь указывает заранее адрес назначения в сети передачи данных. Соответственно, когда пользователь регистрируется в этой службе и выгружает или передает поток видеоданных, представляющих жесты пользователя и окружение пользователя, поставщик службы выполняет способ, который указан выше, и отправляет управляющую команду по адресу назначения.

В дополнительном варианте осуществления способа согласно изобретению предварительно определенное пространственное соотношение представляет, по меньшей мере, одно из относительного положения части тела по отношению к ориентиру; относительной ориентации части тела по отношению к ориентиру; и относительного перемещения части тела по отношению к предварительно определенному ориентиру.

В еще дополнительном варианте осуществления способа согласно изобретению, по меньшей мере, одно из предварительно определенного ориентира, предварительно определенного пространственного соотношения и предварительно определенного состояния является программируемым или перепрограммируемым.

Изобретение может также быть коммерчески использовано поставщиком программного обеспечения. Изобретение, следовательно, также относится к управляющему программному обеспечению. Управляющее программное обеспечение предоставляется как сохраненное на машиночитаемом носителе, например магнитном диске, оптическом диске, твердотельной памяти и т.д. Альтернативно, управляющее программное обеспечение предоставляется как электронный файл, который может быть загружен по сети передачи данных, такой как Интернет. Управляющее программное обеспечение работает, чтобы конфигурировать систему так, чтобы она была управляемой в ответ на предварительно определенный жест части тела пользователя. Управляющее программное обеспечение содержит первые инструкции для обработки видеоданных, захваченных системой камеры и представляющих часть тела и окружение части тела. Первые инструкции содержат вторые инструкции для извлечения из видеоданных текущего пространственного соотношения между частью тела и предварительно определенным ориентиром в окружении; третьи инструкции для определения того, соответствует ли текущее пространственное соотношение предварительно определенному пространственному соотношению между частью тела и предварительно определенным ориентиром, предварительно определенное пространственное соотношение является характеристикой предварительно определенного жеста; и четвертые инструкции для формирования управляющей команды для настройки системы в предварительно определенное состояние, в зависимости от текущего пространственного соотношения, соответствующего предварительно определенному пространственному соотношению. Предварительно определенный ориентир содержит физический объект, внешний по отношению к пользователю и в пределах окружения.

Управляющее программное обеспечение может, следовательно, быть предоставлено для установки в системе с бесконтактным пользовательским интерфейсом, сконфигурированным, чтобы предоставлять пользователю возможность управлять системой при эксплуатации посредством предварительно определенного жеста части тела пользователя.

В дополнительном варианте осуществления управляющего программного обеспечения согласно изобретению предварительно определенное пространственное соотношение представляет, по меньшей мере, одно из: относительного положения части тела по отношению к ориентиру; относительной ориентации части тела по отношению к ориентиру; и относительного перемещения части тела по отношению к предварительно определенному ориентиру.

В еще дополнительном варианте осуществления способа согласно изобретению управляющее программное обеспечение содержит пятые инструкции для программирования или перепрограммирования, по меньшей мере, одного из предварительно определенного ориентира, предварительно определенного пространственного соотношения и предварительно определенного состояния.

Краткое описание чертежей

Изобретение поясняется подробнее в качестве примера и со ссылкой на прилагаемые чертежи, на которых:

фиг. 1 - блок-схема системы в изобретении;

фиг. 2 - схема пользователя, как захватывается в видеоданных;

фиг. 3, 4, 5 и 6 - схемы, иллюстрирующие первый сценарий управления жестами согласно изобретению; и

фиг. 7 и 8 - схемы, иллюстрирующие второй сценарий управления жестами согласно изобретению.

На всех чертежах сходные или соответствующие признаки указаны одинаковыми ссылочными номерами.

Подробное описание вариантов осуществления

На фиг. 1 показана блок-схема системы 100 согласно изобретению. Система 100 содержит бесконтактный пользовательский интерфейс 102, сконфигурированный, чтобы предоставлять пользователю возможность управлять системой 100 при эксплуатации посредством предварительно определенного жеста части тела пользователя, например кистей или рук пользователя. На схеме система 100 показана как имеющая первую управляемую функциональность 104 и вторую управляемую функциональность 106. Система может иметь только одну функциональность, которая имеет возможность управления посредством жеста, или может иметь более двух функциональностей, каждая соответствующая из них может управляться посредством соответствующих жестов.

Пользовательский интерфейс 102 содержит систему 108 камеры и систему 110 обработки данных. Система 108 камеры сконфигурирована для захвата видеоданных, представляющих часть тела и окружение части тела. Система 110 обработки данных соединена с системой 108 камеры и сконфигурирована для обработки видеоданных, принятых от системы 108 камеры. Система 108 камеры может предоставлять видеоданные, которые захвачены, или может сначала предварительно обрабатывать захваченные видеоданные перед доставкой предварительно обработанных захваченных видеоданных системе 110 обработки данных. Система 110 обработки данных работает, чтобы определять текущее или фактическое пространственное соотношение между частью тела и предварительно определенным ориентиром в окружении. Примеры фактических пространственных соотношений будут обсуждены дополнительно ниже и проиллюстрированы со ссылкой на фиг. 2-8. Система 110 обработки данных работает, чтобы определять, соответствует ли текущее пространственное соотношение предварительно определенному пространственному соотношению, представляющему предварительно определенный жест. Для того чтобы иметь возможность сделать это, система 110 обработки данных содержит базу 112 данных. База 112 данных хранит данные, представляющие одно или более предварительно определенных пространственных соотношений. Система 110 обработки данных пытается найти совпадение между, с одной стороны, входными данными, которые представляют текущее пространственное соотношение, идентифицированное в видеоданных, и, с другой стороны, с сохраненными данными в базе 112 данных и представляющими конкретное из предварительно определенных пространственных соотношений. Совпадение между текущим пространственным соотношением, идентифицированным в видеоданных, и конкретными предварительно определенными пространственными соотношениями, сохраненными в базе 112 данных, может не быть идеальным совпадением. Например, рассмотрим сценарий, в котором различие между какой-либо парой различных соотношений из предварительно определенных пространственных соотношений является численно достаточно большим, т.е. в котором система 110 обработки данных может различать между любой парой предварительно определенных пространственных соотношений. Система 110 обработки данных может тогда подвергать текущее пространственное соотношение, идентифицированное в видеоданных, например, способу наилучшего совпадения. В способе наилучшего совпадения текущее пространственное соотношение в видеоданных совпадает с конкретным одним из предварительно определенных соотношений, если величина различия между текущим пространственным соотношением и конкретным, предварительно определенным пространственным соотношением соответствует одному или более требованиям. Первым требованием является то, что величина различия меньше, чем каждая из величин соответствующих других различий между, с одной стороны, текущим пространственным соотношением и, с другой стороны, соответствующим другим соотношением из предварительно определенных пространственных соотношений. Например, текущее пространственное соотношение преобразуется в вектор в N-мерном пространстве, и каждое конкретное соотношение из предварительно определенных пространственных соотношений преобразуется в конкретный другой вектор в N-мерном пространстве. Как известно, различие между парой векторов в N-мерном пространстве может быть определено согласно множеству алгоритмов, например, определяющих расстояние Хэмминга.

Термин "база данных", как используется в этом тексте, может также интерпретироваться как включающий в себя, например, искусственную нейронную сеть или скрытую марковскую модель (HMM), чтобы определять, соответствует ли текущее пространственное соотношение предварительно определенному пространственному соотношению, представляющему предварительно определенный жест.

Может быть использовано второе требование, которое указывает, что величина различия между текущим пространственным соотношением и отдельным, предварительно определенным пространственным соотношением ниже предварительно заданного порогового значения. Это второе требование может быть использовано, если векторы, представляющие предварительно определенные пространственные соотношения, неравномерно распределены в N-мерном пространстве. Например, рассмотрим набор только из двух предварительно определенных пространственных соотношений и рассмотрим представление каждого соответствующего соотношения из этих двух, предварительно определенных пространственных соотношений посредством соответствующего вектора в трехмерном пространстве, например эвклидовом трехмерном пространстве, образованном единичными векторами вдоль оси x, оси y и оси z, которые ортогональны друг другу. Может оказаться так, что два вектора, которые представляют два предварительно определенных пространственных соотношения, оба лежат в полупространстве, характеризуемом положительной z-координатой. Теперь текущее пространственное соотношение из видеоданных представляется посредством третьего вектора в этом трехмерном пространстве. Рассмотрим случай, в котором этот третий вектор лежит в другом полупространстве, характеризуемом отрицательной z-координатой. Типично различие между этим третьим вектором и конкретным вектором из двух векторов двух предварительно определенных пространственных соотношений меньше, чем другое различие между этим третьим вектором и другим вектором из двух векторов двух предварительно определенных пространственных соотношений. Формально может быть совпадение между этим третьим вектором и конкретным вектором из двух векторов. Однако вполне может быть, что движения пользователя не подразумевают вовсе жест для управления системой 100. Следовательно, второе требование (наличие величины различия между текущим пространственным соотношением и конкретным предварительным пространственным соотношением ниже предварительно заданного порогового значения) может быть использовано, чтобы более достоверно интерпретировать движения пользователя как намеренный жест, чтобы управлять системой 100.

Система 110 обработки данных может быть традиционной системой обработки данных, которая сконфигурирована для реализации изобретения посредством установки подходящего управляющего программного обеспечения 114, как обсуждалось ранее.

На фиг. 2 представлена схема пользователя, как он захватывается в видеоданных, созданных системой 108 камеры. Система 108 камеры создает видеоданные со "скелетным" представлением 200 пользователя. Технология реализации создана, например, Primesense, Ltd., израильской компанией, и используется в технологии 3D-восприятия "Kinect", воспринимающем движения устройства ввода от Microsoft для управления видеоигровой консолью Xbox360 посредством жестов, как упомянуто выше. "Скелетное" представление 200 пользователя типично содержит представление основных суставов пользователя. "Скелетное" представление 200 содержит первое представление RS правого плечевого сустава пользователя, второе представление LS левого плечевого сустава пользователя, третье представление RE правого локтевого сустава пользователя, четвертое представление LE левого локтевого сустава пользователя, пятое представление RH правой кисти пользователя и шестую интерпретацию LH левой кисти пользователя. Относительные положения и/или ориентации кистей пользователя, плеч и предплечий могут теперь быть использованы для управления системой 100 в изобретении, как иллюстрировано на фиг. 3, 4, 5, 6, 7 и 8. Ниже ссылки на компоненты анатомии пользователя (плечевой сустав, предплечье, плечо, кисть, запястье и локтевой сустав) и представления компонентов в "скелетной" схеме будут использованы взаимозаменяемо.

Для ясности в анатомии человека термин "плечо" относится к сегменту между плечевым суставом и локтевым суставом, а термин "предплечье" относится к сегменту между локтевым суставом и запястьем. В повседневном словоупотреблении термин "рука" часто относится ко всему сегменту между плечевым суставом и запястьем. По всему этому тексту выражение "плечо" используется, чтобы ссылаться на сегмент между плечевым суставом и локтевым суставом.

Фиг. 3, 4, 5 и 6 иллюстрируют первый сценарий управления, в котором положение перекрытия правой руки пользователя с левой рукой пользователя представляет величину первого управляемого параметра, например громкость звука, воспроизводимого в акустической системе, представленной посредством первой функциональности 104 системы 100. Положение перекрытия интерпретируется относительно левой руки пользователя.

В первом сценарии управления левая рука пользователя используется, как если бы она была направляющей, при этом ползунок мог бы двигаться вверх или вниз, ползунок представлен областью, в которой левая рука пользователя и правая рука пользователя перекрывают или касаются друг друга в видеоданных. Ползунок является обычным устройством управления в пользовательском интерфейсе, например, оборудования для воспроизведения музыки, и сконфигурирован для ручной настройки параметра управления в желаемую величину. В первом сценарии управления изобретения громкость звука может быть задана в любое значение между 0% и 100% в зависимости от того, где правая рука пользователя располагается относительно левой руки пользователя.

В схеме на фиг. 3 правое предплечье пользователя, представленное на схемах как "палочка" между правым локтевым суставом RE и правой кистью RH, располагается на, или близко к, представлении левого локтевого сустава LE пользователя. Система 110 обработки данных сконфигурирована, чтобы интерпретировать это относительное положение правого предплечья пользователя в схеме на фиг. 3 как жест для регулирования громкости приблизительно до 50%. Пользовательское ощущение проприоцепции предоставляет возможность быстро позиционировать правое предплечье пользователя на, или близко к, левом локтевом суставе LE пользователя и делать возможным уведомление пользователя о небольших изменениях в этом относительном положении. Правая рука пользователя может опираться на левую руку пользователя, чтобы помогать даже больше, добавляя ощущение прикосновения.

В схеме на фиг. 4 пользователь расположил свое правое предплечье относительно левой руки пользователя так, что правая кисть RH пользователя опирается на левую руку пользователя на полпути между левым локтевым суставом LE и левым плечевым суставом LS. Система 110 обработки данных сконфигурирована, чтобы интерпретировать относительное положение правого предплечья пользователя в схеме на фиг. 4 как жест для регулирования громкости приблизительно до 25%.

В схеме на фиг. 5 пользователь расположил свое правое предплечье относительной левой руки пользователя так, что правая кисть RH пользователя опирается на левую руку пользователя на, или близко к, левой кисти LH пользователя. Система 110 обработки данных сконфигурирована, чтобы интерпретировать относительное положение правого предплечья пользователя в схеме на фиг. 5 как жест для регулирования громкости приблизительно до 100%.

Из схем на фиг. 3, 4 и 5 ясно, что пользователь должен держать свою левую руку полностью прямой. Относительные положения предплечий и плеч являются релевантными для жестов, которые интерпретируются системой 110 обработки данных.

Схема на фиг. 6 иллюстрирует первый сценарий, теперь использующий в качестве жеста относительную длину, на которую правое предплечье пользователя протягивается за левую руку пользователя, для того, чтобы задавать величину второго управляемого параметра, например горизонтальное направление луча света от управляемого осветительного прибора, представленного посредством второй функциональности 106 на фиг. 100. Предположим, что осветительный прибор может проецировать луч в направлении в горизонтальной плоскости и что направление может управляться, предполагая величину между -60° относительно опорного направления и +60° относительно опорного направления. Настройка направления приблизительно в опорное направление выполняется посредством, например, позиционирования правого предплечья пользователя так, что правое предплечье и левая рука пользователя перекрываются приблизительно в области на половине правого предплечья между правым локтевым суставом RE и правой кистью RH. Тогда длина, на которую правое предплечье протягивается влево за левую руку, приблизительно равняется длине, на которую правое предплечье протягивается вправо за пределы левой руки. Перенаправление луча под другим углом относительно опорного направления выполняется посредством смещения пользователем своего правого предплечья относительно его левой руки так, чтобы изменять длину, на которую правое предплечье протягивается за пределы левой руки, например, вправо.

Схема на фиг. 6 также иллюстрирует первый сценарий, в котором первый управляемый параметр и второй управляемый параметр одновременно управляются жестами. Рассмотрим, например, случай, в котором первый управляемый параметр представляет громкость звука, воспроизводимого акустической системой, как обсуждалось выше со ссылкой на схемы на фиг. 3, 4 и 5, и в котором второй управляемый параметр представляет направленность звука в акустической системе. Громкость управляется положением перекрывания между правым предплечьем и левой рукой, относительно левой руки, а направленность управляется соотношением длин, на которые правое предплечье протягивается влево и вправо за пределы левой руки. В примере, проиллюстрированном на схеме на фиг. 6, громкость установлена приблизительно на 48%, а направленность приблизительно на 66%. Что касается последней величины, расстояние между левой рукой пользователя и правой кистью RH пользователя показано как вдвое более длинное, чем расстояние между левой рукой пользователя и правым локтевым суставом RE пользователя.

Схемы на фиг. 7 и 8 иллюстрируют второй сценарий, в котором система 110 обработки данных интерпретирует в качестве жеста положение правого предплечья пользователя относительно опорного направления, здесь направления силы тяжести, указанного стрелкой 702. Относительное положение правого предплечья представлено углом φ между направлением силы тяжести 702 и направлением сегмента между правым локтевым суставом RE и правой кистью RH в "скелетной" схеме. В схеме на фиг. 7 относительное положение правого предплечья такое, что угол φ предполагает величину, скажем, 35°. В схеме на фиг. 8 относительное положение правого предплечья такое, что угол φ предполагает величину, скажем, 125°. Соответственно, величина угла φ может быть использована системой 110 обработки данных, чтобы задавать значение управляемого параметра системы 100.

В примерах выше система 110 обработки данных использует в качестве входных данных относительное положение перекрывания первого предплечья с левой рукой и/или соотношение длин, на которые правое предплечье протягивается за пределы левой руки влево и вправо, и положение правого предплечья относительно направления силы тяжести, которое представлено углом φ. Система 110 обработки данных может быть сконфигурирована, чтобы использовать любой вид преобразования входных данных в выходные для управления одним или более управляемыми параметрами. Преобразование не должно быть пропорциональным и может принимать, например, эргономические факторы в рассмотрение. Например, может быть легче для пользователя точно располагать свою правую кисть RH в местоположении, близком к его левому локтевому суставу LE, чем в местоположении на полпути от его левого локтевого сустава LE до его левого плечевого сустава LE. Преобразование относительного положения перекрывания правого предплечья и левой руки может затем быть реализовано, при этом некоторая величина изменения в относительном положении перекрывания приводит к большему изменению в величине значения управляемого параметра, если перекрывание происходит рядом с левым локтевым суставом LE, чем в случае, когда перекрывание происходит на полпути между его левым локтевым суставом LE и его левым плечевым суставом LS.

В примерах, проиллюстрированных на фиг. 3, 4, 5, 6, 7 и 8, система 110 обработки данных сконфигурирована для преобразования конкретного относительного положения в конкретную величину управляемого параметра.

Альтернативно, система 110 обработки данных сконфигурирована для преобразования конкретного относительного положения в выбор конкретного объекта во множестве выбираемых объектов. Примеры множества выбираемых объектов включают в себя список воспроизведения фрагментов предварительно записанной музыки или список воспроизведения предварительно записанных фильмов; набор вариантов управления в меню вариантов управления, доступном для управления состоянием электронного оборудования, и т.д. Например, предположим, что первая управляемая функциональность 104 системы 100 содержит функциональность воспроизведения видео. Функциональность воспроизведения видео является управляемой жестами с помощью левого предплечья в качестве ориентира. Касание левого предплечья правой кистью RH близко к левому локтевому суставу LE тогда интерпретируется как начало воспроизведения видео в начале электронного файла выбранного фильма. Касание левого предплечья на полпути между левым локтевым суставом LE и левой кистью LH тогда интерпретируется как начало или продолжение воспроизведения видео в середине фильма. Касание левого предплечья близко к левой кисти LH тогда интерпретируется как начало или продолжение воспроизведения видео близко к концу фильма.

На фиг. 3, 4, 5 и 6 положение правой руки пользователя описывается относительно предварительно определенного ориентира, являющегося левой рукой пользователя. На фиг. 7 и 8 положение правой руки пользователя описывается относительно предварительно определенного ориентира, являющегося направлением силы тяжести 702. Отметим, что изобретение, в целом, описано с точки зрения конкретного жеста, формируемого посредством конкретного пространственного соотношения между частью тела пользователя, например правой рукой пользователя, левой рукой пользователя, головой пользователя, левой ногой пользователя, правой ногой пользователя и т.д., и предварительно определенным ориентиром. Предварительно определенный ориентир может включать в себя другую часть тела пользователя, например другую руку, другую ногу, торс пользователя и т.д., другое предварительно определенное направление, чем направление силы тяжести, или физический объект, или его часть в окружении пользователя, которое захвачено системой камеры. Конкретное пространственное соотношение может быть представлено относительным положением, и/или относительной ориентацией, и/или относительным перемещением части тела и предварительно определенным ориентиром.