УПРАВЛЕНИЕ ЭЛЕМЕНТОМ ИЛИ ИЗДЕЛИЕМ НА ОСНОВЕ ЖЕСТОВ

Область техники, к которой относится изобретение

Изобретение относится к устройству для управления элементом или изделием.

Дополнительно изобретение относится к прибору, способу, компьютерному программному продукту и носителю.

Примерами такого устройства являются пользовательские устройства слежения и устройства взаимодействия, основанные на распознавании жестов и использующие эти распознанные жесты.

Уровень техники

US 2009/0217211 А1 раскрывает усовершенствованный ввод с использованием распознанных жестов.

US 2010/0235786 А1 раскрывает усовершенствованный 3D интерфейс для удаленных устройств.

ЕР 2105844 А2 раскрывает способ отображения информации.

US 2007/0126696 А1 раскрывает способ отображения виртуальных координат.

US 2009/0058830 А1 раскрывает способ интерпретации жеста пальца.

Раскрытие изобретения

Технический результат, достигаемый при использовании настоящего изобретения, состоит в повышении эффективности работы пользователя с элементом, отображаемым на экране, или управляемым изделием, представляемым посредством элемента, за счет детектирования и использования более одного признака объекта, предназначенного для управления элементом или управляемым изделием.

Задачей изобретения является обеспечение усовершенствованного устройства.

Дополнительными задачами изобретения являются обеспечение прибора, способа, компьютерного программного продукта и носителя.

Согласно первому аспекту, обеспечено устройство для управления элементом или изделием, причем устройство содержит детектор для детектирования первого признака объекта в первом измерении и второго признака объекта в другом, втором, измерении и содержит преобразователь для преобразования первого признака в действие, выполняемое на элементе или изделии, при этом действие зависит от второго признака, причем первый признак является перемещением объекта, а второй признак является положением объекта, причем элемент показан на экране и изделие представлено посредством этого элемента, при этом первое измерение является направлением, параллельным экрану, а второе измерение является направлением, перпендикулярным экрану, и действие содержит просмотр.

Объектом может быть, например, часть тела или физический объект, удерживаемый частью тела, или физический объект, соединенный с частью тела, и т.д. Частью тела может быть, например, кисть, или палец, или рука, или нога, или голень, или нос и т.д. Элементом может быть, например, иконка, или символ, или пиктограмма, или окно и т.д. на экране. Элемент может представлять данные, хранящиеся в компьютере, например изображение, или программу, или аудио, или видео и т.д. Элемент может представлять собой управляемое изделие, расположенное отдельно от экрана, например, лампу, прибор, аудиоплеер, видеоплеер и т.д.

Детектор выполнен с возможностью детектирования первого признака объекта в первом измерении и выполнен с возможностью детектирования второго признака объекта в другом, втором, измерении. Преобразователь выполнен с возможностью преобразования первого признака в действие, выполняемое на элементе или изделии, представленном посредством элемента.

Так, действие было определено через первый признак, детектированный в первом измерении. Выполняя это действие, в зависимости от второго признака, аспект, или тип, или параметр и т.д. этого действия был определен через этот второй признак. Это увеличивает число возможностей, что является большим усовершенствованием.

Устройство имеет дополнительное преимущество в том, что операция, выполняемая пользователем, стала более эффективной. В прошлом, чтобы адаптировать аспект, или тип, или параметры и т.д. действия, пользователь должен был посетить, например, другое место на экране, чтобы выполнить такую адаптацию. Это неэффективная процедура. Теперь, не покидая элемента на экране, пользователь может сделать адаптацию. Это более эффективная процедура.

Первым признаком является перемещение объекта, и вторым признаком является положение объекта. Интерпретация перемещения может быть адаптирована через положение. Это положение может быть определено с учетом экрана и/или с учетом другого объекта. Перемещение может включать в себя вращение, наклон, шаг, качение, отклонение, удар, прыжок и т.д.

Перемещение объекта, когда он находится ближе к экрану и/или на большем расстоянии от другого объекта, будет иметь первый результат, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, будет иметь другой, второй, результат. Действие содержит просмотр.

Вариант воплощения устройства определяется посредством просмотра, содержащего просмотр группы элементов, содержащей элемент, на скорости, которая зависит от положения. Согласно этому варианту воплощения, перемещение объекта, когда он находится ближе к экрану и/или на большем расстоянии от другого объекта, приведет к просмотру на первой скорости, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, приведет к просмотру на другой, второй, скорости, такой как, например, более высокая скорость.

Вариант воплощения устройства определен посредством просмотра, содержащего просмотр множества групп элементов, причем одна группа содержит элемент для положения, являющегося первым положением, и просмотра, содержащего просмотр одной из групп для положения, являющегося другим, вторым, положением. Согласно этому варианту воплощения, перемещение объекта, когда он находится ближе к экрану и/или на большом расстоянии от другого объекта, приведет к просмотру на первом уровне, таком как уровень элемента, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, приведет к просмотру на другом, втором, уровне, например на уровне группы.

Вариант воплощения устройства определен посредством просмотра, содержащего просмотр в относительно общем масштабе для положения, являющегося первым положением, и просмотра, содержащего просмотр в относительно определенном масштабе для положения, являющегося другим, вторым, положением. Согласно этому варианту воплощения, перемещение объекта, когда он находится ближе к экрану и/или на большом расстоянии от другого объекта, приведет к просмотру в первом масштабе, таком как определенный масштаб, и перемещение объекта, когда он находится на большом расстоянии от экрана и/или ближе к другому объекту, приведет к просмотру в другом, втором, масштабе, таком как общий масштаб.

Вариант воплощения устройства определен посредством детектора, выполненного с возможностью детектирования перемещения объекта или положения объекта также в другом, третьем, измерении, причем третье измерение является другим направлением, параллельным экрану.

Перемещение объекта, например, в горизонтальном направлении, при расположении выше (или ниже), будет иметь первый результат, и перемещение объекта в горизонтальном направлении, при расположении ниже (или выше), будет иметь другой, второй, результат. Аналогично, перемещение объекта, например, в вертикальном направлении, при расположении левее (или правее), будет иметь третий результат, и перемещение объекта в вертикальном направлении, при расположении правее (или левее), будет иметь другой, четвертый, результат.

Для изделия в виде лампы, которая производит свет, посредством перемещения может быть адаптирована, например, яркость света и посредством положения может быть адаптирован, например, цвет света. Для изделия в виде аудиоплеера, который производит звук, посредством перемещения может быть адаптирована, например, громкость звука и посредством положения может быть адаптирована, например, частота звука, или, для различных положений, может быть адаптирована громкость различных частотных компонентов. Оба варианта возможны для одного и того же элемента и без необходимости создания нового элемента для каждого варианта.

Вариант воплощения устройства определен посредством второго признака, определяющего аспект, или тип, или параметр действия.

Вариант воплощения устройства определен посредством объекта, являющегося частью тела или физическим объектом, удерживаемым или соединенным с частью тела, и положение предпочтительно представляет собой относительное положение по отношению к другому объекту, причем другой объект является другой частью тела или остальной частью тела. Упомянутое управление также известно как управление на основе жестов. Положение может быть абсолютным положением (например, по отношению к экрану), но предпочтительно может быть относительным положением, например, по отношению к другому объекту, такому как, например, другая часть тела или остальная часть тела. В случае если положение является абсолютным положением, детектор должен быть способен совершать абсолютные детектирования. В случае если положение является относительным положением, детектору нужно только совершать относительные детектирования путем детектирования обоих объектов и их относительных положений без необходимости совершения абсолютных детектирований.

Вариант воплощения устройства определен посредством преобразователя, выполненного с возможностью преобразования второго признака в информацию, показываемую на экране или воспроизводимую иным образом. Согласно этому варианту воплощения, обратная связь предоставляется пользователю на экране или иным образом (через аудио или с помощью сигнала, подаваемого на объект или изделие, и т.д.), чтобы помогать пользователю.

Следует отметить, что и первый признак объекта в первом измерении, и второй признак объекта в другом, втором, измерении относятся к одному и тому же элементу. Так, второй признак не детектируется с помощью другого элемента, расположенного на экране рядом с элементом, когда для второго измерения, являющегося вторым направлением, параллельным экрану, происходит перемещение во втором измерении. Дополнительно первый признак преобразуется в действие, выполняемое на элементе или изделии, представленном этим элементом, и действие, выполняемое на этом элементе или этом изделии, представленном этим элементом, зависит от второго признака. Таким образом, второй признак определяет аспект, или тип, или параметр и т.д. этого действия.

Согласно второму аспекту, обеспечен прибор, содержащий устройство, определенное выше, и дополнительно содержащий изделие и/или экран.

В соответствии с третьим аспектом, обеспечен способ управления элементом или изделием, содержащий этап детектирования первого признака объекта в первом измерении и второго признака объекта в другом, втором, измерении и содержащий этап преобразования первого признака в действие, выполняемое на элементе или изделии, причем действие зависит от второго признака, причем первый признак является перемещением объекта и второй признак является положением объекта, причем элемент показан на экране и изделие представлено посредством элемента, причем первое измерение является направлением, параллельным экрану, и второе измерение является направлением, перпендикулярным экрану, и действие содержит просмотр.

Согласно четвертому аспекту, обеспечен компьютерный программный продукт для выполнения этапов способа, определенного выше.

В соответствии с пятым аспектом, обеспечен носитель для хранения и содержания компьютерного программного продукта, определенного выше.

Варианты воплощения способа соответствуют вариантам воплощения устройства.

Должно быть понятно, что более чем одно измерение может быть использовано для управления элементом, который может быть показан на экране, или для управления изделием, которое может быть представлено элементом и которое может быть расположено отдельно от экрана. Основная идея может быть в том, что посредством детектирования первого и второго признаков объекта в первом и втором измерениях и преобразования первого признака в действие, выполняемое на элементе или изделии, число возможностей может быть увеличено путем выполнения действия, зависящего от второго признака.

Была решена задача обеспечения улучшенного устройства. Дополнительным преимуществом может быть то, что операция, выполняемая пользователем, стала более эффективной.

Эти и другие аспекты изобретения будут очевидны из и объяснены со ссылкой на варианты воплощения, описанные ниже.

Краткое описание чертежей

На чертежах:

Фиг. 1 изображает прибор, содержащий устройство,

Фиг. 2 изображает прибор и устройство отдельно друг от друга,

Фиг. 3 изображает (верхняя часть) просмотр групп элементов на экране и (нижняя часть) просмотр в группе элементов на экране,

Фиг. 4 изображает изделие, представленное элементом на экране и управляемое посредством объекта, и

Фиг. 5 изображает изделие, не представленное элементом на экране, но также управляемое посредством объекта.

Осуществление изобретения

На Фиг. 1 показан прибор, содержащий устройство. Устройство 1 содержит детектор 11 в виде 3D-камеры и преобразователь 14, соединенный с детектором 11. Прибор 3 дополнительно содержит экран 31 и процессор 32. Преобразователь 14 может быть другим процессором и/или может быть выполнен как часть процессора 32.

На Фиг. 2 показаны прибор и устройство отдельно друг от друга. Устройство 1 содержит детектор 12-13 в виде первой 2D-камеры и второй 2D-камеры и преобразователь 14, соединенный с детектором 12-13. Прибор 3 содержит экран 31 и процессор 32, соединенный с преобразователем 14. Преобразователь 14 может быть другим процессором.

Другие виды детекторов не должны быть исключены, такие как детекторы для детектирования абсолютных положений, такие как детекторы глобальной системы позиционирования и детекторы локальной системы позиционирования, детекторы для детектирования нарушений в электромагнитных полях, детекторы на основе радара или технологии ультразвукового локатора и т.д.

На Фиг. 3 показан в верхней части экрана просмотр групп элементов и показан в нижней части экрана просмотр в группе элементов на экране. В верхней части Фиг. 3 показан экран 31 (вид спереди), который отображает три группы 4-6, каждая состоящая из десяти элементов 40-49, 50-59 и 60-69. Дополнительно, показан объект 2 (вид сверху), такой как, например, часть тела или физический объект, удерживаемый частью тела, или физический объект, соединенный с частью тела, и т.д. Частью тела может быть, например, рука, или палец, или кисть, или нога, или голень, или нос и т.д. Элементы 40-69 могут быть, например, иконками, или символами, или миниатюрами, или окнами и т.д. на экране 31. Элементы 40-69 могут представлять собой данные, сохраненные в компьютере, например изображение, или программу, или аудио, или видео и т.д. В верхней части Фиг. 3 объект 2 совершает перемещение влево, как показано стрелкой, например, пользователем, который взмахивает пальцами руки влево (направление Х). Это делается на первом расстоянии от экрана 31 (направление Z).

В нижней части Фиг. 3 показан экран 31 (вид спереди), который отображает десять элементов 50-59. Дополнительно, показан объект 2 (вид сверху). Здесь, объект 2 снова совершает перемещение влево, как показано стрелкой, например, пользователем, который взмахивает пальцами руки влево (направление Х). Но здесь это делается на втором расстоянии от экрана 31 (направление Z), причем второе расстояние меньше, чем первое расстояние. В результате, пользователь больше не просматривает группы 4-6, но теперь пользователь просматривает элементы 50-59 в пределах одной группы 5 из групп 4-6. Таким образом, элементы 50-59 могут быть увеличены или нет и могут быть показаны более отдаленно друг от друга или нет.

Таким образом, в целом, в данном случае устройство 1 выполнено с возможностью управления элементом 40-69, показанным на экране 31. Детектор 11-13 выполнен с возможностью детектирования первого признака объекта 2 в первом измерении и второго признака объекта 2 в другом, втором, измерении. Преобразователь 14 выполнен с возможностью преобразования первого признака в действие, выполняемое на элементе 40-69. В соответствии с большим усовершенствованием действие может зависеть от второго признака.

Предпочтительно, первый признак может быть перемещением объекта 2 и второй признак может быть положением объекта 2. Первое измерение может быть направлением Х, параллельным экрану 31, и второе измерение может быть направлением Z, перпендикулярным экрану 31.

Как показано, действие может содержать просмотр множества групп 4-6 элементов 40-69 для положения, являющегося первым положением, и действие может содержать просмотр (в пределах) одной группы 5 из групп 4-6 для положения, являющегося другим, вторым, положением.

Точно так же, в качестве альтернативы, действие может содержать просмотр одной или более групп 4-6 элементов 40-69 на скорости, которая зависит от положения. Точно так же, в качестве альтернативы, действие может содержать просмотр в сравнительно общем масштабе для положения, являющегося первым положением, и действие может содержать просмотр в относительно определенном масштабе для положения, являющегося отличным, вторым, положением.

Упомянутое управление также известно как управление на основе жеста. Положение может быть определено с учетом экрана 31 и/или с учетом другого объекта. Положение может быть абсолютным положением, например, по отношению к экрану 31, и может быть относительным положением, например, по отношению к другому объекту. Другим объектом может быть, например, другая часть тела или остальная часть тела. В случае если положение является абсолютным положением, детектор 11-13 должен иметь возможность совершать абсолютные детектирования. В случае если положение является относительным положением, детектор 11-13 должен иметь возможность совершать только относительные детектирования посредством детектирования обоих объектов и их относительных положений, без необходимости совершения абсолютных детектирований.

На Фиг. 4, показано изделие 71, представленное посредством элемента 70 на экране 31 и управляемое с помощью объекта 2. При этом изделие 71 является лампой, но, альтернативно, изделием может быть прибор, аудиоплеер, видеоплеер или продукт, такой как потребительский продукт или профессиональный продукт и т.д. Изделие 71, как правило, является управляемым изделием, расположенным отдельно от экрана 31.

Как правило, здесь устройство 1 выполнено с возможностью управления изделием 71, представленным посредством элемента 70 на экране 31. Детектор 11-13 выполнен с возможностью детектирования первого признака объекта 2 в первом измерении и второго признака объекта в другом, втором, измерении. Преобразователь 14 выполнен с возможностью преобразования первого признака в действие, выполняемое на этом изделии 71. В соответствии с большим усовершенствованием действие может зависеть от второго признака.

Предпочтительно, первый признак может быть перемещением объекта 2 и второй признак может быть положением объекта 2. Здесь первое измерение может быть направлением Х, параллельным экрану 31, и второе измерение может быть другим направлением Y, параллельным экрану 31, причем оба направления Х и Y являются, например, перпендикулярными направлениями.

Действие может содержать регулирование первого параметра изделия 71 в зависимости от перемещения, и действие может содержать регулирование другого, второго, параметра изделия 71 в зависимости от положения. Для изделия 71 в виде лампы, которая производит свет, посредством перемещения, например, может быть адаптирована яркость света и посредством положения, например, может быть адаптирован цвет света.

Альтернативно, для изделия в виде аудиоплеера, который производит звук, посредством перемещения, например, может быть адаптирована громкость звука и посредством положения, например, может быть адаптирована частота звука или, для различных положений, может быть адаптирована громкость различных частотных компонентов и т.д.

Кроме того, в соответствии с дополнительным улучшением преобразователь 14 может быть выполнен с возможностью преобразования второго признака в информацию, показываемую на экране 31 или воспроизводимую иным образом, для предоставления пользователю обратной связи на экране 31 или иным образом посредством звука или посредством сигнала, подаваемого на объект 2 или изделие 71 и т.д., чтобы способствовать задачам.

Альтернативно и/или дополнительно, второй признак может быть изменением положения объекта 2, другими словами, (временным) перемещением объекта 2, причем (временно) первый признак с перемещением объекта 2 может быть остановлен. Таким образом, первый и второй признаки не следует рассматривать слишком ограниченно. Кроме того, скорость и/или просмотр на Фиг. 3 могут быть отрегулированы для перемещений и положений в направлениях X и Y, и параметры на Фиг. 4 могут быть отрегулированы для перемещений и положений в направлениях X и Z или Y и Z и т.д. Каждый раз вместо двух измерений может быть использовано также третье измерение и даже четвертое измерение в виде времени, или даты, или количества света, или количества шума, или температуры, или может быть включен другой признак.

На Фиг. 5 показано изделие, которое не представлено элементом на экране, но которое также управляется посредством объекта. Здесь, изделие 71 выполнено в виде громкоговорителя. При перемещении объекта 2 на первом расстоянии (выраженном в направлении Z) от изделия 71 параллельно к громкоговорителю (например, в направлении Х) управляется громкость звука (например, влево: низший уровень громкости и вправо: наибольшая громкость звука) и при перемещении объекта 2 на втором расстоянии (выраженном в направлении Z) от изделия 71 параллельно к громкоговорителю (например, в направлении Х) управляется выбор звуковых дорожек (например, влево: предыдущая песня и вправо: следующая песня). Таким образом, второе расстояние должно быть отличным от первого расстояния и может быть больше или меньше этого первого расстояния. Таким образом, были созданы различные зоны, и то же самое перемещение получает свое собственное отличное значение в каждой зоне.

Для изделия 71 в виде громкоговорителя, как показано на Фиг. 5, один или более детекторов, не показанных здесь, могут составлять часть этого изделия 71 или могут образовывать часть устройства, не показанного здесь. Дополнительно, изделие 71 может быть обеспечено блоком, не показанным здесь, таким как один или несколько светоизлучающих диодов и т.д., для обеспечения обратной связи с пользователем, чтобы указывать, в какой зоне пользователь перемещает объект 2, чтобы помогать пользователю.

Так, например, расстояние жестикуляции, например, по отношению к телу или более абсолютно или к другому, например, в горизонтальном или вертикальном положениях, например, по отношению к телу или более абсолютно, может быть связано с уровнем просмотра или прокрутки, причем некоторое количество элементов могут быть просмотрены или прокручены. Возможно, на экране дается обратная связь для указания уровня просмотра или прокрутки, который представляет диапазон элементов, которые могут быть просмотрены или прокручены.

В соответствии с версией отслеживания жеста отслеживание кисти или пальца используется для просмотра или прокрутки элементов. Кисть или палец на левой стороне тела могут быть сопоставлены с первым элементом группы. Кисть или палец на правой стороне тела могут быть сопоставлены с последним элементом группы. В соответствии с версией дискретного жеста левый и правый удары используются для перепрыгивания некоторого количества элементов внутри группы. Когда кисть или палец находится близко к телу, происходят большие прыжки, и полный набор элементов может быть пропущен. Когда кисть или палец перемещается далеко от тела, удары приведут к меньшим прыжкам внутри набора элементов.

В режиме переключения может быть создано приложение для просмотра изображений. Пользователь может просматривать медицинские XR изображения с помощью горизонтальных жестов. Жесты, которые выполнены близко к телу, используются для просмотра отдельных прогонов (прогон является последовательностью изображений, выполненных за один оборот XR машины). Всякий раз, когда пользователь вытягивает свою руку, режим просмотра изменяется, и отдельные изображения в прогоне могут быть просмотрены с перемещением слева направо.

В соответствии с просмотром изображения в динамическом диапазоне диапазон изображений, которые могут быть просмотрены, связан с расстоянием взаимодействия жеста. Например, когда пользователь делает жесты близко к телу, при перемещении слева направо отображаются все изображения в прогоне. Когда кисть находится на левой стороне, представляется первое изображение. Перемещение слева направо будет перелистывать через изображения в наборе. Когда кисть находится на правой стороне, представляется последнее изображение. Как правило, набор будет иметь сотни изображений в медицинской XR среде. Когда пользователь перемещает кисть ближе к экрану, диапазон изображений может быть сужен, и можно просматривать выборку. Изображение в фокусе может быть использовано в качестве среднего изображения в этой выборке. Отображение было дано в более динамичной форме, чтобы дать пользователю больше управления и обеспечить возможность быстрого просмотра в сочетании с более мелкозернистым просмотром изображения за изображением.

Принципы управления динамическим диапазоном с помощью жеста могут быть также применены при использовании дискретных жестов (левый или правый удары). В приведенном выше примере удар будет перепрыгивать через первое количество изображений слева или справа. Когда жест удара выполняется ближе к экрану, этот прыжок будет через второе количество изображений, меньшее, чем первое количество изображений, может быть равное одному, для просмотра изображения за изображением.

Подводя итог, устройство 1 для управления элементами 40-70, которые могут быть показаны на экранах 31, или изделиями 71, которые могут быть представлены посредством элементов 70, содержит датчики 11-13 для детектирования признаков объектов 2, таких как части тела в первом и втором измерениях, и преобразователи 14 для преобразования первых признаков в действия для элементов 40-70 или изделий 71. Совершая действия, зависящие от второго признака, увеличивается некоторое количество возможностей. Первые признаки могут быть перемещениями объектов 2 и вторые признаки могут быть абсолютными или относительными положениями объектов 2. Первые измерения могут быть параллельными экранам 31 и вторые измерения могут быть перпендикулярными или параллельными экранам 31, или наоборот. Действия могут содержать просмотр групп 4-6 элементов 40-69 в положении, зависящем от скорости, или просмотр одной или более групп 4-6 в зависимости от положений. Изделия 71 могут быть лампами, приборами, аудиоплеерами, видеоплеерами, причем их параметры могут быть отрегулированы в зависимости от перемещений и положений.

Хотя настоящее изобретение было проиллюстрировано и описано подробно на чертежах и в вышеприведенном описании, такая иллюстрация и описание должны рассматриваться иллюстративно или в качестве примера и не ограниченно, причем настоящее изобретение не ограничивается раскрытыми вариантами воплощения. Другие изменения в раскрытых вариантах воплощения могут быть поняты и осуществлены специалистами в данной области техники при практическом осуществлении заявленного изобретения, при изучении чертежей, описания и прилагаемой формулы изобретения. В формуле изобретения слово «содержащий» не исключает других элементов или этапов, а единственное число не исключает множества. Простой факт, что определенные признаки изложены во взаимно различных зависимых пунктах формулы изобретения, не означает, что комбинация этих признаков не может быть использована для преимущества. Любые ссылочные обозначения в формуле изобретения не должны рассматриваться как ограничивающие ее объем.