СИСТЕМА ВВОДА ИНФОРМАЦИИ КАСАНИЕМ С ТРЕМЯ СОСТОЯНИЯМИ

УРОВЕНЬ ТЕХНИКИ, К КОТОРОМУ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Чувствительные к касанию экраны устройства отображения стали все более распространены как вариант традиционных клавиатур и других человеко-машинных интерфейсов («HMI») для приема записи данных или другого ввода от пользователя. Экраны ввода касанием используют в различных устройствах, включающих в себя как портативные, так и стационарные устройства. Портативные устройства с экранами ввода касанием обычно включают в себя, например, мобильные телефоны, карманный персональный компьютер («КПК») и персональные медиа-плееры, которые воспроизводят музыку и видео. Стационарные устройства, которые используют экраны ввода касанием, обычно включают в себя, например, те, которые используются на транспортных средствах, терминалах торговых точек («POS») и оборудовании, используемом в медицинском и промышленном приложениях.

[0002] Возможность непосредственно касаться и манипулировать данными на экране ввода касанием является сильным доводом для пользователей. Во многих отношениях экраны ввода касанием могут быть использованы в качестве более предпочтительного механизма ввода, чем традиционная мышь. При использовании экрана ввода касанием, пользователь может просто прикоснуться к экрану непосредственно на графическом элементе пользовательского интерфейса (например, значке), который он хочет выбрать, вместо того, чтобы позиционировать курсор по пользовательскому интерфейсу с помощью мыши.

[0003] Экраны ввода касанием могут служить и для отображения вывода от вычислительного устройства пользователю и приема ввода от пользователя. Опции ввода пользователя могут быть отображены, например, в качестве управления, навигации или значков объекта на экране. Когда пользователь выбирает опцию ввода касанием ассоциированного значка на экране с помощью пера или пальца, вычислительное устройство считывает положение касания и отправляет сообщение приложению или служебной программе, которая представляет значок.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Традиционные устройства ввода с экраном ввода касанием могут быть проблематичными для пользователей со слабым зрением, потому что они не способны визуально судить о совмещении своего пальца или пера с желаемым графическим элементом пользовательского интерфейса, появляющимся на экране, до контакта с ним. Кроме того, они не обладают средством для проверки воздействия касания экрана до установления контакта с ним, к этому времени базовое приложение уже будет действовать в ответ на этот контакт.

[0005] Чтобы преодолеть это ограничение, в данной реализации обеспечено устройство ввода с экраном ввода касанием, которое имитирует устройство ввода с 3 состояниями, такое как мышь. Одно из этих состояний используется для предварительного просмотра эффекта активации графического элемента пользовательского интерфейса при касании экрана. В этом состоянии предварительного просмотра касание графического элемента пользовательского интерфейса на экране с помощью пальца или пера не побуждает к выполнению действия, ассоциированного с этим элементом. Вернее, при касании экрана в состоянии предварительного просмотра, пользователю обеспечивают аудио метки, указывающие, какое действие произошло бы, если действие, ассоциированное с элементом, к которому выполнено касание, было бы выполнено.

[0006] В некоторых реализациях, после того, как пользователь определил положение графического элемента пользовательского интерфейса, который он или она желает выбрать, пользователь может поместить второй палец или перо на экране ввода касанием, в то время как первый палец или перо поддерживает контакт с элементом. Таким способом желаемый графический элемент пользовательского интерфейса может быть активирован. То есть, перевод экрана ввода касанием во второе состояние, посредством установки контакта со вторым пальцем или пером, побуждает базовое приложение к ответу, как это было бы при выборе этого элемента с использованием традиционного устройства ввода.

[0007] Эта сущность изобретения обеспечена для введения выбора понятий в упрощенной форме, которые дополнительно описаны ниже в подробном описании. Эта сущность изобретения не предназначена для идентификации ключевых признаков или существенных признаков заявленного объекта изобретения, также не предназначена для использования в качестве помощи при определении объема заявленного объекта изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 показывает иллюстративное портативное вычислительное окружение, в котором пользователь взаимодействует с устройством, использующим экран касания для приема пользовательских вводов.

[0009] Фиг. 2 показывает различные иллюстративные конструктивные решения вычислительного устройства, в которых может быть использован экран касания.

[0010] Фиг. 3 показывает диаграмму состояния для традиционного устройства ввода мыши.

[0011] Фиг. 4 показывает диаграмму состояния для традиционного устройства ввода экрана ввода касанием.

[0012] Фиг. 5 показывает один пример диаграммы состояния для устройства ввода с экраном ввода касанием с 3 состояниями.

[0013] Фиг. 6 показывает палец пользователя, касающийся экрана ввода касанием, который представляет меню опций.

[0014] Фиг. 7 показывает палец пользователя на Фиг. 6, касающийся опции, обозначенной «Scatter View» (Просмотр Разброса).

[0015] Фиг. 8 показывает палец, касающийся экрана ввода касанием, показанного на Фиг. 6-7, который побуждает круг к представлению на экране ввода касанием, центрированным относительно положения, где палец создает контакт с экраном.

[0016] Фиг. 9 показывает второй палец, касающийся экрана ввода касанием, показанного на Фиг. 8, чтобы активировать выбранный графический элемент пользовательского интерфейса.

[0017] Фиг. 10 - иллюстративная архитектура, которая показывает функциональные компоненты, которые могут быть установлены на вычислительном устройстве, которое использует экран касания для приема пользовательских вводов.

Подробное описание вариантов реализации

[0018] Фиг. 1 показывает иллюстративное портативное вычислительное окружение 100, в котором пользователь 102 взаимодействует с устройством 105, с использованием экрана 110 ввода касанием для приема пользовательских вводов. Устройство 105, как показано на фиг.1, обычно конфигурируется как портативная компьютерная платформа или информационное оборудование, такое как мобильный телефон, интеллектуальный телефон, карманный персональный компьютер, ультра-мобильный ПК (персональный компьютер), карманное устройство игр, персональный медиа-плейер, и т.п.

Как правило, экран 110 ввода касанием собирают из компонента датчика касания, который сконструирован на компоненте отображения. Компонент отображения отображает изображения способом, подобно типичному монитору на PC или переносному компьютеру. Во многих приложениях устройство 105 будет использовать жидкокристаллическое устройство отображения («ЖК-монитор») из-за его легкого веса, тонкости и низкой цены. Однако, в альтернативных применениях, могут быть использованы другие традиционные технологии отображения, включающие в себя, например, электронно-лучевые трубки («ЭЛТ»), плазменные экраны и электролюминесцентные экраны.

[0019] Компонент датчика касания установлен поверх компонента отображения. Датчик касания прозрачен, так что отображение может быть видно через него. Много различных типов технологий датчика касания являются известными и могут быть применены как подходящие, чтобы соответствовать потребностям конкретной реализации. Они включают в себя резистивную, емкостную, ближнего поля, оптическую визуализацию, с измерителем деформаций, с дисперсионным сигналом, с распознаванием акустического импульса, инфракрасную и поверхностную акустико-волновую технологии, среди других. Некоторые современные экраны ввода касанием могут различить среди многократных, единовременные точки касания и/или являются чувствительными к давлению. Взаимодействие с экраном 110 ввода касанием, как правило, выполняется с использованием пальцев или больших пальцев или для неемкостного типа датчиков касания, также может быть использовано перо.

[0020] На Фиг. 2 показаны другие иллюстративные конструктивные решения, в которых может использоваться вычислительное устройство, включающие в себя настольные компьютеры 1301, ноутбуки 1302, планшетные компьютеры 1303, портативные компьютеры 1304, карманные персональные помощники 1305, медиа-плееры 1306, мобильные телефоны 1307, и т.п. Кроме того, компьютер может быть комбинацией этих типов, например, устройство, которое является комбинацией карманного персонального компьютера, медиа-плеера и мобильного телефона.

[0021] В то время как многие конструктивные решения, показанные на фиг. 1 и 2 являются портативными, настоящая компоновка может быть также использована в любом стационарном вычислительном устройстве, где используются экраны ввода касанием. Эти устройства включают в себя, например, банковские автоматы («ATM»), терминалы торговых точек («POS») или киоски самообслуживания и т.п., также используются авиакомпаниями, банками, ресторанами, и розничными учреждениями, чтобы дать возможность пользователям осуществлять запросы, самим обслуживать выполнение подсчета стоимости всех покупок и получения чека или завершать другие типы сделок. Также рассмотрены промышленные, медицинские, и другие приложения, в которых используются экраны ввода касанием, например, для управления машинами или оборудованием, размещения заказов, управления инвентарем, и т.д. Экраны ввода касанием также становятся все более распространенными в автомобилях для управления подсистемами, такими как отопление, вентиляция и кондиционирование воздуха («HVAC»), развлечения и навигация. Новые поверхностные компьютерные продукты, в частности, Microsoft Surface^TM корпорации Microsoft Corporation также могут быть приспособлены для использования с настоящим устройством ввода.

[0022] Чтобы облегчить понимание способов, методов и систем, описанных в настоящем документе, может быть полезно сравнить операцию обычной мыши с традиционным устройством ввода с экраном ввода касанием, используя диаграммы состояния для моделирования их функциональности.

[0023] Во-первых, когда мышь находится вне ее отслеживаемого диапазона (так происходит, когда механическая мышь оторвана от поверхности), мышь находится в состоянии 0, которое может быть упомянуто как вне диапазона. Далее, рассмотрим мышь, которая находится в пределах ее отслеживаемого диапазона, но никакая ее кнопка не нажата. Это состояние может быть упомянуто как слежение, которое описывает состояние, в котором курсор или указатель, возникающие на экране, следуют за перемещением мыши. Состояние слежения может быть упомянуто как состояние 1. В состоянии слежения курсор или указатель могут быть позиционированы на любом желаемом графическом элементе пользовательского интерфейса посредством перемещения мыши. Мышь может также осуществлять операцию во втором состоянии (упомянутом как состояние 2), когда кнопка нажата. В этом состоянии, которое может быть упомянуто как протягивание, графические элементы пользовательского интерфейса или объекты перемещаются («протягиваются») на устройстве отображения так, что они следуют за перемещением мыши. Следует отметить, что действие выбора значка может быть рассмотрено как подсостояние состояния протягивания, поскольку выбор влечет за собой нажатие и отпускание кнопки.

[0024] Фиг. 3 показывает диаграмму состояния для мыши, описанную выше. В состоянии 0 мышь находится вне диапазона, и в состоянии 1 она находится в состоянии слежения. Мышь может входить в состояние 1 из состояния 0, посредством ее приведения обратно в диапазон. В случае механической мыши это влечет за собой возвращение мыши на поверхность, такую как коврик для мыши. Мышь может войти в состояние 2 из состояния 1, посредством нажатия («щелчком») кнопки. Мышь может быть также возвращена в состояние 1 из состояния 2, отпусканием кнопки.

[0025] Фиг. 4 показывает диаграмму состояния для традиционного устройства ввода с экраном ввода касанием, которое, как предполагается, способно чувствовать только один бит давления, а именно, касание или без касания. В то время как мышь имеет три состояния, устройство ввода с экраном ввода касанием имеет только два состояния, которые соответствуют состоянию 0 (вне диапазона) и состоянию 2 (протягивание). То есть, традиционное устройство ввода с экраном ввода касанием не имеет отслеживаемого состояния.

[0026] Отсутствие отслеживаемого состояния в традиционном устройстве ввода с экраном ввода касанием может быть преодолено зрячими пользователями, потому что они способны визуально судить о совмещении их пальца или пера с желаемым графическим элементом пользовательского интерфейса, возникающим на экране, до контакта с ним. Пользователи со слабым зрением, однако, не имеют средства для проверки воздействия касания экрана до установления контакта с ним, к этому времени базовое приложение уже будет действовать в ответ на этот контакт.

[0027] Чтобы преодолеть это ограничение, обеспечено устройство ввода с экраном ввода касанием, которое имитирует устройство ввода с 3 состояниями, такое как мышь. Дополнительное состояние используется для предварительного просмотра эффекта входа в состояние 2 при касании экрана. В этом состоянии предварительного просмотра касание графического элемента пользовательского интерфейса на экране не побуждает к действию, ассоциированному с этим элементом, которое должно быть выполнено. Вернее, когда экрана касаются во время состояния предварительного просмотра, пользователю обеспечивают аудио метки, указывающие, какое действие произошло бы, если устройство ввода с экраном ввода касанием было бы в состоянии 2.

[0028] Фиг. 5 показывает один пример диаграммы состояния для устройства ввода с экраном ввода касанием с 3 состояниями. Состояния 0 и 2 соответствуют состояниям 0 и 2, показанным на фиг. 4. Следует отметить, однако, что в целях обобщения состояние 2 на фиг. 5, упоминается как состояние касания, которое может включать в себя действия, такие как протягивание и выбор графического элемента пользовательского интерфейса, к которому выполнено касание. Например, второе состояние может позволить графическому элементу пользовательского интерфейса быть протянутым на экране ввода касанием в ответ на перемещение первого касания вдоль экрана ввода касанием. В дополнение к этим двум состояниям, новое состояние, состояние 1, также обеспечено, которое в некоторых реализациях может упоминаться как состояние предварительного просмотра аудио. Состояние предварительного просмотра аудио может быть введено из состояния вне диапазона (состояние 0), касанием экрана с помощью одного пальца или пера. По мере того, как во время этого состояния осуществляют контакт с различными графическими элементами пользовательского интерфейса, обеспечивают аудио метку, описывающую функцию элемента, с которым осуществляют контакт. Например, как показано на фиг. 6, палец пользователя принимают посредством экрана ввода касанием, который используют с компьютерным продуктом Microsoft Surface^TM. Палец касается экрана, который представляет меню 205 опций. В результате приема пальца на экране ввода касанием генерируется круг 210 на экране ввода касанием. На фиг. 7 палец касается опции, обозначенной «Scatter View». В ответ на касание генерируется аудио метка, которая сообщает «Просмотр Разброса».

[0029] Как только пользователь определил положение графического элемента пользовательского интерфейса, который он или она желает выбрать, пользователь может войти в состояние 2, посредством размещения второго пальца или пера на экране ввода касанием, в то время как первый палец или перо поддерживает контакт с элементом. Таким способом желаемый графический элемент пользовательского интерфейса может быть активирован. То есть, перевод экрана ввода касанием во второе состояние, посредством установки контакта со вторым пальцем или пером, побуждает базовое приложение к ответу, как это было бы при выборе элемента с использованием традиционного устройства ввода.

[0030] Как указано на фиг. 5, пользователь может выйти из второго состояния, отрывая второй палец или перо от экрана ввода касанием, что возвращает экран в состояние предварительного просмотра аудио. То есть, обнаружение отсутствия второго пальца или пера, возвращает экран в состояние предварительного просмотра аудио.

[0031] В некоторых реализациях в состоянии касания может быть осуществлен вход из состояния предварительного просмотра аудио, посредством размещения второго пальца или пера в любом месте на экране или, как вариант, на заранее заданном участке экрана. В других реализациях пользователь устанавливает контакт с экраном в непосредственной близости с первым пальцем или пером. Например, в некоторых случаях второй палец или перо устанавливает контакт в пределах заранее заданного расстояния от первого пальца или пера. Один такой пример показан на фиг. 8. В этом примере круг 210 представлен на экране ввода касанием, центрированным относительно положения, где первый палец или перо устанавливает контакт с экраном, чтобы войти в состояние касания. Палец контактирует с прямоугольником 220, обозначенный как «Large Item» (Большой Элемент). После касания прямоугольника 220 пользователю представляют аудио метку «Большой Элемент». Чтобы войти в состояние касания, пользователь использует второй палец или перо для установления контакта с экраном в пределах круга 210, который отображен. На фиг. 9. показано это устройство ввода в состоянии касания. Второй палец приводит к образованию круга 230, который, как показано, перекрывает круг 210.

[0032] Фиг. 10 - иллюстративная архитектура 400, которая показывает функциональные компоненты, которые могут быть установлены на вычислительном устройстве, которое использует экран ввода касанием для приема пользовательских вводов. Функциональные компоненты являются реализуемыми в качестве альтернативы с помощью программного обеспечения, аппаратного обеспечения, программно-аппаратного обеспечения или различных комбинаций программного обеспечения, аппаратного обеспечения и программно-аппаратного обеспечения. Например, функциональные компоненты в иллюстративной архитектуре 404 могут быть созданы во время периода прогона через исполнение инструкций, хранимых в памяти, процессором.

[0033] Ведущее приложение 407, как правило, используется для обеспечения конкретной желаемой функциональности. Однако, в некоторых случаях, признаки и функции, реализуемые ведущим приложением 407, в качестве альтернативы могут быть обеспечены операционной системой устройства или межплатформенным программным обеспечением. Например, операции файловой системы и ввод посредством экрана ввода касанием могут быть поддержаны в качестве функций основной операционной системы в некоторых реализациях.

[0034] Компонент 420 предварительного просмотра аудио выполнен с возможностью предоставления различных событий ввода ведущему приложению 407 и функционирует как посредник между ведущим приложением и аппаратно-зависимыми контроллерами ввода. Эти контроллеры включают в себя: контроллер 425 экрана ввода касанием, контроллер 430 аудио и, возможно, другие контроллеры 428 ввода (например, контроллер клавиатуры), которые могут быть, в основном, реализованы как драйверы устройства в программном обеспечении. Контроллер 425 экрана ввода касанием взаимодействует с экраном ввода касанием, который абстрагируется в одном слое 440 аппаратного обеспечения на фиг.11. Среди других функций, контроллер 425 экрана ввода касанием выполнен с возможностью сбора данных, указывающих координаты касания и/или давления, приложенного к экрану касания и отправки собранных данных назад компоненту 420 предварительного просмотра аудио, как правило, в виде событий ввода.

[0035] Таким образом, компонент 420 предварительного просмотра аудио скомпонован с возможностью приема событий ввода, например физических (абсолютных) координат от контроллера 425 экрана ввода касанием. Характер событий ввода определяет состояние экрана ввода касанием. То есть, способ, которым пользователь осуществляет контакт с экраном с помощью одного или двух пальцев или перьев, определяет, находится ли экран вне диапазона, в предварительном просмотре аудио или состоянии касания. В состоянии предварительного просмотра компонент 420 предварительного просмотра аудио затем формулирует соответствующие запросы ведущему приложению, чтобы получить информацию относительно функциональности, выполняемой графическим элементом пользовательского интерфейса, с которым выполнено касание или установлен контакт. Например, если ведущее приложение 407 делает возможным программный доступ, компонент 420 предварительного просмотра аудио может извлекать данные ведущему приложению 407, который идентифицирует графический элемент пользовательского интерфейса, который пользователь выбрал, либо в состоянии предварительного просмотра аудио, либо в состоянии касания. Если компонент 420 предварительного просмотра аудио не может осуществлять программный доступ к содержимому ведущего приложения 407, ведущая программа, возможно, должна быть записана для включения соответствующих API, которые могут предоставить необходимую информацию компоненту 420 предварительного просмотра аудио. Извлеченные данные, как правило, в виде текста, могут подвергаться преобразованию текста в речь, используя конвертер текста в речь или модуль, к которому осуществлен доступ посредством компонента 420 предварительного просмотра аудио. В качестве альтернативы, извлеченные данные могут быть использованы для генерирования аудио данных, которые указывают функцию, выполняемую посредством активирования графического элемента пользовательского интерфейса, к которому выполнено касание или установлен контакт. Например, в некоторых случаях различимый тон может быть использован для представления часто используемых графических элементов пользовательского интерфейса, таких как «сохранить», «закрыть», и т.п. Компонент 420 предварительного просмотра аудио может затем предоставить аудио данные контроллеру 434 аудио, который может отправлять управляющий сигнал генератору аудио в уровень 440 аппаратного обеспечения так, что рендеринг аудио может быть осуществлен.

[0036] Используемые в этом приложении термины «компонент» и «система» и т.п. предназначены для отсылки к связанному с компьютером объекту, либо аппаратному обеспечению, комбинации аппаратного обеспечения и программного обеспечения, программному обеспечению, либо программному обеспечению при выполнении. Например, компонентом может быть, но без ограничения этим, процесс, выполняемый в процессоре, процессор, объект, экземпляр, исполняемый файл, поток управления, программа и/или компьютер. Посредством иллюстрации, и приложение, выполняемое на компьютере, и компьютер могут являться компонентом. Один или более компонентов могут постоянно находиться в пределах процесса и/или потока управления и компонент может быть локализован на одном компьютере и/или распределен между двумя или более компьютерами.

[0037] Кроме того, заявленный объект изобретения может быть реализован в качестве способа, устройства или изделия производства с использованием стандартных методов программирования и/или машиностроения для создания программного обеспечения, встроенного программного обеспечения, аппаратного обеспечения или любой их комбинации для управления компьютером для реализации раскрытого объекта изобретения. Термин «изделие производства», использованный в настоящем документе, предназначен, чтобы охватить машиночитаемую компьютерную программу, доступную с любого считываемого компьютером устройства или носителя данных. Например, считываемый компьютером носитель данных может включать в себя, но без ограничения, магнитные устройства хранения данных (например, жесткий диск, дискета, магнитные полосы...), оптические диски (например, компакт-диск (CD), цифровой универсальный диск (DVD)...), смарт-карты и устройства флэш-памяти (например, карта, накопитель, ключевой диск...). Конечно, специалисты в данной области техники признают, что много модификаций могут быть сделаны для этой конфигурации, не отступая от объема или сущности заявленного объекта изобретения.

[0038] Хотя объект изобретения был описан на языке, характерном для структурных признаков и/или методологических действий, следует понимать, что объект изобретения, определенный в приложенной формуле изобретения, не обязательно ограничен конкретными признаками или действиями, описанными выше. Наоборот, конкретные признаки или действия, описанные выше, раскрыты в качестве примера форм реализации формулы изобретения.