КОНТЕКСТНЫЕ ДЕЙСТВИЯ В ГОЛОСОВОМ ПОЛЬЗОВАТЕЛЬСКОМ ИНТЕРФЕЙСЕ

Уровень техники

[0001] Компьютерные системы широко используются. Некоторые такие компьютерные системы развертываются на устройствах, которые включают в себя настольные компьютеры, переносные компьютеры, планшетные компьютеры, смартфоны, смартфоны с большими экранами (например, фаблеты) и множество других мобильных устройств и других вычислительных устройств.

[0002] Довольно часто пользователь работает с несколькими различными вычислительными устройствами. Например, пользователь может иметь настольный компьютер на работе и другой компьютер (к примеру, переносной компьютер) дома. Пользователь также может иметь мобильное устройство (к примеру, смартфон), которое пользователь применяет для рабочего и для личного пользования. Пользователь также может иметь другие устройства, которые используются как для профессиональной, так и для персональной работы.

[0003] Помимо этого, имеется множество различных местоположений, в которых пользователь может формировать и сохранять релевантный контент. Например, пользователь может формировать и сохранять контент локально на устройстве (к примеру, на смартфоне, переносном компьютере, настольном компьютере и т.д.). В клиент-серверном окружении, пользователь может формировать и сохранять информацию на сервере. Пользователь также может работать в окружениях, в которых предусмотрено несколько различных серверов, и пользователь может формировать и сохранять информацию на любых из этих серверов. Аналогично, пользователь может использовать одну или более облачных услуг, таких как облачная система хранения или другие облачные услуги. Если да, пользователь также может формировать и сохранять контент на облаке.

[0004] Чтобы находить релевантный контент, зачастую выясняется, что пользователь просматривает множество различных файлов для нахождения конкретного документа или файла, который он хочет найти. Аналогично, если пользователь находится на совещании и хочет совместно использовать документ с другими на совещании, это обычно влечет за собой нахождение пользователем документа самостоятельно, идентификацию всех различных людей на совещании, идентификацию электронных почтовых псевдонимов для всех этих людей, составление электронного почтового сообщения со всей вышеуказанной информацией, затем вложение документа и отправку его этим людям.

[0005] Эти текущие процессы для нахождения и обеспечения взаимодействия с контентом являются неудобными и длительными. Помимо этого, особенно для устройств с относительно небольшим экраном, таких как смартфоны, они могут быть подвержены ошибкам.

[0006] Вышеприведенное пояснение предоставлено просто в качестве общей исходной информации и не имеет намерение использования в качестве помощи при определении объема заявленного изобретения.

Сущность изобретения

[0007] Вычислительное устройство принимает вводы голосовых команд от пользователя. Устройство получает результат обработки текстов на естественном языке на основе ввода голосовых команд. Результат включает в себя намерение и набор аргументов. Устройство также получает множество различных типов контекстной информации. Действие идентифицируется на основе намерения, аргументов и контекстной информации, и устройство затем предлагает действие посредством отображения выбираемого пользователем механизма ввода, который может активироваться пользователем для выполнения этого действия. Устройство также может автоматически выполнять данное действие.

[0008] Это краткое изложение сущности изобретения приведено для введения в упрощенной форме подборки концепций, которые дополнительно описаны ниже в подробном описании. Данное краткое изложение сущности изобретения не имеет намерение идентифицировать ключевые или важнейшие признаки заявленного изобретения, а также не имеет намерение использоваться в качестве помощи при определении объема заявленного изобретения. Заявленное изобретение не ограничивается реализациями, которые устраняют все недостатки, отмеченные в разделе "Уровень техники".

Краткое описание чертежей

[0009] Фиг. 1A и 1B (совместно упоминаемые в данном документе в качестве фиг. 1) показывают блок-схему одного примера архитектуры контекстных команд.

[0010] Фиг. 2 является блок-схемой одного примера результата обработки речи.

[0011] Фиг. 3A-3B (совместно упоминаемые в данном документе в качестве фиг. 3) показывают блок-схему последовательности операций способа, иллюстрирующую один пример работы архитектуры, показанной на фиг. 1, при идентификации релевантного контента на основе контекстной информации.

[0012] Фиг. 3C-3H показывают примеры экранов пользовательского интерфейса.

[0013] Фиг. 4 является блок-схемой последовательности операций способа, иллюстрирующей один пример работы архитектуры, показанной на фиг. 1, при выполнении обработки речи на сигнале речевого ввода.

[0014] Фиг. 4A-4H показывают примеры экранов пользовательского интерфейса.

[0015] Фиг. 5 является блок-схемой последовательности операций способа, иллюстрирующей один пример работы архитектуры, показанной на фиг. 1, при обработке вводов команд в уже открытом документе.

[0016] Фиг. 5A-5V показывают примеры экранов пользовательского интерфейса.

[0017] Фиг. 6A-6B (совместно упоминаемые в данном документе в качестве фиг. 6) показывают блок-схему последовательности операций способа, иллюстрирующую один пример работы архитектуры, показанной на фиг. 1, при выполнении процесса быстрого запуска.

[0018] Фиг. 6C-6H показывают различные примеры экранов пользовательского интерфейса.

[0019] Фиг. 7 является блок-схемой одного примера, показывающей некоторые части архитектуры, показанной на фиг. 1, в удаленном серверном окружении.

[0020] Фиг. 8 является блок-схемой, показывающей некоторые части архитектуры, проиллюстрированной на фиг. 1 в клиент-серверном окружении.

[0021] Фиг. 9 является блок-схемой, показывающей один пример частей архитектуры, проиллюстрированной на фиг. 1, расположенной в архитектуре облачных вычислений.

[0022] Фиг. 10-12 показывают различные примеры мобильных устройств.

[0023] Фиг. 13 является блок-схемой одного примера вычислительной системы, которая может использоваться в различных архитектурах на предыдущих чертежах.

Подробное описание изобретения

[0024] Фиг. 1A и 1B (совместно упоминаемые в данном документе в качестве фиг. 1) показывают блок-схему одного примера архитектуры 100 контекстных команд. Архитектура 100 иллюстративно включает в себя систему 102 обработки контекстных действий, которая взаимодействует с системой 104 обработки лингвистической информации, и набор источников 106, которые иллюстративно включают в себя множество различных источников 108-110 информации. Источники 108-110 информации непосредственно могут представлять собой такие источники информации, как хранилище последних используемых документов, электронные почтовые сообщения, контакты или люди, информация расписания (к примеру, информация календаря), документы либо другая информация в системе совместной работы или создания презентаций, информация устройства, информация местоположения и широкий спектр другой информации.

[0025] Следует отметить, что все элементы, показанные на фиг. 1, могут находиться на одном устройстве либо они могут быть распределены между множеством различных устройств или местоположений. Ниже описывается ряд других примеров означенного относительно фиг. 7-9. В примере, показанном на фиг. 1, система 102 обработки контекстных действий иллюстративно принимает команды, вводимые пользователем 112, и интерпретирует их с учетом множества различной контекстной информации. Она затем может формировать экран, такой как механизмы 114 пользовательского интерфейса, для взаимодействия пользователя 112. Пользователь 112 иллюстративно взаимодействует с механизмами 114 пользовательского интерфейса, чтобы управлять и манипулировать системой 102. В одном примере, механизмы 114 могут включать в себя механизмы экрана пользовательского интерфейса, голосовые механизмы, которые активируются посредством голосовых вводов, кнопки, клавишные панели и т.д. или широкий спектр других механизмов.

[0026] В примере, показанном на фиг. 1, система 102 иллюстративно включает в себя поисковую систему 116, которая выполняет поиск информации в источниках 108-110, формирователь 118 действий, который формирует действия, когда пользователь уже находится внутри документа, формирователь 120 действий, который формирует действия, когда пользователь не взаимодействует в документе, систему 122 идентификации контекстов, управляемые системы 124, множество других датчиков 126, процессор 128, компонент 130 пользовательского интерфейса, хранилище 132 пользовательских показателей, компонент 134 обработки пользовательских показателей, и она также может включать в себя другие элементы 136.

[0027] В примере архитектуры 100, показанной на фиг. 1, система 104 обработки лингвистической информации иллюстративно включает в себя систему 138 распознавания речи и систему 140 понимания естественного языка. Конечно, также предполагается, что одна или обе из этих систем 138, 140 также могут представлять собой часть системы 104 обработки контекстных действий, и они показаны отдельно только для примера.

[0028] Система 138 распознавания речи может представлять собой любую из широкого спектра различных типов систем распознавания речи, которые принимают речевой ввод (такой как высказывание 142, которое может формироваться посредством микрофона в ответ на то, что пользователь 112 говорит в микрофон) и формируют контекстное представление высказывания 142. Например, система 138 может работать с использованием акустических моделей и языковых моделей в скрытом марковском процессе. Она также может работать с использованием нейронного сетевого распознавания или других типов распознавания.

[0029] Система 140 понимания естественного языка иллюстративно принимает текстовое представление высказывания 142 и формирует его интерпретацию. В одном примере, система 140 включает в себя множество различных грамматических основ 143-144, которые имеют правила, которые активируются на основе конкретных слов, идентифицированных в высказывании 142. Система 140 понимания естественного языка формирует интерпретацию посредством идентификации намерения и различных аргументов в высказывании 142. Намерение может представлять собой команду, требуемую пользователем 112, либо другой тип действия или задачи, на выполнение которой нацелен пользователь 112. Аргументы включают в себя информацию дескриптора, которая может идентифицировать конкретный контент, для которого должно выполняться действие. Система 104 обработки лингвистической информации иллюстративно возвращает текстовое представление, намерение и аргументы, идентифицированные из высказывания 142, в качестве результата 146 обработки лингвистической информации. Ниже подробнее описывается результат относительно фиг. 2.

[0030] Перед более подробным описанием общей работы архитектуры 100, сначала предоставляется краткое описание некоторых элементов в архитектуре 100 и их соответствующей работы. Поисковая система 116 иллюстративно включает в себя множество различных зависящих от конкретного источника компонентов 148-150 поиска. В одном примере, каждый компонент 148-150 сконфигурирован с возможностью осуществлять поиск в конкретном источнике 108-110 информации. Например, если источник 108 информации представляет собой источник документов, создаваемых в текстовом процессоре, то компонент 148 поиска может быть сконфигурирован с возможностью осуществлять поиск в документах, создаваемых в текстовом процессоре, в источнике 108. Если источник 110 информации представляет собой почтовую систему, которая содержит почтовые сообщения и получателей и т.д., то компонент поиска 150 может быть сконфигурирован с возможностью осуществлять поиск в источнике 110 информации, который содержит почтовую систему. Если источник 108-110 представляет собой календарь или каталог контактов, может использоваться соответствующий компонент 148-150 поиска.

[0031] В другом примере, компонент 152 контекстного перекрестного поиска по источникам, либо непосредственно, либо или посредством управления компонентами 148-150, может идентифицировать (на основе намерения и аргументов в результате, возвращаемом посредством системы 104) множество различных источников 108-110 информации, в которых следует выполнять поиск на предмет релевантного контента, и может выполнять поиск в этих источниках 108-110 (или управлять соответствующими компонентами 148-150, чтобы выполнять поиск в них) с тем, чтобы формировать набор результатов перекрестного поиска по источникам. Формирователь 154 количественных показателей релевантности иллюстративно получает широкий спектр различной контекстной информации и формирует количественный показатель релевантности для каждого из элементов контента, возвращаемого посредством поисковой системы 116. Количественный показатель релевантности может использоваться для того, чтобы формировать ранжированный список контента (или ссылок на этот контент), в числе прочего. Поисковая система 116 также может включать в себя другие элементы 156.

[0032] Система 122 идентификации контекстов иллюстративно включает в себя множество различных детекторов контекстов, каждый из которых обнаруживает различный тип контекстной информации. Например, детектор 158 местоположения может иллюстративно представлять собой систему позиционирования (к примеру, GPS-датчик или другую систему идентификации местоположения), которая формирует вывод, указывающий текущее местоположение устройства, которое включает в себя систему 102 обработки контекстных действий (и используемый пользователем). Детектор 160 устройства получает контекстную информацию относительно устройства, на котором она находится (или которое использует пользователь 112), к примеру, то, представляет оно собой мобильное устройство, настольный компьютер и т.д. Бесконтактный детектор 162 приближения обнаруживает близость устройства (например, устройство носится пользователем 112) к другим элементам, к примеру, к другим людям, к месту работы пользователя, к местоположению дома пользователя и т.д. Детектор 164 персональных идентификационных данных иллюстративно обнаруживает персональные идентификационные данные пользователя 112 (при условии, что пользователь выбирает такую опцию или иным образом согласен на этот тип обнаружения). Детектор 165 календарных событий может обнаруживать текущее время дня, неделю, месяц, налоговый период, год и т.д. Он также может иллюстративно идентифицировать предыдущие, текущие или будущие элементы на календаре пользователя. Это может включать в себя, например, когда пользователь находится на совещании, участников совещания, документы, представленные на совещании, и т.д. Эта информация может предоставляться в формирователь 154 количественных показателей релевантности либо она может отдельно формироваться. Детектор 166 открытых приложений обнаруживает такую информацию, как то, какие приложения в данный момент (или недавно) открыты на устройстве, используемом пользователем 112, или на других устройствах, используемых пользователем. Система 122 идентификации контекстов также может включать в себя широкий спектр других детекторов 168, которые обнаруживают широкий спектр другой контекстной информации.

[0033] Формирователь 120 действий иллюстративно включает в себя средство 169 идентификации действий, который идентифицирует действия, которые следует предпринимать, на основе контекстной информации и на основе намерения и аргументов. Формирователь 120 действий также включает в себя набор компонентов, которые могут выполнять действия, непосредственно или с использованием управляемых систем 124, на основе контекстной информации, намерения и аргументов, выражаемых пользователем 112 в результате 146. Например, высказывание 142 может представлять собой "Отправить текущую спецификацию участникам совещания, на котором я нахожусь". В этом случае, намерение, выражаемое в высказывании 142, должно включать в себя ряд этапов, к примеру, для того чтобы идентифицировать "текущую спецификацию", вложить ее в почтовое сообщение (либо вложить или иным способом включить ссылку на документ), адресовать почтовое сообщение участникам "текущего совещания", на котором находится пользователь 112, возможно с регулированием прав или разрешений для управления доступом получателя, и затем отправлять это почтовое сообщение участникам. Таким образом, формирователь 120 действий включает в себя такие элементы, как почтовый компонент 170, который может управлять почтовой системой 172 в управляемых системах 124. Компонент 174 совместного использования может иллюстративно выполнять действия, чтобы совместно использовать контент в различных совместно используемых системах 176 в управляемых системах 124. Например, имеется вероятность того, что компонент 174 совместного использования публикует элемент контента на веб-сайте социальной сети или веб-сайте рабочей сети другого пользователя, совместно использует его с рабочей группой на веб-сайте для совместной работы или публикует его в блоге и т.д. Формирователь 120 действий также может включать в себя такие элементы, как компонент 178 управления напоминаниями, который управляет системой 180 напоминаний в управляемых системах 124. Например, имеется вероятность того, что высказывание 142 указывает то, что пользователь 112 хочет, чтобы ему отправлялось напоминание при определенных обстоятельствах. В этом случае, намерение состоит в том, чтобы отправлять напоминание, и аргументы идентифицируют конкретные обстоятельства, при которых должно отправляться напоминание. Компонент 178 управления напоминаниями в силу этого определяет означенное и выполняет действия с использованием системы 180 напоминаний, с тем чтобы отправлять требуемое напоминание. Компонент 182 запуска/отображения может управлять системой 184 создания презентаций или широким спектром других приложений таким образом, что он может запускать требуемые приложения и формировать один или более требуемых экранов на основе намерения, принимаемого в результате 146. Различные компоненты в формирователе 120 также могут управлять такими вещами, как система 188 календаря. Например, элементы в формирователе 120 действий могут вставлять встречу для пользователя 112 или отправлять приглашение на совещание другим приглашенным на совещание в системе 188 календаря. Помимо этого, если участники совещания должны быть известны (к примеру, если пользователь 112 хочет отправлять почтовое сообщение всем участникам совещания), элементы в формирователе 120 действий могут взаимодействовать с системой 188 календаря, чтобы идентифицировать участников или приглашенных на данном совещании либо идентифицировать другую информацию (такую как презентации, представленные на данном совещании и т.д.) и использовать эту информацию при выполнении действий. Конечно, формирователь 120 действий может включать в себя широкий спектр других компонентов 190, которые управляют широким спектром других управляемых систем 192, чтобы выполнять требуемые действия.

[0034] Формирователь 118 действий иллюстративно включает в себя набор компонентов и детекторов, которые могут обнаруживать контекст в уже открытом документе и выполнять действия или предлагать действия, на основе контекстной информации и на основе различных пользовательских вводов. Например, детектор 192 контекстов может обнаруживать контекст документа, который является открытым. Если документ представляет собой документ, создаваемый в текстовом процессоре, он может обнаруживать конкретную страницу, которая в данный момент отображается. Он также может обнаруживать широкий спектр других метаданных, таких как различные секции в документе, различные авторы или комментаторы для документа, различные даты изменения для документа, форматирование документа, разрешения для управления доступом и т.д. Компонент 194 выбора управляет взаимодействиями пользователем 112, которые указывают то, что пользователь хочет выбирать различные элементы в открытом документе. Навигационный компонент 196 управляет взаимодействиями навигации с документом. Компонент 198 идентификации команд идентифицирует поднабор команд, которые имеют соответствующие механизмы пользовательского ввода, которые отображаются пользователю, так что пользователь может быстро выполнять любой поднабор команд. Компонент 200 непрерывного разговора иллюстративно обрабатывает различные результаты 146 или другие вводы от пользователя 112 в контексте предыдущих команд, которые уже идентифицированы. Компонент 202 быстрого запуска управляет приложением, которое отображает документ в ходе запуска или начальной авторской разработки документа. Конечно, формирователь 118 действий также может включать в себя широкий спектр других элементов 204, которые могут использоваться для того, чтобы выполнять широкий спектр других действий.

[0035] Фиг. 2 показывает блок-схему одного примера результата 146 обработки, сформированного посредством системы 104 обработки лингвистической информации. Можно видеть, что результат 146 иллюстративно включает в себя средство 206 идентификации намерений, которое идентифицирует намерение, найденное в высказывании 142. Он также включает в себя набор аргументов 208-210, которые распознаны в высказывании 142. Помимо этого, результат 146 может включать в себя текстовое представление 212, сформированное из высказывания 142 посредством системы 138 распознавания речи. Он также может, конечно, включать в себя другие элементы 214.

[0036] Фиг. 3A и 3B (совместно упоминаемые в данном документе в качестве фиг. 3) иллюстрируют один пример работы системы 102 (и формирователя 154 количественных показателей релевантности) при идентификации элементов контента из источников 106 и их отображения для пользователя 112. Релевантность контента может определяться в любое требуемое время, к примеру, когда пользователь первый раз открывает или запускает систему 102, либо когда пользователь запрашивает то, что система 102 должна обновлять релевантность отображаемых документов, либо автоматически, например, на основе изменений контекстной информации. Система 102 в силу этого сначала определяет то, что наступает время определять то, какой релевантный контент должен раскрываться для пользователя. Это указывается посредством этапа 216. Когда наступает время идентифицировать релевантный контент, формирователь 154 количественных показателей релевантности может осуществлять доступ к любым настройкам пользователя или информации профиля, которые могут использоваться в вычислении релевантности. Это указывается посредством этапа 218. Например, имеется вероятность того, что пользователь предпочитает, чтобы определенный контент был показан первым или иным способом. Он также осуществляет доступ к системе 122 идентификации контекстов и идентифицирует пользовательский контекст. Это указывается посредством этапа 220. Например, детектор 164 персональных идентификационных данных может предоставлять персональные идентификационные данные пользователя 112 на основе информации 222 входа в учетную запись (также при условии, что пользователь согласен на это). Детектор 158 местоположения и детектор 160 устройства могут использоваться для того, чтобы определять то, находится пользователь 112 дома 224 или на работе 226, или в другом месте, и то, какое устройство(а) использует пользователь. Например, пользователь может осуществлять доступ к журналу тренировок каждый раз, когда он находится в спортзале. Даже если к документу, возможно, не осуществлен доступ в течение 24 часов, система опознает физическое присутствие пользователя в спортзале и использует его в вычислении релевантности.

[0037] Также может идентифицироваться другая пользовательская контекстная информация 228 (такая как шаблоны использования и т.д.). Например, может подходить время подачи налоговой декларации. Предыдущие налоговые декларации пользователя в силу этого не могут раскрываться как релевантные на основе только новизны или другой информации. Тем не менее, система распознает такой шаблон, что каждый год, в это время, пользователь осуществляет доступ к старым налоговым декларациям. Этот шаблон может использоваться в вычислении релевантности. Это представляет собой только один пример.

[0038] Формирователь 154 количественных показателей релевантности также может идентифицировать элементы контента, с которым недавно взаимодействовал пользователь. Это указывается посредством этапа 230. Например, имеется вероятность того, что один из источников 106 информации представляет собой список последних используемых документов или элементов контента. Формирователь 154 количественных показателей релевантности за счет этого может идентифицировать элементы из этого источника. Он может идентифицировать первые n (или пороговое число) элементов контента, как указано посредством этапа 232. Он может идентифицировать элементы контента в порядке новизны, как указано посредством этапа 234. Он может идентифицировать элементы контента, к которым наиболее часто осуществляется доступ пользователем, как указано посредством этапа 236, или другими людьми, которые связаны с пользователем, как указано посредством этапа 238. Например, документы могут иметь метаданные, которые задают то, кто осуществляет доступ к документам, и когда к ним осуществлен доступ. Если пользователь осуществляет доступ к информации с работы, и пользователь принадлежит одной или более рабочих групп, либо если пользователь находится в одной или более команд или имеет супервизора, эта информация может полностью получаться из различных источников 108-110 информации. Формирователь 154 количественных показателей релевантности также затем может идентифицировать различные последние открываемые (или наиболее часто открываемые) документы этими другими пользователями. Это представляет собой только один пример, и элементы контента, с которыми последними осуществлено взаимодействие, также могут идентифицироваться другими способами, и это указывается посредством этапа 240.

[0039] Формирователь 154 количественных показателей релевантности также может идентифицировать тип взаимодействия. Это указывается посредством этапа 242. Например, имеется вероятность того, что некоторые типы взаимодействия считаются более важными, чем другие. Таким образом, формирователь 154 может идентифицировать, когда взаимодействие заключается в том, чтобы редактировать элемент контента 244, чтобы просто открывать его 246, чтобы комментировать его 248, чтобы совместно использовать его 250, либо то, представляет собой или нет взаимодействие другой тип взаимодействия 252.

[0040] Формирователь 154 также может идентифицировать частоту различных типов взаимодействия пользователем 112 или другими пользователями. Это указывается посредством этапа 254.

[0041] Помимо этого, формирователь 154 может идентифицировать, какими являются взаимодействия относительно элементов календаря. Это указывается посредством этапа 256. Например, если пользователь всегда осуществляет доступ к определенному элементу контента на данном периодическом совещании, и эти совещание снова должно проводиться, формирователь 154 количественных показателей релевантности может определять то, что конкретный элемент контента является особенно релевантным в это время. Таким образом, формирователь 154 может определять то, взаимодействие с элементами контента осуществлено перед совещаниями 258, во время совещаний 260, после совещаний 262, относительно различных крайних сроков 264 (к примеру, непосредственно перед определенными типами крайних сроков), в течение свободного времени пользователя 266 или относительно других элементов календаря 268.

[0042] Формирователь 154 также может идентифицировать различных людей, связанных с пользователем 112, как указано посредством этапа 270. Например, система 122 идентификации может идентифицировать различных людей, которым часто передает сообщения пользователь 112. Это указывается посредством этапа 272. Она может идентифицировать различных людей, с которыми пользователь 112 часто находится на совещаниях, как указано посредством этапа 274. Она может идентифицировать людей, которые тесно связаны с пользователем 112 на диаграмме организационных взаимосвязей. Это указывается посредством этапа 276. Она может идентифицировать других пользователей, которые находятся в очень близком физическом расположении к пользователю 112, как указано посредством этапа 278. Она может идентифицировать различных людей, которые лично связаны с пользователем 112 (к примеру, из веб-сайтов социальных сетей в источниках 106 и т.д.), как указано посредством этапа 280. Она может идентифицировать людей, с которыми пользователь 112 является соавтором, как указано посредством этапа 282. Она может идентифицировать различные рабочие группы или социальные группы, или другие группы 284, членом которых является пользователь, и она также может идентифицировать других людей другими способами, и это указывается посредством этапа 286.

[0043] Формирователь 154 может использовать детектор 160 устройства для того, чтобы идентифицировать конкретное устройство, которое в данный момент использует пользователь 112. Это указывается посредством этапа 288. Например, он может определять то, использует пользователь телефон 290, планшетный компьютер 292, переносной компьютер 294, настольный компьютер 296 или другой тип устройства 298. Он также может определять или обнаруживать шаблоны при использовании устройства. Например, рабочие документы могут быть более релевантными на настольном компьютере, поскольку именно на нем пользователь обычно осуществляет доступ к ним. Могут быть предусмотрены другие документы (такие как электронная таблица для отслеживания расхода бензина), которые являются более релевантными на телефоне, поскольку они главным образом используются в телефоне.

[0044] При оценке релевантности различных элементов контента, формирователь 154 может использовать различные компоненты 148-152 поиска для того, чтобы идентифицировать местоположение хранения контента, в котором сохраняются элементы контента. Это указывается посредством этапа 300. Например, они могут сохраняться локально в локальном хранилище данных, как указано посредством этапа 302. Они могут сохраняться на сервере или иным способом удаленно, как указано посредством этапа 304. Они могут сохраняться в конкретной облачной службе 306 или в других местоположениях 308.

[0045] Формирователь 154 также может использовать другие датчики 126 для того, чтобы идентифицировать другие вводы 310 датчиков. Например, если другие датчики 126 включают в себя акселерометр, формирователь 154 может определять то, находится или нет пользователь 112 в данный момент в движении. Это указывается посредством этапа 312. Он также может определять погоду в месте, в котором находится пользователь 112, как указано посредством этапа 314, или это может включать в себя широкий спектр других вводов 316 датчиков.

[0046] Формирователь 154 количественных показателей релевантности затем вычисляет релевантность различных элементов контента, которые идентифицированы, на основе всей информации, которая получена. Это указывается посредством этапа 318. Например, каждому элементу контекстной или другой информации, которая получается относительно элемента контента, может назначаться значение. Вычисление релевантности может заключаться в простом агрегировании всех этих значений. Это указывается посредством этапа 320.

[0047] Также имеется вероятность того, что различные элементы информации считаются более или менее важными, чем другие. Следовательно, элементы информации могут взвешиваться на основе их важности, как указано посредством этапа 322. Взвешивание также может изменяться динамически на основе контекстной информации. Например, если пользователь находится на работе, то весовые коэффициенты могут задаваться одним способом. Если пользователь находится дома, весовые коэффициенты могут задаваться по-иному. Это представляет собой всего лишь один пример. Предусмотрен широкий спектр других типов вычислений, которые могут выполняться на основе релевантности и контекстной информации, которая получена. Это указывается посредством этапа 324.

[0048] Формирователь 154 количественных показателей релевантности затем может формировать ранжированный список релевантного контента. Это указывается посредством этапа 326. Также может быть предусмотрено несколько различных типов списков для каждого различного типа контента. Это указывается посредством этапа 328. Например, имеется вероятность того, что определенный тип контента представляет собой "презентацию" в системе создания презентаций (к примеру, в системе создания слайд-презентаций). Таким образом, наиболее релевантные слайд-презентации пользователю (с учетом различной контекстной информации) могут ранжироваться в порядке релевантности и раскрываться для пользователя в одной секции экрана. Тем не менее, имеется вероятность того, что другие типы контента включают в себя электронные почтовые сообщения или документы в форме электронных таблиц. Эти элементы контента могут ранжироваться на основе их релевантности, и ранжированный список для почтовых сообщений и ранжированный список для электронных таблиц могут раскрываться для пользователя в другой, отдельно прокручиваемой, части экрана пользовательского интерфейса. Это представляет собой только примеры, и ранжированный список релевантного контента также может формироваться другими способами, и это указывается посредством этапа 330.

[0049] Формирователь 154 затем использует компонент 130 пользовательского интерфейса, чтобы раскрывать релевантный контент. Это указывается посредством этапа 332. Например, он может раскрывать первые N элементов контента, как указано посредством этапа 334. Он может раскрывать релевантный контент и разделять его на устройстве отображения на основе типа контента. Это указывается посредством этапа 336. Он может отображать непосредственно контент, как указано посредством этапа 338, или ссылки (например, гиперссылки) на контент, как указано посредством этапа 340. Он также может использовать компоненты обобщения, чтобы формировать сводки релевантного контента и отображать эти сводки. Это указывается посредством этапа 342. Он также может раскрывать релевантный контент другими способами, и это указывается посредством этапа 344.

[0050] Система 102 затем может принимать пользовательское взаимодействие с элементами контента. Это указывается посредством этапа 346. Она затем выполняет действия на основе пользовательских взаимодействий. Это указывается посредством этапа 348, и ниже подробнее описывается ряд примеров пользовательских взаимодействий.

[0051] Тем не менее, сначала описывается ряд примеров экранов пользовательского интерфейса. Фиг. 3C и 3D показывают примеры того, как экраны пользовательского интерфейса могут выглядеть на телефоне 350 (или другом мобильном устройстве) и на планшетном компьютере 352 (или переносном компьютере). Можно видеть, что каждый из дисплеев иллюстративно включает в себя секцию 354 и 356 отображения контента, соответственно, которая отображает либо контент, либо ссылки на контент, который считается релевантным.

[0052] Дисплеи также включают в себя секцию 358 и 360 фильтрации, которая имеет набор выбираемых пользователем механизмов фильтрации, которые могут активироваться, чтобы фильтровать отображаемый контент. Например, текущий отображаемый контент фильтруется как "релевантный". Тем не менее, пользователь также может активировать механизм 362 "недавнего" пользовательского ввода, чтобы фильтровать отображаемый контент на основе того, насколько недавно к нему осуществлен доступ. Пользователь может активировать механизм 364 "частого" пользовательского ввода, чтобы фильтровать отображаемый контент на основе того, насколько часто с ним обеспечивается взаимодействие. Пользователь может активировать механизм 366 "избранного" пользовательского ввода, чтобы фильтровать отображаемый контент, на основе того, что пользователь считал избранным, и пользователь может активировать механизм 368 "обновляемого" пользовательского ввода, чтобы обновлять релевантный контент.

[0053] Фиг. 3E и 3F являются аналогичными фиг. 3C и 3D, за исключением того, что пользователь теперь активирует механизм 368 "обновляемого" пользовательского ввода. Фиг. 3G и 3H показывают то, что формирователь 154 количественных показателей релевантности принимает ввод, указывающий то, что пользователь хочет повторно вычислять или обновлять релевантность различных элементов контента. Например, это может заключаться в том, что пользователь переключает местоположения или сейчас находится на другом совещании (которая отличается от того, когда пользователь последний раз вычислял релевантность) и др. Фиг. 3G и 3H показывают то, что релевантный контент, который отображается, изменен, поскольку пользователь изменяет физические местоположения.

[0054] Например, в одном примере, формирователь 154 количественных показателей релевантности использует детектор 158 местоположения, чтобы обнаруживать то, что пользователь 112 теперь находится на работе, а не дома. Следовательно, релевантность различных элементов контента изменяется таким образом, что связанный с работой контент теперь является более релевантным и отображается выше в списке, чем персональный или связанный с домом контент.

[0055] Фиг. 4 является блок-схемой последовательности операций способа, иллюстрирующей один пример работы архитектуры 100 в обработке речевого ввода (или высказывания 142), принимаемого пользователем 112 в системе 102. Для целей настоящего пояснения предполагается, что устройство пользователя в данный момент отображает релевантный контент (к примеру, контент, показанный выше относительно фиг. 3A-3H).

[0056] Пользователь затем иллюстративно предоставляет ввод активации, указывающий то, что пользователь должен предоставлять голосовую команду. Альтернативно, устройство может всегда прослушивать и активироваться посредством конкретной голосовой команды. В качестве одного примера, пользователь может касаться сенсорного экрана отображения или иным способом запускать функциональность распознавания речи системы. Система 102 затем иллюстративно принимает пользовательский голосовой ввод на естественном языке (или высказывание 142). Это указывается посредством этапа 380 на фиг. 4. Например, она может приниматься в микрофоне на устройстве пользователя или иным способом. Система 102 затем предоставляет высказывание 142 в систему 104 обработки лингвистической информации. Следует отметить, что система 104 или части 138 и 140 системы 104 могут находиться локально на устройстве пользователя, на сервере, в облаке, в нескольких различных местах и т.д. Например, имеется вероятность того, что устройство пользователя имеет относительно небольшую и простую систему распознавания речи и систему понимания естественного языка, так что простые высказывания обрабатываются локально. Облако или сервер может иметь относительно большую и всеохватывающую систему распознавания речи и систему обработки естественного языка, так что сложные высказывания отправляются в облако. В другом примере, высказывания могут обрабатываться в обоих местах, и может использоваться результат с наибольшим количественным показателем доверия. Это указывается посредством этапа 384.

[0057] Система 138 распознавания речи формирует текстовое представление высказывания, как указано посредством этапа 382. После того, как текстовое представление формируется, система 140 понимания естественного языка идентифицирует намерение 386 в высказывании 142, на основе текстового представления. Кроме того, она также идентифицирует аргументы 388 из текстового представления. Она также может идентифицировать другую информацию, и это указывается посредством этапа 390.

[0058] Намерение иллюстративно соответствует действию, которое пользователь хочет выполнять. Например, пользователь может произносить такую фразу, как "Совместно использовать этот документ с Joe". В этом случае, система 140 понимания естественного языка идентифицирует слово "совместно использовать" в качестве действия или команды, которую, как хочет пользователь, должна выполнять система. В качестве примера, слово "совместно использовать" может активировать одно или более правил в различных грамматических основах 143-144. Эти правила могут активировать другие правила, каждое из которых имеют набор аргументов, которые должны согласовываться до того, как правило срабатывает. Когда текстовое представление совпадает с данным правилом, намерение для этого правила и различные аргументы для правила выводятся в качестве части результата 146, вместе с текстовым представлением.

[0059] Компонент 130 пользовательского интерфейса затем отображает текстовое представление пользователю, как указано посредством этапа 392. Средство идентификации 169 действий в формирователе 120 действий идентифицирует действия, которые следует предпринимать, на основе намерения, и он также может выполнять это на основе контекстной информации и аргументов. Это указывается посредством этапа 394. Например, он также может осуществлять доступ к набору правил 143-144. Правила иллюстративно соотносят намерение с заданным действием или набором действий. Это указывается посредством этапа 396.

[0060] Правила могут быть вложенными или размещаться в иерархической структуре или структуре зависимостей, чтобы выполнять задачу, которая требует нескольких различных команд или действий. Альтернативно, они могут ссылаться друг на друга или взаимодействовать другими способами. Это указывается посредством этапа 398. Например, отправка документа набору участников совещания требует нескольких различных действий. Во-первых, она требует нахождения документа. Она также требует нахождения набора участников. После этого она требует формирования почтового сообщения с этими участниками в качестве получателей. Далее она требует вложения найденного документа в почтовое сообщение и отправки почтового сообщения. Все эти действия или команды могут идентифицироваться через последовательность правил, которые являются активными на основе намерения, выражаемого в высказывании. Действия также могут идентифицироваться другими способами, и это указывается посредством этапа 400.

[0061] Поисковая система 116 затем идентифицирует элемент контента, для которого должны выполняться действия, на основе аргументов и контекстной информации. Это указывается посредством этапа 402. Например, если намерение состоит в том, чтобы отправлять почтовое сообщение с вложениями, аргументы иллюстративно идентифицируют вложение в почтовое сообщение и получателей почтового сообщения. Аргументы могут явно идентифицировать вложение и участников, либо они могут выполнять это неявным способом (к примеру, если вложение идентифицируется как "Спецификация, которую я изменил сегодня утром", либо если получатели идентифицируются в качестве "участников этого совещания"). В этом случае, поисковая система 116 иллюстративно выполняет поиск в различных источниках 106 информации для того, чтобы идентифицировать вложение, которое должно отправляться, а также получателей почтового сообщения. Поскольку она выполняет поиск в различных источниках 106 информации, она иллюстративно идентифицирует наиболее релевантные результаты поиска (к примеру, наиболее вероятных получателей, наиболее вероятные вложения и т.д.). При этом она может использовать формирователь количественных показателей релевантности для того, чтобы формировать количественный показатель релевантности для каждого идентифицированного элемента, либо она также может формировать релевантность или оценивать наиболее вероятных получателей и вложение другими способами. Рассмотрение релевантности указывается посредством этапа 404. Элемент контента, для которого должно выполняться действие, также может идентифицироваться другими способами 406.

[0062] После того, как формирователь 120 действий идентифицирует действие, которое должно предприниматься, и использует поисковую систему 116 для того, чтобы идентифицировать элементы контента, требуемые для того, чтобы выполнять действие, он иллюстративно использует один из компонентов в формирователе 120 действий, чтобы выполнять действие, как указано посредством этапа 408. Он может выполнять это посредством выполнения одного или более действий в одной из управляемых систем 124, к примеру, посредством вложения документа в почтовое сообщение в почтовой системе, отправки почтового сообщения и одновременного совместного использования документа в группе или на веб-сайте социальной сети и т.д. Выполнение нескольких действий указывается посредством этапа 410. Действия также могут выполняться другими способами, и это указывается посредством этапа 412.

[0063] Фиг. 4A-4H показывают различные примеры экранов пользовательского интерфейса, которые могут формироваться при выполнении команд на основе голосового ввода. Например, фиг. 4A и 4B показывает примеры того, как экраны пользовательского интерфейса могут располагаться на телефоне 350 и планшетном компьютере 352, соответственно. В проиллюстрированном примере, пользователь предоставляет голосовой ввод "Найдите мне документацию по продажам Contoso, которую я отправил на прошлой неделе Rob Young. Думаю, я обновил ее на прошлой неделе из дома". При этом пользователь сначала иллюстративно активирует механизм пользовательского ввода (к примеру, механизм 414), чтобы указывать системе 102, что пользователь собирается говорить высказывание. Высказывание захвачено и отправлено в систему 104 обработки лингвистической информации, в которой система 138 распознавания речи формирует его текстовое представление. Оно отображается на соответствующем экране пользовательского интерфейса, к примеру, на этапе 416 или 418, соответственно.

[0064] Фиг. 4C и 4D является аналогичным фиг. 4A и 4B, за исключением того, что можно видеть, что поисковая система 116 идентифицирует ряд различных релевантных элементов контента, которые являются релевантными для высказывания пользователя. Для этого, формирователь 120 действий сначала принимает индикатор того, что намерение в высказывании состоит в том, чтобы "Найти" документ. Он затем использует поисковую систему 116, чтобы находить документы, релевантные для запроса пользователя. При этом, он использует такие аргументы, как "документация по продажам Contoso", "прошлая неделя", "Rob Young" и "дома", для того чтобы идентифицировать релевантные документы. Экраны, показанные на фиг. 4C и 4D, указывают то, что отображаемые элементы контента представляют собой то, что найдено в ответ на запрос пользователя. Они иллюстративно отображаются в порядке релевантности для запроса пользователя, как определено либо посредством формирователя 154 количественных показателей релевантности, либо другими способами. Компонент 182 отображения затем формирует экраны пользовательского интерфейса на телефоне 350 и/или планшетном компьютере 352 (что из этого использует пользователь), и релевантный контент отображается.

[0065] Фиг. 4E и 4F являются аналогичными фиг. 4C и 4D, за исключением того, что они показывают то, что пользователь теперь активирует механизм 420 "совместного используемого" пользовательского ввода для того, чтобы совместно использовать документ. Это может осуществляться, например, посредством касания механизма пользовательского ввода сенсорного экрана. Компонент 174 совместного использования затем использует поисковую систему 116 для того, чтобы идентифицировать рекомендации в отношении того, с какими людьми или группами должен совместно использоваться документ. Это может осуществляться на основе контекстной информации пользователя, документа, других пользователей или другой контекстной информации, как пояснено выше. Компонент 174 совместного использования затем использует компонент 130 пользовательского интерфейса, чтобы отображать рекомендации по совместному использованию пользователю. Это проиллюстрировано на фиг. 4G-4H.

[0066] В примере, показанном на фиг. 4G и 4H, рекомендации 422 по совместному использованию отображаются пользователю для выбора. В показанном примере, рекомендации по совместному использованию идентифицированы на основе близости пользователя 112 к различным людям, которые проанализированы, и на основе другой контекстной информации. Это представляет собой всего лишь один пример. Если рекомендации 422 по совместному использованию являются точными, пользователь просто активирует механизм 424 "отправляемого" пользовательского ввода, и выбранный пункт контента совместно используется с людьми, идентифицированными в рекомендации по совместному использованию.

[0067] Некоторые "намерения" в высказывании, описанные выше, представляют команды или действие, которое предпринимается за рамками контекста любого данного документа. Например, команды могут включать в себя такие вещи, как открытие, загрузка (скачивание), печать, совместное использование, создание, отправка, назначение встречи, удаление, публикация, нахождение и т.д. Эти действия могут выполняться для документов или других объектов для нескольких различных источников данных (например, документов, создаваемых в текстовом процессоре, презентаций, почтовых сообщений и т.д.) и для различных устройств (например, команда "Открыть, на моем рабочем столе, документы, которые я получил от Nicole вчера" может вводиться пользователем на мобильном устройстве, но документ может быть открыт на рабочем столе пользователя).

[0068] Также следует отметить, что система 102 может выполнять действия для документа, когда пользователь имеет открытый документ. Например, система может выполнять действия в документе (такие как действия навигации, действия форматирования, действия выбора и т.д.). Фиг. 5 является блок-схемой последовательности операций способа, иллюстрирующей работу системы 102 при выполнении этого. Сначала предполагается, что пользователь имеет открытый документ. Это указывается посредством этапа 440. Документ, например, может представлять собой документ 442, создаваемый в текстовом процессоре, электронную таблицу 444, документ 446 в форме презентации (к примеру, слайд-презентацию), электронное почтовое сообщение 448, изображение 450 или другой документ 452.

[0069] Детектор 192 контекстов иллюстративно обнаруживает контекст документа. Это указывается посредством этапа 454. Например, он может обнаруживать страницу, до которой прокручен документ, форматирование документа или широкий спектр другой контекстной информации.

[0070] Формирователь 118 действий затем осуществляет доступ к компоненту 134 обработки пользовательских показателей, чтобы идентифицировать обучаемый пользовательский показатель, соответствующий пользователю 112. Это указывается посредством этапа 456. В качестве примера, компонент 134 обработки пользовательских показателей может иллюстративно формировать пользовательский показатель, указывающий то, насколько подготовленным или опытным является пользователь 112 в использовании конкретного приложения, которое использует пользователь, в использовании конкретного устройства, которое использует пользователь, в использовании системы 102 обработки контекстных действий либо в использовании других элементов. В качестве одного примера, компонент обработки пользовательских показателей может отслеживать, сколько раз пользователь использует признаки форматирования в данном приложении. Он может отслеживать, какие типы признаков пользователь использует, как часто пользователь использует систему 104, или широкий спектр других вещей. Это может служить в качестве показателя (или показатель может вычисляться на основе этой информации), указывающего опыт пользователя. По мере того, как пользователь приобретает опыт в использовании данного приложения или системы 102, имеется вероятность того, что система не должна формировать настолько много советов справки для пользователя. Тем не менее, если пользователь является новым пользователем, то имеется вероятность того, что система хочет формировать больше советов справки или отображать их более часто. В любом случае, формирователь 118 осуществляет доступ к обучаемому пользовательскому показателю для текущего пользователя 112 в качестве индикатора относительно того, насколько опытным или знающим является пользователь во взаимодействии с документом.

[0071] Компонент 198 идентификации команд затем идентифицирует зависящий от контекста поднабор команд и частоту отображения на основе контекста и обучаемого пользовательского показателя. Это указывается посредством этапа 458. Например, имеется вероятность того, что пользователь просто просматривает документ. В этом случае, компонент 198 идентификации команд может прогнозировать то, что пользователь может хотеть выполнять одну из первого поднабора команд или действий. В другом примере, пользователь, возможно, выбирает слово, фразу, абзац, объект или изображение в документе. В этом случае, компонент 198 идентификации команд иллюстративно прогнозирует то, что пользователь может хотеть выполнять любые из другого поднабора команд.

[0072] При идентификации поднабора команд, компонент 198 может осуществлять доступ к набору правил прогнозирования команд или к компоненту прогнозирования команд, который прогнозирует различные команды, которые пользователь может хотеть использовать. В любом случае, компонент 198 идентифицирует поднабор команд, которые пользователь может хотеть выполнять, на основе контекста приложения, контекста пользователя и уровня опыта пользователя (представленного посредством обучаемого показателя). Компонент 198 также может рассматривать конкретные для пользователя данные использования или предпочтений. Это указывается посредством этапа 460. Компонент 198 также модифицирует поднабор команд, которые идентифицируются на основе изменений показателя, контекстных данных и т.д. Это указывается посредством этапа 462. Поднабор команд может идентифицироваться другими способами, как указано посредством этапа 464.

[0073] Компонент 198 идентификации команд затем использует компонент 130 пользовательского интерфейса, чтобы отображать механизмы для идентифицированного поднабора команд. Они отображаются с частотой на основе обучаемого пользовательского показателя. Пользователь затем может взаимодействовать с механизмами отображения для того, чтобы выполнять поднабор команд. Отображение идентифицированного поднабора команд для пользовательского взаимодействия указывается посредством этапа 466. Пример может быть полезным.

[0074] Фиг. 5A-5D показывают различные примеры экранов пользовательского интерфейса и механизмов отображения команд. На фиг. 5A, например, можно видеть, что пользователь просто просматривает документ на дисплее 468. Следовательно, компонент 198 идентификации команд идентифицирует первый набор команд, который пользователь может хотеть выполнять, с учетом того факта, что пользователь просто просматривает документ. Один пример поднабора команд включает в себя команду "Перейти", команду "Найти", команду Темы" для форматирования, в числе других. Он затем формирует набор элементов 470 отображения с одним элементом отображения, соответствующим каждому идентифицированному поднабору команд. Элементы 470 отображения иллюстративно представляют собой активируемые пользователем элементы отображения, которые могут активироваться пользователем (к примеру, посредством быстрого прикосновения к ним), чтобы выполнять соответствующее действие или команду. Следовательно, например, если пользователь активирует элемент отображения "Перейти", навигационный компонент 196 осуществляет навигацию пользователем в идентифицированную секцию документа. Если пользователь активирует элемент отображения "Темы", то формирователь 118 действий осуществляет навигацию пользователем через взаимодействие с пользователем при форматировании, которое позволяет пользователю форматировать документ согласно различным темам. Это представляет собой только примеры.

[0075] Фиг. 5B показывает то, что пользователь выбирает слова "Редмонд, Вашингтон". Таким образом, компонент 198 идентификации команд идентифицирует второй поднабор команд и отображает набор элементов 472 отображения, соответствующих этим командам. Поскольку пользователь выбирает набор слов, компонент 198 идентификации команд прогнозирует то, что пользователь с большой вероятностью хочет выполнять другие команды по сравнению со случаем, когда пользователь не выбирает слов (как показано на фиг. 5A). Таким образом, элементы 472 отображения соответствуют другим командам по сравнению с элементами 470 отображения.

[0076] На фиг. 5C можно видеть, что пользователь теперь выбирает весь абзац. Следовательно, компонент 198 идентификации команд прогнозирует то, что пользователь может хотеть выполнять любой еще один другой поднабор команд. Компонент 198 в силу этого отображает другой набор элементов 474 отображения, соответствующих этим командам.

[0077] Фиг. 5D показывает то, что пользователь теперь выбирает изображение в документе. На основе этого факта, компонент 198 идентификации команд прогнозирует то, что пользователь с большой вероятностью должен выполнять одну из еще одного другого поднабора команд, и он отображает другой набор элементов 476 отображения, соответствующих этим командам. Пользователь может взаимодействовать с одним из элементов отображения, и формирователь 118 действий иллюстративно использует один из своих компонентов, чтобы выполнять соответствующее действие или команду. Это указывается посредством этапов 478 и 480 на фиг. 5.

[0078] Когда пользователь выполняет это, пользователь затем может предоставлять дополнительные вводы на основе взаимодействия. В этом случае, в одном примере, компонент 200 непрерывного разговора в формирователе 118 действий интерпретирует последующие вводы в контексте предыдущей команды. Это указывается посредством этапа 482. Конечно, команды могут представлять собой голосовые команды 484 или другие команды 486. Фиг. 5E-5K иллюстрируют один пример того, как система интерпретирует команды с учетом предыдущих команд.

[0079] На фиг. 5E можно видеть, что пользователь выбирает весь текст в отображаемом документе. Пользователь затем активирует механизм 484 пользовательского ввода, указывающий то, что пользователь собирается предоставлять голосовой ввод. Пользователь затем произносит ввод "Расширить межстрочный интервал". Фиг. 5F показывает то, что текстовое представление этого высказывания отображается в 488. В ответ, система 104 обработки лингвистической информации идентифицирует намерение в качестве изменения межстрочного интервала и предоставляет его вместе с результатом 146 в компонент 200 непрерывного разговора. Компонент 198 идентификации команд использует это в качестве контекстной информации и идентифицирует поднабор команд, которые связаны с изменением межстрочного интервала, и отображает набор элементов 486 отображения, соответствующих этим командам.

[0080] Пользователь выполняет быстрое прикосновение к элементу 486 отображения, указывающему то, что пользователь хочет расширить межстрочный интервал. Формирователь 118 действий затем расширяет межстрочный интервал, как показано на фиг. 5G. После этого пользователь предоставляет другой голосовой ввод "Еще". Он предоставляется в систему 104, в которой слово возвращается в качестве результата 146. Компонент 200 идентифицирует то, что он представляет собой непрерывную инструкцию для того, чтобы дополнительно увеличивать межстрочный интервал, на основе предыдущей инструкции для того, чтобы увеличивать межстрочный интервал. Таким образом, он управляет формирователем 118 действий так, чтобы еще больше увеличивать межстрочный интервал. Это проиллюстрировано на фиг. 5H. Фиг. 5I показывает то, что компонент 198 идентификации команд поддерживает два элемента 490 отображения, которые имеют отношение к межстрочному интервалу. Это обусловлено тем, что выбрана такая интерпретация, что пользователь по-прежнему пытается модифицировать межстрочный интервал. Таким образом, как показано на фиг. 5J, пользователь может просто выполнять быстрое прикосновение к одному из этих механизмов пользовательского ввода, и формирователь 118 действий выполняет соответствующее действие посредством осуществления навигации пользователем через другое взаимодействие с пользователем, которое позволяет пользователю вручную задавать межстрочный интервал равным данному уровню, как указано посредством фиг. 5K.

[0081] Возвращаясь к фиг. 5, пользователь может предоставлять еще взаимодействия, как указано посредством этапа 492. Если это имеет место, обработка возвращается к этапу 454, на котором снова обнаруживается контекст документа, осуществляется доступ к обучаемому пользовательскому показателю, и т.д.

[0082] На этапе 478, имеется вероятность того, что пользователь никогда не активирует один из элементов отображения, который отображается посредством компонента 198 идентификации команд (к примеру, 470 на фиг. 5A). В этом случае, система обнаруживает то, предоставляет или нет пользователь какие-либо другие вводы на основе взаимодействия в документе. Это указывается посредством этапа 494. Если нет, то элементы отображения, соответствующие идентифицированным командам, в конечном счете удаляются с экрана (например, они исчезают после определенного количества времени). Это указывается посредством этапа 496. Например, если пользователь просто просматривает документ, как показано на фиг. 5A, и пользователь не активирует ни один из элементов 470 отображения, то после предварительно определенного периода времени они удаляются. Предварительно определенный период времени может варьироваться на основе обучаемого пользовательского показателя для этого конкретного пользователя. Например, если пользователь является довольно опытным пользователем системы, то система должна определять то, что ей не требуется отображать элементы отображения очень долго, поскольку пользователь уже знает, как использовать их. Тем не менее, если пользователь является относительно неопытным или новым пользователем, то элементы отображения могут отображаться в течение более длительного периода времени, так что пользователь может анализировать их, пробовать их, рассматривать различные опции и т.д. Помимо этого, следует отметить, что в одном примере, пользователь может осуществлять доступ к полному набору команд в любое время. Например, пользователь может добиваться этого посредством навигации в меню с командами, так что полный набор команд может маскироваться или скрываться, но при этом не является недоступным.

[0083] Если пользователь выполняет другой тип взаимодействия (за исключением активации одного из элементов отображения), то формирователь 118 действий выполняет любое соответствующее действие. Это указывается посредством этапа 498. Далее обработка возвращается к этапу 454. При этом, пользовательское взаимодействие является частью контекста документа, который рассматривается посредством компонента 198 идентификации команд при прогнозировании команд, которые пользователь с большой вероятностью должен использовать, и отображении соответствующих элементов отображения. Фиг. 5L-5O иллюстрируют один пример этого.

[0084] Фиг. 5L является аналогичным фиг. 5A, за исключением того, что можно видеть, что пользователь теперь предоставляет жест касания для того, чтобы прокручивать отображаемый документ. При условии этого пользовательского взаимодействия в качестве контекстной информации, компонент 198 идентификации команд прогнозирует то, что пользователь с большой вероятностью пытается находить конкретное место в документе. Следовательно, компонент 198 идентификации команд отображает набор элементов 501 отображения, соответствующих командам, которые позволяют пользователю добиваться этого. Например, один из элементов отображения представляет собой элемент отображения "Перейти к странице". Когда пользователь активирует его, как указано на фиг. 5N, формирователь 118 действий отображает меню 503, которое позволяет пользователю выбирать конкретную страницу документа, до которой пользователь хочет прокручивать. Навигационный компонент 196 затем осуществляет навигацию пользователем в эту часть документа. С другой стороны, это представляет собой всего лишь один пример, и предусмотрен широкий спектр других пользовательских действий или взаимодействий, которые могут использоваться в качестве контекстной информации посредством компонента 198, чтобы прогнозировать с большой вероятностью команды, которые пользователь хочет использовать.

[0085] Фиг. 5P-5V показывают один пример пользовательских взаимодействий, в котором пользователь выбирает различные элементы в документе. Выбор элементов на устройстве с относительно небольшим экраном может быть очень неудобным. Пользователь зачастую неумышленно выбирает неправильные элементы или неумышленно выбирает несколько элементов, когда намеревается только один. Помимо этого, пользователь зачастую должен прокручивать через длинные документы, выбирая различные элементы идентичного типа. Фиг. 5P показывает то, что пользователь просто просматривает документ, который имеет изображения. Пользователь активирует механизм 535 пользовательского ввода, который указывает системе, что пользователь собирается предоставлять голосовую команду. Фиг. 5Q показывает то, что пользователь предоставляет голосовую команду "Я хочу отформатировать все свои изображения". Фиг. 5R показывает то, что система теперь отображает текстовое представление того ввода. Фиг. 5S показывает то, что компонент 194 выбора принимает результат 146, указывающий то, что намерение состоит в том, что пользователь хочет выбирать все изображения в открытом документе и форматировать их. Таким образом, компонент 194 выбора автоматически находит и выбирает все изображения в отображаемом документе. Компонент 198 идентификации команд также идентифицирует поднабор команд, которые имеют отношение к форматированию изображений, и отображает элементы отображения, соответствующие им. Фиг. 5S показывает то, что пользователь выполняет быстрое прикосновение к одному из этих элементов отображения. То же самое показано на фиг. 5T. Фиг. 5U показывает то, что пользователь выбирает другое изображение, которое должно подставляться вместо выбранных изображений, и фиг. 5V показывает то, что новое выбранное изображение вставлено.

[0086] Фиг. 6A и 6B (совместно упоминаемые в данном документе в качестве фиг. 6) показывают блок-схему последовательности операций способа, иллюстрирующую один пример работы компонента 202 быстрого запуска при разрешении пользователю быстро начинать авторскую разработку документа. Считается, что некоторые пользователи имеют затруднения в начале авторской разработки документа в том, что они не уверены в том, как настраивать форматирование и т.д. Таким образом, компонент 202 помогает пользователю при выполнении этого. Он сначала принимает пользовательский ввод, открывающий новый документ. Это указывается посредством этапа 505. С другой стороны, документ может представлять собой документ 507, создаваемый в текстовом процессоре, документ 509 в форме электронной таблицы, документ 511 в форме презентации или широкий спектр других документов 513.

[0087] Формирователь 120 действий использует компонент 182 запуска/отображения, чтобы запускать соответствующее приложение и отображать пустое полотно для документа. Это указывается посредством этапа 515. Формирователь 118 действий затем принимает пользовательский ввод, запрашивающий форматирование, которое является аналогичным предыдущему документу. Это указывается посредством этапа 517. С другой стороны, он может представлять собой голосовую команду 519 или другую команду 521 на естественном языке. Система затем выполняет понимание естественного языка для ввода, чтобы идентифицировать документ, идентифицировать его форматирование и применять это форматирование к настоящему документу.

[0088] Выполнение понимания естественного языка для ввода указывается посредством этапа 519. В одном примере, компонент 202 быстрого запуска отображает множество различных релевантных документов и позволяет пользователю выбирать конкретный документ, из которого форматирование должно идентифицироваться и применяться к новому документу. Определение того, должен или нет пользователь иметь более одной опции, указывается посредством этапа 521. Это определение может быть выполнено на основе предпочтений пользователя, на основе административной настройки или другими способами.

[0089] Если пользователю не должно представляться множество различных опций, то документ, идентифицированный пользователем при вводе на естественном языке пользователя, извлекается, и параметры формата идентифицируются. Это указывается посредством этапа 523. Обработка затем переходит к этапу 525, на котором идентифицированное форматирование применяется к отображаемому новому документу.

[0090] Тем не менее, если на этапе 521, множество различных вариантов должно предоставляться (или если результат обработки естественного языка является неоднозначным, и несколько документов идентифицируются), то система идентифицирует предыдущий документ и другие аналогичные документы, как указано посредством этапа 527. Документы могут быть аналогичными, поскольку они представляют собой последние документы 529, они могут иметь аналогичный тип 531 документа, или они могут быть аналогичными другими способами 533.

[0091] Для каждого из идентифицированных документов, компонент 202 быстрого запуска формирует и отображает соответствующий элемент отображения. Элемент отображения иллюстративно идентифицирует документ и отображает некоторый контент документа, так что пользователь может иметь некоторое ощущение форматирования, которое применено к базовому документу. Формирование и отображение выбираемого элемента отображения, соответствующего идентифицированным документам, указывается посредством этапа 535.

[0092] Компонент 202 затем принимает пользовательский выбор одного из этих элементов отображения, как указано посредством этапа 537. Он идентифицирует форматирование для соответствующего документа, как указано посредством этапа 539. Это может осуществляться посредством синтаксического анализа соответствующего документа, как указано посредством этапа 541, посредством осуществления доступа к метаданным форматирования, соответствующим документу, как указано посредством этапа 543, или другими способами 545. Затем идентифицированное форматирование применяется к отображаемому новому документу на этапе 525.

[0093] Компонент 202 быстрого запуска также может отображать механизм пользовательского ввода, который может активироваться пользователем, чтобы позволять пользователю видеть конкретное форматирование, которое применяется. Когда это происходит, компонент 202 открывает информацию форматирования для нового отображаемого документа, так что пользователь видит то, как он отформатирован. Это указывается посредством этапа 527. Система затем продолжает обрабатывать другие пользовательские вводы, к примеру, дополнительные вводы форматирования, вводы авторской разработки или другие вводы. Это указывается посредством этапа 529.

[0094] Фиг. 6C-6H показывают различные примеры этого. На фиг. 6C можно видеть, что пользователь открывает документ, и соответствующее приложение отображает пустое полотно. Пользователь затем активирует механизм пользовательского ввода, так что пользователь может предоставлять голосовую команду. На фиг. 6D, пользователь предоставляет голосовую команду "Установить его в качестве моей последней курсовой работы". Система 104 обработки лингвистической информации формирует текстовое представление и понимание естественного языка для этого высказывания. Намерение состоит в том, чтобы находить последнюю курсовую работу пользователя, извлекать форматирование из этой работы и применять его к новому открытому документу.

[0095] Фиг. 6E показывает то, что формирователь 118 действий использует поисковую систему 116, чтобы идентифицировать множество релевантных документов, которые соответствуют запросу пользователя. Он отображает элемент отображения (к примеру, эскиз или другой элемент отображения), соответствующий каждому из релевантных документов. Фиг. 6E показывает то, что пользователь выбирает один из них. Фиг. 6F показывает то, что пользователь предоставляет пользовательский ввод, чтобы применять это форматирование к новому открытому документу. Фиг. 6G показывает механизм 531 пользовательского ввода, который может активироваться пользователем, чтобы видеть форматирование различных секций документа. Когда пользователь активирует механизм 531 пользовательского ввода, отображается информация форматирования. Фиг. 6H показывает то, что множество различных секций могут отображаться отдельно, с собственной информацией формата.

[0096] Фиг. 7-9 показывают различные примеры, указывающие то, что компоненты или элементы в архитектуре 100, показанной на фиг. 1, могут находиться в различных местах. Фиг. 7 показывает то, что множество различных элементов находятся на мобильном устройстве 601, которое соединяется с поисковой услугой, которая реализует поисковую систему 116, по сети 603. Сеть 603 может представлять собой локальную вычислительную сеть, глобальную вычислительную сеть, сотовую сеть, сеть связи ближнего радиуса действия или широкий спектр других сетей.

[0097] Фиг. 8 показывает то, что элементы располагаются в клиент-серверной архитектуре с системой 102 обработки контекстных действий, развернутой на сервере 604, вместе с системой 104 обработки лингвистической информации. Пользователь 112 осуществляет доступ к системе 102 на сервере 604 через клиентское устройство 606, которое формирует механизмы 114 пользовательского интерфейса для взаимодействия пользователем 112.

[0098] Настоящее пояснение упоминает процессоры и серверы. В одном варианте осуществления, процессоры и серверы включают в себя процессоры компьютера с ассоциированным запоминающим устройством и синхронизирующей схемой (не показаны отдельно). Они представляют собой функциональные компоненты систем или устройств, которым они принадлежат и активируются, и упрощают функциональность других компонентов или элементов в этих системах.

[0099] Кроме того, пояснен ряд экранов пользовательского интерфейса. Они могут принимать широкий спектр различных форм и могут иметь широкий спектр различных активируемых пользователем механизмов ввода, расположенных в них. Например, активируемые пользователем механизмы ввода могут представлять собой текстовые поля, флажки, значки, ссылки, раскрывающиеся меню, поля поиска и т.д. Они также могут активироваться множеством различных способов. Например, они могут активироваться с использованием устройства на основе принципа "указать и щелкнуть" (к примеру, шарового манипулятора или мыши). Они могут активироваться с использованием аппаратных кнопок, переключателей, джойстика или клавиатуры, пальцевых переключателей или пальцевых панелей и т.д. Они также могут активироваться с использованием виртуальной клавиатуры или других виртуальных приводов. Помимо этого, если экран, на котором они отображаются, представляет собой сенсорный экран, они могут активироваться с использованием жестов касания. Кроме того, если устройство, которое отображает их, имеет компоненты распознавания речи, они могут активироваться с использованием речевых команд.

[00100] Также пояснен ряд хранилищ данных. Следует отметить, что они могут разбиваться на несколько хранилищ данных. Все они могут быть локальными для систем, осуществляющих доступ к ним, все они могут быть удаленными, либо некоторые могут быть локальными, тогда как другие являются удаленными. Все эти конфигурации предполагаются в данном документе.

[00101] Кроме того, чертежи показывают ряд этапов с функциональностью, приписанной каждому этапу. Следует отметить, что меньшее число этапов может использоваться, так что функциональность выполняется посредством меньшего числа компонентов. Кроме того, большее число этапов может использоваться, при этом функциональность распределяется между большим числом компонентов.

[00102] Фиг. 9 является блок-схемой архитектуры 100, показанной на фиг. 1, за исключением того, что ее элементы располагаются в архитектуре 500 облачных вычислений. Облачные вычисления предоставляют услуги вычислений, программные услуги, услуги доступа и хранения данных, которые не требуют знания конечным пользователем физического местоположения или конфигурации системы, которая предоставляет услуги. В различных вариантах осуществления, облачные вычисления предоставляют услуги по глобальной вычислительной сети, к примеру, по Интернету, с использованием надлежащих протоколов. Например, поставщики услуг облачных вычислений доставляют приложения по глобальной вычислительной сети, и к ним может осуществляться доступ через веб-обозреватель или любой другой вычислительный компонент. Программное обеспечение или компоненты архитектуры 100, а также соответствующие данные могут сохраняться на серверах в удаленном местоположении. Вычислительные ресурсы в облачном вычислительном окружении могут консолидироваться в удаленном местоположении центра обработки и хранения данных, либо они могут распределяться. Инфраструктуры облачных вычислений могут предоставлять услуги через центры обработки и хранения совместно используемых данных, даже если они выглядят как одна точка доступа для пользователя. Таким образом, компоненты и функции, описанные в данном документе, могут предоставляться от поставщика услуг в удаленном местоположении с использованием архитектуры облачных вычислений. Альтернативно, они могут предоставляться из традиционного сервера, или они могут быть установлены непосредственно на клиентских устройствах, или другими способами.

[00103] Описание имеет намерение включать в себя как открытые облачные вычисления, так и закрытые облачные вычисления. Облачные вычисления (открытые и закрытые) предоставляют практически прозрачное объединение ресурсов, а также меньшую потребность управлять и конфигурировать базовую аппаратную инфраструктуру.

[00104] Открытое облако управляется посредством поставщика и типично поддерживает несколько клиентов с использованием идентичной инфраструктуры. Кроме того, открытое облако, в отличие от закрытого облака, может освобождать конечных пользователей от управления аппаратными средствами. Закрытое облако может управляться посредством самой организации, и инфраструктура типично не используется совместно с другими организациями. Организация по-прежнему поддерживает аппаратные средства в некоторой степени, к примеру, установки и ремонт и т.д.

[00105] В примере, показанном на фиг. 9, некоторые элементы являются аналогичными элементам, показанным на фиг. 1, и они имеют аналогичные номера. Фиг. 9, в частности, показывает то, что различные элементы на фиг. 1 могут находиться в облаке 502 (которое может быть открытым, закрытым или комбинацией, в которой части являются открытыми, тогда как другие являются закрытыми). Следовательно, пользователь 112 использует пользовательское устройство 504, чтобы осуществлять доступ к этим элементам через облако 502.

[00106] Фиг. 9 также иллюстрирует другой вариант осуществления облачной архитектуры. Фиг. 9 показывает то, что также предполагается, что некоторые элементы архитектуры 100 могут располагаться в облаке 502, в тогда как другие не могут. В качестве примера, хранилище 132 данных и источники 106 могут располагаться за пределами облака 502 и быть доступными через облако 502. В другом примере, система 102 или поисковая система 116, или другие части также могут находиться за пределами облака 502. Независимо от того, где они находятся, к ним может осуществляться доступ непосредственно посредством устройства 504 через сеть (глобальную вычислительную сеть или локальную вычислительную сеть), они могут быть хостированы на удаленном веб-сайте посредством услуги, либо они могут предоставляться в качестве услуги через облако или быть доступными посредством услуги соединения, которая постоянно размещается в облаке. Все эти архитектуры предполагаются в данном документе.

[00107] Также следует отметить, что архитектура 100 или ее части может располагаться в широком спектре различных устройств. Некоторые из этих устройств включают в себя серверы, настольные компьютеры, переносные компьютеры, планшетные компьютеры или другие мобильные устройства, такие как карманные компьютеры, сотовые телефоны, смартфоны, мультимедийные проигрыватели, персональные цифровые устройства и т.д.

[00108] Фиг. 10 является упрощенной блок-схемой одного иллюстративного варианта осуществления карманного или мобильного вычислительного устройства, которое может использоваться в качестве переносного устройства 16 пользователя или клиента, в котором может развертываться настоящая система (или ее части). Фиг. 11-12 являются примерами карманных или мобильных устройств.

[00109] Фиг. 10 предоставляет общую блок-схему компонентов клиентского устройства 16, которое может запускать компоненты архитектуры 100 либо которое взаимодействует с архитектурой 100, либо которое выполняет и то, и другое. Не все элементы по фиг. 1 показаны в устройстве 16, хотя предполагается, что они могут располагаться на устройстве 16 в проиллюстрированных компонентах или добавляться в низ. В устройстве 16, предоставляется линия 13 связи, которая обеспечивает возможность карманному устройству обмениваться данными с другими вычислительными устройствами и в некоторых примерах предоставляет канал для автоматического приема информации, к примеру, посредством сканирования. Примеры линии 13 связи включают в себя инфракрасный порт, последовательный/USB-порт, кабельный сетевой порт, к примеру, Ethernet-порт и беспроводной сетевой порт, обеспечивающий связь через один или более протоколов связи, включающих в себя общую службу пакетной радиопередачи (GPRS), LTE, HSPA, HSPA+ и другие протоколы 3G- и 4G-радиосвязи, 1Xrtt и службу коротких сообщений, которые представляют собой беспроводные службы, используемые для того, чтобы предоставлять сотовый доступ к сети, а также Wi-Fi-протоколы и Bluetooth-протокол, которые предоставляют локальные беспроводные соединения с сетями.

[00110] В других примерах, приложения или системы принимаются на съемной карте по стандарту Secure Digital (SD), которая соединяется с интерфейсом 15 SD-карты. Интерфейс 15 SD-карты и линии 13 связи обмениваются данными с процессором 17 (который также может осуществлять процессор 128 или другие процессоры из фиг. 1) по шине 19, которая также соединяется с запоминающим устройством 21 и компонентами 23 ввода-вывода, а также синхросигналом 25 и системой 27 определения местоположения.

[00111] Компоненты 23 ввода-вывода, в одном варианте осуществления, предоставляются для того, чтобы упрощать операции ввода и вывода. Компоненты 23 ввода-вывода для различных вариантов осуществления устройства 16 могут включать в себя компоненты ввода, такие как кнопки, датчики касания, датчики мультикасания, оптические или видеодатчики, речевые датчики, сенсорные экраны, бесконтактные датчики, микрофоны, датчики наклона и гравитационные переключатели, и компоненты вывода, такие как устройство отображения, динамик и или порт принтера. Также могут использоваться другие компоненты 23 ввода-вывода.

[00112] Синхросигнал 25 иллюстративно содержит компонент синхросигнала реального времени, который выводит время и дату. Он также может, иллюстративно, предоставлять функции синхронизации для процессора 17.

[00113] Система 27 определения местоположения иллюстративно включает в себя компонент, который выводит текущее географическое местоположение устройства 16. Он может включать в себя, например, приемное устройство на основе глобальной системы позиционирования (GPS), LORAN-систему, систему счисления пути, систему сотовой триангуляции или другую систему позиционирования. Она также может включать в себя, например, картографическое программное обеспечение или навигационное программное обеспечение, которое формирует требуемые карты, навигационные маршруты и другие географические функции.

[00114] Запоминающее устройство 21 сохраняет операционную систему 29, сетевые настройки 31, приложения 33, конфигурационные настройки 35 приложений, хранилище 37 данных, драйверы 39 связи и конфигурационные настройки 41 связи. Запоминающее устройство 21 может включать в себя все типы материальных энергозависимых и энергонезависимых машиночитаемых запоминающих устройств. Оно также может включать в себя компьютерные носители хранения данных (описаны ниже). Запоминающее устройство 21 сохраняет машиночитаемые инструкции, которые, при выполнении посредством процессора 17, инструктируют процессору выполнять машинореализованные этапы или функции согласно инструкциям. Приложение 154 или элементы в хранилище данных 156, например, могут постоянно размещаться в запоминающем устройстве 21. Аналогично, устройство 16 может иметь клиентскую бизнес-систему 24, которая может выполнять различные бизнес-приложения или осуществлять части или всего участника 104 арендуемой среды. Процессор 17 также может активироваться посредством других компонентов, чтобы упрощать их функциональность.

[00115] Примеры сетевых настроек 31 включают в себя, к примеру, информацию прокси-сервера, информацию Интернет-соединения и привязки. Конфигурационные настройки 35 приложений включают в себя настройки, которые индивидуально адаптируют приложение для конкретной организации или пользователя. Конфигурационные настройки 41 связи предоставляют параметры для обмена данными с другими компьютерами и включают в себя такие элементы, как GPRS-параметры, SMS-параметры, имена пользователей и пароли для подключения.

[00116] Приложения 33 могут представлять собой приложения, которые ранее сохранены на устройстве 16, или приложения, которые устанавливаются в ходе использования, хотя также они могут быть частью операционной системы 29 или хостированными внешне по отношению к устройству 16.

[00117] Фиг. 11 показывает один пример, в котором устройство 16 представляет собой планшетный компьютер 600. На фиг. 6, компьютер 600 показан с экраном 602 пользовательского интерфейса. Экран 602 может представлять собой сенсорный экран (так что жесты касания из пальца пользователя могут использоваться для того, чтобы взаимодействовать с приложением) или интерфейс с поддержкой перьевого ввода, который принимает вводы из пера или стилуса. Он также может использовать экранную виртуальную клавиатуру. Конечно, он также может быть присоединен к клавиатуре или другому устройству пользовательского ввода через подходящий механизм присоединения, такой как, например, линия беспроводной связи или USB-порт. Кроме того, компьютер 600 также может иллюстративно принимать речевые вводы.

[00118] Также могут использоваться дополнительные примеры устройств 16. Устройство 16 может представлять собой традиционный мобильный телефон, смартфон или мобильный телефон. Телефон включает в себя набор клавишных панелей для набора телефонных номеров, дисплей, допускающий отображение изображений, включающих в себя изображения приложений, значки, веб-страницы, фотографии и видео, и кнопки управления для выбора элементов, показанных на дисплее. Телефон может включать в себя антенну для приема сотовых телефонных сигналов, таких как сигналы по стандарту общей службы пакетной радиопередачи (GPRS) и 1Xrtt и службы коротких сообщений (SMS). В некоторых примерах, телефон также включает в себя гнездо для вставки карт по стандарту Secure Digital (SD), которое принимает SD-карту.

[00119] Мобильное устройство также может представлять собой персональное цифровое устройство или мультимедийный проигрыватель, или планшетное вычислительное устройством и т.д. (далее PDA). PDA 59 может включать в себя индуктивный экран, который опознает позицию стилуса 63 (или других указателей, к примеру, пальца пользователя), когда стилус помещается на экране. Это позволяет пользователю выбирать, подсвечивать и перемещать элементы на экране, а также рисовать и писать. PDA также может включать в себя ряд клавиш или кнопок пользовательского ввода, которые позволяют пользователю прокручивать пункты меню или другие отображаемые пункты, которые отображаются на дисплее, и позволяют пользователю изменять приложения или выбирать функции пользовательского ввода без контакта с дисплеем. PDA может включать в себя внутреннюю антенну и инфракрасное приемо-передающее устройство, которые предоставляют возможность беспроводной связи с другими компьютерами, а также порты подключения, которые предоставляют возможность аппаратных подключений к другим вычислительным устройствам. Такие аппаратные подключения типично осуществляются через подставку, которая подключается к другому компьютеру через последовательный или USB-порт. В связи с этим, эти подключения являются несетевыми подключениями.

[00120] Фиг. 12 также показывает то, что телефон может представлять собой смартфон 71. Смартфон 71 имеет сенсорный дисплей 73, который отображает значки или плитки либо другие механизмы 75 пользовательского ввода. Механизмы 75 могут использоваться пользователем для того, чтобы запускать приложения, выполнять вызовы, выполнять операции передачи данных и т.д. В общем, смартфон 71 компонуется на основе мобильной операционной системы и предлагает расширенные вычислительные возможности и возможности соединений по сравнению с традиционным мобильным телефоном.

[00121] Следует отметить, что возможны другие формы устройств 16.

[00122] Фиг. 13 является одним вариантом осуществления вычислительного окружения, в котором (например) может развертываться архитектура 100 или ее части. Со ссылкой на фиг. 13, примерная система для реализации некоторых вариантов осуществления включает в себя вычислительное устройство общего назначения в форме компьютера 810. Компоненты компьютера 810 могут включать в себя, но не только, модуль 820 обработки (который может содержать процессор 128 либо процессоры в устройстве 504 или в других устройствах), системное запоминающее устройство 830 и системную шину 821, которая соединяет различные системные компоненты, включающие в себя системное запоминающее устройство, с модулем 820 обработки. Системная шина 821 может представлять собой любую из нескольких типов шинных структур, включающих в себя шину запоминающего устройства или контроллер запоминающего устройства, периферийную шину и локальную шину с использованием любой из множества шинных архитектур. В качестве примера, а не ограничения, такие архитектуры включают в себя шину со стандартной промышленной архитектурой (ISA), шину с микроканальной архитектурой (MCA), шину с усовершенствованной ISA-архитектурой (EISA), локальную шину с архитектурой Ассоциации по стандартизации в области видеоэлектроники (VESA) и шину на основе стандарта взаимодействия периферийных компонентов (PCI), также известную как дополнительная шина. Запоминающее устройство и программы, описанные относительно фиг. 1, могут быть развернуты в соответствующих частях на фиг. 13.

[00123] Компьютер 810 типично включает в себя множество машиночитаемых носителей.

Машиночитаемые носители могут представлять собой любые носители, которые могут быть доступными посредством компьютера 810, и они включают в себя энергозависимые и энергонезависимые носители, съемные и стационарные носители. В качестве примера, а не ограничения, машиночитаемые носители могут содержать компьютерные носители хранения данных и среды связи. Компьютерные носители хранения данных отличаются от и не включают в себя модулированный сигнал данных или несущую. Они включают в себя аппаратные носители хранения данных, включающие в себя энергозависимые и энергонезависимые, съемные и стационарные носители, реализованные любым способом или технологией хранения информации, такой как машиночитаемые инструкции, структуры данных, программные модули или другие данные. Компьютерные носители хранения данных включают в себя, но не только, RAM, ROM, EEPROM, флэш-память или другую технологию запоминающих устройств, CD-ROM, цифровые универсальные диски (DVD) или другое устройство хранения данных на оптических дисках, магнитные кассеты, магнитную ленту, устройство хранения данных на магнитных дисках или другие магнитные устройства хранения данных, либо любой другой носитель, который может быть использован для того, чтобы сохранять требуемую информацию, и к которому может быть осуществлен доступ посредством компьютера 810. Среды связи обычно осуществляют машиночитаемые инструкции, структуры данных, программные модули или другие данные в транспортном механизме и включают в себя любые среды доставки информации. Термин "модулированный сигнал данных" означает сигнал, который имеет одну или более характеристик, заданных или измененных таким образом, чтобы кодировать информацию в сигнале. В качестве примера, а не ограничения, среды связи включают в себя проводные среды, такие как проводная сеть или прямое проводное соединение, и беспроводные среды, такие как акустические, радиочастотные (RF), инфракрасные и другие беспроводные среды. Комбинации любых из вышеприведенных элементов также должны быть включены в объем машиночитаемых носителей.

[00124] Системное запоминающее устройство 830 включает в себя компьютерные носители хранения данных в форме энергозависимого и/или энергонезависимого запоминающего устройства, такого как постоянное запоминающее устройство 831 (ROM) и оперативное запоминающее устройство 832 (RAM). Базовая система 833 ввода/вывода (BIOS), содержащая базовые процедуры, которые помогают передавать информацию между элементами в пределах компьютера 810, к примеру, в ходе запуска, типично сохранена в ROM 831. RAM 832 типично содержит данные и/или программные модули, которые являются непосредственно доступными и/или в данный момент обрабатываются в модуле 820 обработки. В качестве примера, но не ограничения, фиг. 13 иллюстрирует операционную систему 834, прикладные программы 835, другие программные модули 836 и программные данные 837.

[00125] Компьютер 810 также может включать в себя другие съемные/стационарные, энергозависимые/энергонезависимые компьютерные носители хранения данных. Только в качестве примера, фиг. 13 иллюстрирует жесткий диск 841, который считывает или записывает на стационарные энергонезависимые магнитные носители, и накопитель 855 на оптических дисках, который считывает или записывает на съемный энергонезависимый оптический диск 856, такой как CD-ROM или другие оптические носители. Другие съемные/стационарные, энергозависимые/энергонезависимые компьютерные носители хранения данных, которые могут быть использованы в примерном операционном окружении, включают в себя, но не только, кассеты с магнитной лентой, карты флэш-памяти, цифровые универсальные диски, цифровую видеоленту, полупроводниковое RAM, полупроводниковое ROM и т.п. Жесткий диск 841 типично соединяется с системной шиной 821 через интерфейс стационарного запоминающего устройства, например, интерфейс 840, а накопитель 855 на оптических дисках типично соединяется с системной шиной 821 посредством интерфейса съемного запоминающего устройства, например, интерфейса 850.

[00126] Альтернативно или помимо этого, функциональность, описанная в данном документе, может выполняться, по меньшей мере, частично, посредством одного или более аппаратных логических компонентов. Например, и без ограничения, иллюстративные типы аппаратных логических компонентов, которые могут быть использованы, включают в себя программируемые пользователем вентильные матрицы (FPGA), специализированные интегральные схемы (ASIC), специализированные микросхемы для массового производства (ASSP), внутрикристальные системы (SOC), комплексные программируемые логические устройства (CPLD) и т.д.

[00127] Накопители и ассоциированные компьютерные носители хранения данных, поясненные выше и проиллюстрированные на фиг. 13, обеспечивают хранение машиночитаемых инструкций, структур данных, программных модулей и других данных для компьютера 810. На фиг. 13, например, жесткий диск 841 проиллюстрирован как сохраняющий операционную систему 844, прикладные программы 845, другие программные модули 846 и программные данные 847. Следует отметить, что эти компоненты могут быть идентичными или отличными от операционной системы 834, прикладных программ 835, других программных модулей 836 и программных данных 837. Операционной системе 844, прикладным программам 845, другим программным модулям 846 и программным данным 847 в настоящем документе присвоены другие номера, чтобы иллюстрировать то, что, как минимум, они являются различными копиями.

[00128] Пользователь может вводить команды и информацию в компьютер 810 через устройства ввода, такие как клавиатура 862, микрофон 863 и указательное устройство 861, к примеру, мышь, шаровой манипулятор или сенсорная панель. Другие устройства ввода (не показаны) могут включать в себя джойстик, игровой планшет, спутниковую антенну, сканер и т.п. Эти и другие устройства ввода зачастую соединяются с модулем 820 обработки через интерфейс 860 пользовательского ввода, который соединен с системной шиной, но могут соединяться посредством других интерфейсов и шинных структур, таких как параллельный порт, игровой порт или универсальная последовательная шина (USB). Видеодисплей 891 или другой тип устройства отображения также соединяется с системной шиной 821 посредством такого интерфейса, как видеоинтерфейс 890. Помимо монитора, компьютеры также могут включать в себя другие периферийные устройства вывода, например, динамики 897 и принтер 896, которые могут быть соединены через периферийный интерфейс 895 вывода.

[00129] Компьютер 810 работает в сетевом окружении с использованием логических соединений с одним или более удаленных компьютеров, таких как удаленный компьютер 880. Удаленный компьютер 880 может представлять собой персональный компьютер, карманное устройство, сервер, маршрутизатор, сетевой PC, равноправное устройство или другой общий сетевой узел и типично включает в себя многие или все из элементов, описанных выше относительно компьютера 810. Логические соединения, изображенные на фиг. 13, включают в себя локальную вычислительную сеть 871 (LAN) и глобальную вычислительную сеть (WAN) 873, но также могут включать в себя другие сети. Такие сетевые окружения широко распространены в офисах, корпоративных компьютерных сетях, сетях intranet и в Интернете.

[00130] При использовании в сетевом LAN-окружении, компьютер 810 соединяется с LAN 871 через сетевой интерфейс или адаптер 870. При использовании в сетевом WAN-окружении, компьютер 810 типично включает в себя модем 872 или другое средство для установления связи по WAN 873, к примеру, по Интернету. Модем 872, который может быть внутренним или внешним, может соединяться с системной шиной 821 через интерфейс 860 пользовательского ввода или другой подходящий механизм. В сетевом окружении, программные модули, проиллюстрированные относительно компьютера 810, или их части могут быть сохранены в удаленном запоминающем устройстве. В качестве примера, но не ограничения, фиг. 13 иллюстрирует удаленные прикладные программы 885 как находящиеся на удаленном компьютере 880. Следует принимать во внимание, что показанные сетевые соединения являются иллюстративными, и могут использоваться другие средства установления линии связи между компьютерами.

[00131] Также следует отметить, что различные варианты осуществления, описанные в данном документе, могут комбинироваться по-разному. Иными словами, части одного или более вариантов осуществления могут комбинироваться с частями одного или более других вариантов осуществления. Все это предполагается в данном документе.

[00132] Пример 1 представляет собой вычислительную систему, содержащую:

[00133] - механизм пользовательского интерфейса, который принимает высказывание, отправляет высказывание в систему обработки лингвистической информации и принимает результат обработки лингвистической информации, указывающий намерение и набор аргументов, распознанных в высказывании;

[00134] - систему идентификации контекстов, которая идентифицирует текущий контекст вычислительной системы;

[00135] – средство идентификации действий, которое идентифицирует действие на основе текущего контекста и на основе намерения в результате обработки лингвистической информации; и

[00136] - компонент перекрестного поиска по источникам, который выполняет поиск в нескольких различных источниках информации на основе текущего контекста и на основе набора аргументов в результате обработки лингвистической информации для того, чтобы идентифицировать контент, для которого должно выполняться действие.

[00137] Пример 2 представляет собой вычислительную систему по любому или всем из предыдущих примеров, дополнительно содержащую:

[00138] - компонент обработки действий, который управляет управляемой системой таким образом, чтобы предпринимать действие для идентифицированного контента.

[00139] Пример 3 представляет собой вычислительную систему по любому из предыдущих примеров, в которой высказывание неявно идентифицирует контент, и в которой компонент перекрестного поиска по источникам использует аргументы в качестве критериев поиска для того, чтобы выполнять поиск в нескольких различных источниках информации для того, чтобы идентифицировать множество различных результатов поиска, причем каждый из них идентифицирует различный элемент контента.

[00140] Пример 4 представляет собой вычислительную систему по любому или всем из предыдущих примеров, дополнительно содержащую:

[00141] - формирователь количественных показателей релевантности, который формирует показатель релевантности для каждого из различных результатов поиска для того, чтобы получать данный результат поиска;

[00142] Пример 5 представляет собой вычислительную систему по любому из предыдущих примеров, в которой формирователь количественных показателей релевантности использует аргументы и текущий контекст для того, чтобы устранять неоднозначность результатов поиска, которые были бы неоднозначными в противном случае, чтобы получать данный результат поиска, на основе текущего контекста и аргументов.

[00143] Пример 6 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система обработки лингвистической информации содержит:

[00144] - первую систему обработки лингвистической информации, расположенную в вычислительной системе и включающую в себя систему распознавания речи и систему понимания естественного языка, причем система распознавания речи формирует текстовое представление высказывания, и система понимания естественного языка идентифицирует намерение и аргументы в первом результате обработки лингвистической информации и дополнительно устраняет неоднозначность аргументов, которые были бы неоднозначными в противном случае, на основе текущего контекста.

[00145] Пример 7 представляет собой вычислительную систему по любому из предыдущих примеров, в которой механизм пользовательского интерфейса дополнительно отправляет высказывание во вторую систему обработки лингвистической информации, удаленную от вычислительной системы, причем вторая система обработки лингвистической информации формирует второй результат обработки лингвистической информации, причем вычислительная система комбинирует первый и второй результаты обработки лингвистической информации для того, чтобы получать конечный результат обработки лингвистической информации.

[00146] Пример 8 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система идентификации контекстов содержит:

[00147] - детектор персональных идентификационных данных, который идентифицирует персональные идентификационные данные пользователя.

[00148] Пример 9 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система идентификации контекстов содержит:

[00149] - бесконтактный детектор приближения, который идентифицирует других людей или вещи в пределах данной близости к вычислительной системе.

[00150] Пример 10 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система идентификации контекстов содержит:

[00151] - детектор открытых приложений, который идентифицирует открытые приложения в вычислительной системе.

[00152] Пример 11 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система идентификации контекстов содержит:

[00153] - детектор устройства, который идентифицирует конкретное устройство, на котором располагается вычислительная система.

[00154] Пример 12 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система идентификации контекстов содержит:

[00155] - детектор календарных событий, который идентифицирует конкретное время и элементы на календаре пользователя.

[00156] Пример 13 представляет собой вычислительную систему по любому из предыдущих примеров, в которой конкретное устройство содержит мобильное устройство.

[00157] Пример 14 представляет собой вычислительную систему по любому из предыдущих примеров, в которой система идентификации контекстов содержит:

[00158] - детектор местоположения, который идентифицирует местоположение конкретного устройства, на котором располагается вычислительная система.

[00159] Пример 15 представляет собой вычислительную систему по любому из предыдущих примеров, в которой средство идентификации действий идентифицирует действие как одно из отправки, открытия, назначения совещания, создания, вложения, создания почтового сообщения, задания напоминания, совместного использования, представления, запуска и отображения.

[00160] Пример 16 представляет собой машинореализованный способ, содержащий:

[00161] - прием высказывания;

[00162] - передачу высказывания в систему обработки лингвистической информации;

[00163] - прием результата обработки лингвистической информации, указывающего намерение и набор аргументов, распознанных в высказывании;

[00164] - обнаружение контекста вычислительной системы;

[00165] - анализ контекста и намерения в результате обработки лингвистической информации для того, чтобы идентифицировать действие, которое следует предпринимать;

[00166] - выполнение поиска в нескольких различных источниках информации на основе контекста и на основе набора аргументов в результате обработки лингвистической информации для того, чтобы идентифицировать контент, для которого должно выполняться действие; и

[00167] - автоматическое управление управляемой системой таким образом, чтобы выполнять действие для идентифицированного контента.

[00168] Пример 17 представляет собой машинореализованный способ по любому или всем из предыдущих примеров, дополнительно содержащий:

[00169] - формирование показателя релевантности, соответствующего каждому из различных результатов поиска; и

[00170] - ранжирование различных результатов поиска на основе соответствующих показателей релевантности.

[00171] Пример 18 представляет собой машинореализованный способ по любому или всем из предыдущих примеров, дополнительно содержащий:

[00172] - использование аргументов и контекста для того, чтобы устранять неоднозначность результатов поиска, которые были бы неоднозначными в противном случае, чтобы получать данный результат поиска, на основе текущего контекста и аргументов.

[00173] Пример 19 представляет собой мобильное устройство, содержащее:

[00174] - механизм пользовательского интерфейса, который принимает высказывание, отправляет высказывание в систему обработки лингвистической информации и принимает результат обработки лингвистической информации, указывающий намерение и набор аргументов, распознанных в высказывании;

[00175] - систему идентификации контекстов, которая идентифицирует контекст вычислительной системы;

[00176] - средство идентификации действий, которое идентифицирует действие на основе текущего контекста и на основе намерения в результате обработки лингвистической информации;

[00177] - компонент перекрестного поиска по источникам, который выполняет поиск в нескольких различных источниках информации на основе контекста и на основе набора аргументов в результате обработки лингвистической информации для того, чтобы идентифицировать контент, для которого должно выполняться действие; и

[00178] - компонент обработки действий, который управляет управляемой системой таким образом, чтобы предпринимать действие для идентифицированного контента.

[00179] Пример 20 представляет собой мобильное устройство по любому из предыдущих примеров, в котором высказывание неявно идентифицирует контент, и в котором компонент перекрестного поиска по источникам использует аргументы в качестве критериев поиска для того, чтобы выполнять поиск в нескольких различных источниках информации для того, чтобы идентифицировать множество различных результатов поиска, причем каждый из них идентифицирует различный элемент довольных, и дополнительно содержащее:

[00180] - формирователь количественных показателей релевантности, который формирует показатель релевантности для каждого из различных результатов поиска для того, чтобы получать данный результат поиска, и который использует аргументы и текущий контекст для того, чтобы устранять неоднозначность результатов поиска, которые были бы неоднозначными в противном случае, чтобы получать данный результат поиска, на основе контекста и аргументов.

[00181] Хотя изобретение описано на языке, характерном для структурных признаков и/или технологических этапов, следует понимать, что объем изобретения, определяемый прилагаемой формулой изобретения, не обязательно ограничен характерными признаками или этапами, описанными выше. Вместо этого, характерные признаки и этапы, описанные выше, раскрываются как примерные формы реализации формулы изобретения.