ТЕРМИНАЛ МОБИЛЬНОЙ СВЯЗИ И СПОСОБ УПРАВЛЕНИЯ ЕГО МЕНЮ

Настоящее изобретение относится к терминалу мобильной связи и к соответствующему способу, способному обеспечивать увеличение процента правильно распознанных слов при распознавании речи путем задания области для распознавания речи в виде информации, связанной с конкретными меню или услугами.

Уровень техники

В настоящее время терминалы мобильной связи предоставляют множество дополнительных услуг помимо базовых услуг телефонной связи. Например, в настоящее время абонент может осуществлять доступ к сети Интернет, играть в игры, смотреть видеофильмы, слушать музыку, производить фото- и видеосъемку, запись звуковых файлов и т.д. В настоящее время терминалы мобильной связи также обеспечивают прием вещательных программ, поэтому абонент может смотреть телевизионные шоу, спортивные программы, видеофильмы и т.д.

Кроме того, поскольку произошло существенное расширение функций, содержащихся в терминалах мобильной связи, то интерфейсы пользователя также стали более сложными. Например, интерфейсы пользователя теперь содержат сенсорные экраны, предоставляющие пользователю возможность прикасаться к экрану и выбирать конкретный элемент или пункт меню. Терминалы мобильной связи также содержат очень ограниченные функции распознавания речи, которые предоставляют пользователю возможность выполнять элементарные функции. Однако, частота появления ошибок при определении смысла речевой команды пользователя является слишком высокой, и поэтому пользователи, как правило, не используют ограниченные функциональные возможности распознавания речи, имеющиеся в терминале.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Соответственно, одной из задач настоящего изобретения является решение вышеупомянутых и других проблем.

Другой задачей настоящего изобретения является создание терминала мобильной связи и соответствующего способа, обеспечивающего управление меню, связанными с конкретными его функциями или услугами, путем распознавания смысла речевой команды на основании контекста и содержания.

Еще одной задачей настоящего изобретения является создание терминала мобильной связи и соответствующего способа, обеспечивающего значительное увеличение процента правильно распознанных слов при распознавании речи, путем задания области для распознавания речи в виде области, связанной с конкретными меню или услугам.

Еще одной задачей настоящего изобретения является создание терминала мобильной связи и соответствующего способа управления меню, связанными с конкретными функциями или услугами, путем применения одного или большего количества имеющихся в нем интерфейсов пользователя (ИП), при этом, функцию распознавания речи приводят в действие таким образом, что обнаруживают манипуляции пользователя.

Еще одной задачей настоящего изобретения является создание терминала мобильной связи и соответствующего способа, обеспечивающего возможность управления меню, связанными с конкретными функциями или услугами, даже неопытным пользователем посредством его или ее речевой команды, путем предоставления справочной информации о вводе речевой команды в соответствии с рабочим состоянием или с режимом работы этого терминала мобильной связи.

Для достижения этих и других преимуществ и в соответствии с целью настоящего изобретения, осуществленной и описанной здесь в общих чертах, согласно одному из объектов настоящего изобретения, в нем предложен терминал мобильной связи, содержащий устройство ввода, выполненное таким образом, что оно способно принимать введенные данные для активации функции распознавания речи в терминале мобильной связи, запоминающее устройство, выполненное таким образом, что оно способно запоминать множество областей, связанных с меню и с режимами работы терминала мобильной связи, и контроллер, сконфигурированный таким образом, что он способен осуществлять доступ к конкретной области из множества областей, содержащихся в запоминающем устройстве, на основании принятых введенных данных для активации функции распознавания речи, распознавать речь пользователя на основании модели языка и акустической модели области, к которой осуществлен доступ, и определять, по меньшей мере, одно меню и один режим работы терминала мобильной связи на основании конкретной области, к которой осуществлен доступ, и распознанной речи пользователя.

Согласно другому объекту настоящего изобретения в нем предложен способ управления терминалом мобильной связи. Способ содержит следующие операции: принимают введенные данные для активации функции распознавания речи в терминале мобильной связи, осуществляют доступ к конкретной области из запомненного множества областей, содержащихся в запоминающем устройстве терминала мобильной связи, на основании принятых введенных данных для активации функции распознавания речи, распознают речь пользователя на основании модели языка и акустической модели области, к которой осуществлен доступ, и производят вывод, по меньшей мере, одного меню и режима работы терминала мобильной связи на основании конкретной области, к которой осуществлен доступ, и распознанной речи пользователя.

Дальнейший объем применимости настоящего изобретения станет очевидным из приведенного ниже подробного описания. Однако следует понимать, что подробное описание и конкретные примеры, несмотря на указание предпочтительных вариантов осуществления настоящего изобретения, приведены исключительно в иллюстративных целях, так как для специалистов в данной области техники из этого подробного описания станет очевидной возможность различных изменений и модификаций, не выходящих за пределы сущности и объема патентных притязаний настоящего изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Настоящее изобретение станет более понятным из приведенного ниже подробного описания и из сопроводительных чертежей, которые приведены исключительно в иллюстративных целях и, следовательно, не ограничивают настоящее изобретение, и на которых изображено следующее:

на Фиг. 1 изображена блок-схема терминала мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 2 на виде спереди в перспективе изображен терминал мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 3 на виде сзади в перспективе изображен терминал мобильной связи, показанный на Фиг. 2;

на Фиг. 4 изображен общий вид системы связи, способной работать с терминалом мобильной связи из настоящего изобретения;

на Фиг. 5 изображена схема последовательности операций, на которой проиллюстрирован способ управления меню для терминала мобильной связи посредством речевой команды согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 6A в общем виде показан способ активации функции распознавания речи для терминала мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на чертежах Фиг. 6B и Фиг. 6C в общем виде показан способ вывода справочной информации в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 7A изображена схема последовательности операций, на которой показан способ распознавания речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 7Б в общем виде показан способ распознавания речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 8 в общем виде показан способ отображения меню в соответствии с процентом правильно распознанных слов при распознавании речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 9 в общем виде показан способ распознавания речевой команды в терминале мобильной связи согласно другому варианту осуществления настоящего изобретения;

на Фиг. 10 в общем виде показана конфигурация баз данных, используемых в качестве опорной информации для распознавания речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 11 в общем виде показано состояние, в котором выполняют функцию распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 12 в общем виде показан способ обработки подкоманд, связанных с конкретным меню, посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 13 в общем виде показан способ поиска по схеме метрополитена посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 14 в общем виде показан способ воспроизведения файлов с мультимедийным содержимым посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 15 в общем виде показан способ передачи сообщения электронной почты посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 16 в общем виде показан способ выполнения телефонного вызова посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 17 в общем виде показан способ использования информации из телефонной книги посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения;

на Фиг. 18 в общем виде показан способ изменения выводимого на экран фонового изображения посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения; и

на Фиг. 19 в общем виде показан способ воспроизведения файлов с мультимедийным содержимым посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Теперь будет приведено подробное описание предпочтительных вариантов осуществления настоящего изобретения, примеры которых проиллюстрированы на сопроводительных чертежах.

На Фиг. 1 изображена блок-схема терминала 100 мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Как показано на чертеже, терминал 100 мобильной связи содержит блок 110 беспроводной связи, содержащий один или большее количество компонентов, который позволяет поддерживать беспроводную связь между терминалом 100 мобильной связи и системой или сетью беспроводной связи, в пределах которой расположен терминал мобильной связи.

Например, блок 110 беспроводной связи содержит модуль 111 приема широковещательных передач, который принимает сигнал широковещательной передачи, и/или информацию, связанную с широковещательной передачей, из внешнего объекта, осуществляющего управление широковещательными передачами, по широковещательному каналу. Широковещательным каналом может являться, в том числе, спутниковой канал и наземный канал.

Кроме того, термин "объект, осуществляющий управление широковещательными передачами" обычно относится к системе, которая производит передачу широковещательного сигнала и/или информации, связанной с широковещательной передачей. Примером информации, связанной с широковещательной передачей, является, в том числе, информация, связанная с широковещательным каналом, с широковещательной программой, с поставщиком услуг вещания и т.д. Например, информация, связанная с широковещательной передачей, может содержать электронную программу передач (EPG) для системы цифрового мультимедийного вещания (DMB) и электронный справочник услуг (ESG) системы цифрового телевещания для портативных устройств (DVB-H).

Кроме того, сигнал широковещательной передачи может быть реализован, помимо прочего, в виде сигнала телевизионного вещания, сигнала радиовещания и сигнала широковещательной передачи данных. Кроме того, сигнал широковещательной передачи может содержать сигнал широковещательной передачи, объединенный с сигналом телевизионного вещания или с радиовещательным сигналом.

Модуль 111 приема широковещательных передач также выполнен таким образом, что принимает сигналы широковещательной передачи, переданные из систем вещания различных типов. Такими системами вещания являются, в том числе, например, наземная система цифрового мультимедийного вещания (DMB-T), спутниковая система цифрового мультимедийного вещания (DMB-S), система цифрового телевещания для портативных устройств (DVB-H), система широковещательной передачи данных, известная как система передачи мультимедийной информации только по линии прямой связи (MediaFLO®) и наземная система цифрового вещания с комплексными услугами (ISDB-T). Также возможен прием многоадресных сигналов. Кроме того, данные, принятые модулем 111 приема широковещательных передач, могут быть запомнены в соответствующем устройстве, например в запоминающем устройстве 160.

Блок 110 беспроводной связи также содержит модуль 112 мобильной связи, который производит передачу радиосигналов в один или большее количество сетевых объектов (которыми являются, например, базовая станция, узел B (Node B))/прием радиосигналов из них. Этими сигналами могут являться, в том числе, звуковые сигналы, видеосигналы, мультимедийные сигналы, передаваемые сигналы управления, и данные.

Он также содержит модуль 113 беспроводного доступа к сети Интернет, который обеспечивает поддержку доступа к сети Интернет для терминала мобильной связи. Соединение модуля 113 с терминалом может быть внутренним или внешним. Блок 110 беспроводной связи также содержит модуль 114 ближней связи, который, соответственно, облегчает ближнюю связь. Технологиями, пригодными для реализации этого модуля, являются, в том числе, следующие: технология радиочастотной идентификации (RFID), технология передачи данных через инфракрасный порт согласно стандарту IrDA, утвержденному Ассоциацией по средствам передачи данных в инфракрасном диапазоне, технология ультраширокополосной радиосвязи (UWB), а также такие сетевые технологии, которые обычно именуют технологией Bluetooth и технологией ZigBee.

Блок 110 беспроводной связи также содержит модуль 115 определения местоположения, и он распознает местоположение терминала 100 мобильной связи или получает сведения о его местоположении иным способом. Модуль 115 определения местоположения может быть реализован с использованием компонентов Глобальной системы определения местоположения (GPS), которые взаимодействуют с соответствующими спутниками, с компонентами сети и с их комбинациями.

Кроме того, как показано на Фиг. 1, терминал 100 мобильной связи также содержит блок 120 ввода звуковых/видео (A/V) сигналов, который обеспечивает подачу звуковых или видеосигналов в терминал 100 мобильной связи. Как показано на чертеже, блок 120 ввода звуковых/видео (A/V) сигналов содержит камеру 121 и микрофон 122. Камера 121 получает и обрабатывает кадры изображений фотографических снимков или видеофильмов.

Кроме того, когда портативное устройство находится в конкретном режиме, например в режиме телефонного разговора, в режиме записи и в режиме распознавания речи, то микрофон 122 принимает внешний звуковой сигнал. Затем принятый звуковой сигнал обрабатывают и преобразовывают в цифровые данные. Портативное устройство и, в частности, блок 120 ввода звуковых/видео (A/V) сигналов, также содержит алгоритмы удаления различных шумов, предназначенные для удаления шума, сгенерированного в ходе приема внешнего звукового сигнала. Кроме того, данные, сгенерированные блоком 120 ввода звуковых/видео (A/V) сигналов, могут быть сохранены в запоминающем устройстве 160, могут быть использованы блоком 150 вывода или могут быть переданы посредством одного или большего количества модулей блока 110 связи. При желании могут быть использованы два или большее количество микрофонов и/или две или большее количество камер.

Терминал 100 мобильной связи также содержит устройство 130 ввода пользовательских данных, которое осуществляет генерацию входных данных в ответ на манипуляции пользователя с соответствующим устройством или с соответствующими устройствами ввода. Примерами таких устройств являются, в том числе, кнопочная панель, переключатель с эластичной клавишей куполообразной формы (dome switch), сенсорная панель (например, основанная на изменении электрической емкости при приложении статического давления), колесико управления (jog wheel) и джойстик-переключатель (jog switch). Конкретным примером является следующий: устройство 130 ввода пользовательских данных выполнено в виде сенсорной панели, взаимодействующей с дисплеем с сенсорным экраном, более подробное описание которого приведено ниже.

Терминал 100 мобильной связи также содержит датчик 140, и этот датчик 140 обеспечивает измерения состояния различных аспектов работы терминала 100 мобильной связи. Например, датчик 140 может регистрировать, находится ли терминал 100 мобильной связи в открытом/закрытом состоянии, относительное расположение компонентов (например, дисплея и кнопочной панели) терминала 100 мобильной связи, изменение местоположения терминала 100 мобильной связи или компонента терминала 100 мобильной связи, наличие или отсутствие контакта пользователя с терминалом 100 мобильной связи, ориентацию или ускорение/замедление перемещения терминала 100 мобильной связи и т.д.

Например, когда терминалом 100 мобильной связи является терминал мобильной связи сдвижного типа, датчик 140 может регистрировать, является ли сдвижная часть терминала 100 мобильной связи открытой или закрытой. Другими примерами являются, в том числе, следующие: датчик 140 регистрирует наличие или отсутствие электропитания, обеспечиваемого источником 190 электропитания, наличие или отсутствие связи или иного соединения между блоком 170 интерфейса и внешним устройством, и т.д.

Кроме того, блок 170 интерфейса часто реализован таким образом, что обеспечивает связь терминала 100 мобильной связи с внешними устройствами. Типичными внешними устройствами являются, в том числе, проводные/беспроводные головные телефоны, внешние зарядные устройства, источники электропитания, устройства хранения данных, выполненные таким образом, что обеспечивают хранение данных (например, звуковых данных, видеоинформации, изображений и т.д.), наушники и микрофоны. Кроме того, блок 170 интерфейса может быть сконфигурирован с использованием проводного/беспроводного порта передачи данных, разъема для плат (например, для соединения с платой памяти, с платой модуля идентификации абонента (SIM-картой), с платой модуля идентификации абонента (UIM), с платой сменного модуля идентификации абонента (RUIM) и т.д.), портов ввода/вывода звукового сигнала и портов ввода/вывода видеосигнала.

Блок 150 вывода обычно содержит различные компоненты, которые обеспечивают вывод требуемых сигналов в терминале 100 мобильной связи. Терминал 100 мобильной связи также содержит дисплей 151, который обеспечивает визуальное отображение информации, связанной с терминалом 100 мобильной связи. Например, если терминал 100 мобильной связи работает в режиме телефонного разговора, то дисплей 151 обычно обеспечивает интерфейс пользователя или графический интерфейс пользователя, содержащий информацию, связанную с заказом, проведением и завершением телефонного разговора. В качестве другого примера, если терминал 100 мобильной связи находится в режиме видеотелефонного разговора или в режиме фотографирования, то дисплей 151 может дополнительно или в альтернативном варианте выводить на экран дисплея изображения, связанные с этими режимами.

Кроме того, дисплей 151 также предпочтительно содержит сенсорный экран, работающий во взаимодействии с устройством ввода, например сенсорную панель. Такая конфигурация позволяет дисплею 151 функционировать как в качестве устройства вывода, так и в качестве устройства ввода. Кроме того, дисплей 151 может быть реализован с использованием, в том числе, таких технологий отображения информации, как, например, жидкокристаллический дисплей (LCD), жидкокристаллический дисплей на тонкопленочных транзисторах (TFT-LCD), дисплей на органических светоизлучающих диодах (OLED), гибкий дисплей и трехмерный дисплей.

Терминал 100 мобильной связи также может содержать один или большее количество таких дисплеев. Примером варианта осуществления с двумя дисплеями является следующий: один дисплей выполнен таким образом, что он является внутренним дисплеем (который виден тогда, когда терминал находится в открытом положении), а второй дисплей выполнен таким образом, что он является внешним дисплеем (который виден в обоих положениях: в открытом положении и в закрытом положении).

Кроме того, на Фиг.1 показано устройство 150 вывода, содержащее модуль 152 вывода звука, который обеспечивает вывод требуемых звуковых сигналов в терминале 100 мобильной связи. Модуль 152 вывода звука может быть реализован с использованием одного или большего количества громкоговорителей, зуммеров, других устройств создания звука и комбинаций этих устройств. Кроме того, модуль 152 вывода звука функционирует в различных режимах, в том числе в режиме приема телефонного вызова, в режиме выполнения телефонного вызова, в режиме записи, в режиме распознавания речи и в режиме приема широковещательных передач. Во время работы модуль 152 вывода звука выводит звуковые сигналы, связанные с конкретной функцией (например, с принятым телефонным вызовом, с принятым сообщением и с ошибками).

Кроме того, на чертеже показано, что блок 150 вывода дополнительно содержит сигнальное устройство 153, которое используют для сигнализации о возникновении конкретного события, связанного с терминалом 100 мобильной связи, или для распознавания факта его возникновения иным способом. Событиями, о которых сигнализируют, являются, в том числе, принятый вызов, принятое сообщение и принятые данные, введенные пользователем. Примером такого выходного эффекта является, в том числе, создание осязательных ощущений (например, вибрации) для пользователя. Например, сигнальное устройство 153 может быть выполнено таким образом, что вибрирует в ответ на прием телефонного вызова или сообщения терминалом 100 мобильной связи.

В качестве другого примера, сигнальное устройство 153 создает вибрацию в ответ на прием введенных пользователем данных в терминале 100 мобильной связи, обеспечивая, таким образом, механизм осязательной обратной связи. Кроме того, различные выходные эффекты, созданные компонентами устройства 150 вывода, могут быть реализованы по отдельности, или же такой выходной эффект может быть реализован с использованием любой комбинации этих компонентов.

Кроме того, для хранения различных типов данных для обеспечения требуемой обработки, требуемого управления и хранения данных в терминале 100 мобильной связи используют запоминающее устройство 160. Примерами таких данных являются, в том числе, программные команды для прикладных программ, работающих в терминале 100 мобильной связи, предыстория телефонных вызовов, данные о контактах, данные телефонной книги, сообщения, изображения, видеоинформация и т.д.

Кроме того, запоминающее устройство 160, показанное на Фиг. 1, может быть реализовано с использованием подходящих энергозависимых и энергонезависимых запоминающих устройств или устройств хранения данных любого типа, которыми являются, в том числе, оперативное запоминающее устройство (ОЗУ), статическое оперативное запоминающее устройство (статическое ОЗУ), электрически стираемое программируемое постоянное запоминающее устройство (ЭСППЗУ), стираемое программируемое постоянное запоминающее устройство (СППЗУ), программируемое постоянное запоминающее устройство (ППЗУ), постоянное запоминающее устройство (ПЗУ), магнитное запоминающее устройство, флэш-память, магнитный или оптический диск, запоминающее устройство на картах памяти или иное подобное запоминающее устройство или устройство для хранения данных, или с использованием комбинации этих устройств.

Терминал 100 также содержит контроллер 180, который обычно управляет функционированием всего терминала 100 мобильной связи. Например, контроллер 180 осуществляет управление и обработку, которые связаны с телефонными вызовами в режиме речевой связи, с передачей данных, с обменом мгновенными сообщениями, с вызовами в режиме видеотелефонной связи, с операциями камеры и с операциями записи. Как показано на Фиг. 1, контроллер 180 может также содержать мультимедийный модуль 181, предназначенный для обеспечения функций воспроизведения мультимедийной информации. Мультимедийный модуль 181 может быть выполнен в виде части контроллера 180 или может быть реализован в виде отдельного компонента.

Кроме того, источник 190 электропитания обеспечивает энергию, используемую различными компонентами портативного устройства. Предоставленное электропитание может быть внутренним электропитанием, внешним электропитанием или их комбинациями.

На следующем чертеже Фиг.2 терминал 100 мобильной связи согласно одному из вариантов осуществления настоящего изобретения показан на виде спереди-сбоку. Как показано на Фиг. 2, терминал 100 мобильной связи содержит первый корпус 200 выполненный таким образом, что может скользить по направляющим во взаимодействии со вторым корпусом 205. Устройство 130 ввода пользовательских данных, описанное со ссылкой на Фиг.1, может содержать первое устройство ввода данных, например функциональные кнопки 210, второе устройство ввода данных, например, кнопочную панель 215, и третье устройство ввода данных, например, боковые клавиши 245.

Функциональные кнопки 210 связаны с первым корпусом 200, а кнопочная панель 215 связана со вторым корпусом 205. Кнопочная панель 215 содержит различные клавиши (например, цифр, букв и символов), предоставляющие пользователю возможность сделать телефонный вызов, подготовить текстовое или мультимедийное сообщение и управлять терминалом 100 мобильной связи каким-либо иным способом.

Кроме того, первый корпус 200 может быть перемещен путем скольжения относительно второго корпуса 205 между открытым положением и закрытым положением. В закрытом положении первый корпус 200 расположен поверх второго корпуса 205 таким образом, что кнопочная панель 215 в значительной степени или полностью закрыта первым корпусом 200. В открытом положении возможен доступ пользователя к кнопочной панели 215, а также к дисплею 151 и к функциональным кнопкам 210,. Функциональные кнопки 210 удобны для ввода пользователем таких команд, как, например, команды "пуск", "стоп" и "прокрутка".

Кроме того, терминал 100 мобильной связи способен работать либо в режиме ожидания (в котором он, например, способен принять телефонный вызов или сообщение, принимать служебные сигналы управления сетью связи и реагировать на них), либо в режиме активного телефонного вызова. Как правило, терминал 100 мобильной связи функционирует в режиме ожидания тогда, когда он находится в закрытом положении, и в активном режиме тогда, когда он находится в открытом положении. Однако конфигурация режима может быть изменена при необходимости или по желанию.

Кроме того, первый корпус 200 сформирован из первого кожуха 220 и второго кожуха 225, и второй корпус 205 сформирован из первого кожуха 230 и второго кожуха 235. Первые и вторые кожухи предпочтительно выполнены из соответствующего материала, снабженного ребрами жесткости, например, из пластмассы, полученной способом литья под давлением, или сформованы с использованием металла, например нержавеющей стали (STS) и титана (Ti).

При желании может быть предусмотрено наличие одного или большего количества промежуточных кожухов, расположенных между первым и вторым кожухами одного из корпусов: первого корпуса 200 и второго корпуса 205, или обоих этих корпусов. Кроме того, первый корпус 200 и второй корпус 205 имеют такой размер, что вмещают в себя электронные компоненты, используемые для обеспечения функционирования терминала 100 мобильной связи.

Первый корпус 200 также содержит камеру 121 и устройство 152 вывода звука, которое выполнено в виде громкоговорителя, расположенного надлежащим образом относительно дисплея 151. Камера 121 также может быть сконструирована таким образом, что по выбору она может быть установлена в заданное положение (например, повернута, повернута на шарнире и т.д.) относительно первого корпуса 200.

Кроме того, рядом с нижней стороной дисплея 151 расположены функциональные кнопки 210. Как изложено выше, дисплей 151 может быть реализован в виде жидкокристаллического дисплея, ЖКД (LCD), или в виде дисплея на органических светоизлучающих диодах (OLED). Дисплей 151 также может быть выполнен в виде сенсорного экрана, снабженного расположенной под ним сенсорной панелью, которая осуществляет генерацию сигналов в ответ на прикосновение пользователя (например, пальцем, ручкой-стилусом и т.д.) к сенсорному экрану.

Второй корпус 205 также содержит микрофон 122, расположенный рядом с кнопочной панелью 215, и боковые клавиши 245, которые являются одним из типов устройств ввода пользовательских данных, расположенные вдоль боковой стороны второго корпуса 205. В предпочтительном варианте боковые клавиши 245 выполнены в виде клавиш быстрого вызова функций ("горячих клавиш") таким образом, что боковые клавиши 245 связаны с конкретной функцией терминала 100 мобильной связи. Как показано на чертеже, рядом с боковыми клавишами 245 расположен блок 170 интерфейса, а в нижней части второго корпуса 205 расположен источник 190 электропитания в виде аккумулятора.

На Фиг.3 терминал 100 мобильной связи, показанный на Фиг. 2. изображен на виде сзади-сбоку. Как показано на Фиг. 3, второй корпус 205 содержит камеру 121 и связанные с ней лампу-вспышку 250 и зеркало 255. Лампа-вспышка 250 функционирует вместе с камерой 121 второго корпуса 205, а зеркало 255 является полезным для содействия надлежащему расположению камеры 121 в режиме автопортрета пользователем. Кроме того, камера 121 второго корпуса 205 обращена в направлении, противоположном тому направлению, в котором обращена камера 121 первого корпуса 200, показанная на Фиг. 2.

Кроме того, каждая из камер 121 первого и второго корпусов 200 и 205 может иметь одинаковые или различные функциональные возможности. Например, в одном из вариантов осуществления изобретения камера 121 первого корпуса 200 работает с относительно более низкой разрешающей способностью, чем камера 121 второго корпуса 205. Такое устройство работает хорошо, например, во время телефонной связи в режиме видеоконференции, когда пропускная способность линии обратной связи может быть ограниченной. Кроме того, относительно более высокая разрешающая способность камеры 121 второго корпуса 205 (Фиг. 3) является полезной для получения более высококачественных изображений для их использования впоследствии.

Второй корпус 205 также содержит модуль 152 вывода звука, который выполнен в виде громкоговорителя, и который расположен в верхней части второго корпуса 205. Модули выхода звукового сигнала первого и второго корпусов 200 и 205 могут также взаимодействовать друг с другом для обеспечения вывода стереозвука. Кроме того, любой из этих модулей вывода звука или оба из них могут быть выполнены таким образом, что функционируют в качестве устройства громкоговорящей связи.

Терминал 100 также содержит антенну 260 для приема сигнала широковещательной передачи, расположенную на верхнем торце второго корпуса 205. Антенна 260 функционирует во взаимодействии с модулем 111 приема широковещательных передач (показанным на Фиг. 1). При желании антенна 260 может быть установлена или выполнена таким образом, что способна втягиваться во второй корпус 205. Кроме того, задняя сторона первого корпуса 200 содержит модуль 265 скольжения по направляющим, который соединен с соответствующим модулем скольжения по направляющим, расположенным на передней стороне второго корпуса 205, с возможностью его перемещения путем скольжения.

Кроме того, проиллюстрированная компоновка различных компонентов первого и второго корпусов 200 и 205 может быть видоизменена при необходимости или по желанию. В общем случае, в альтернативном варианте некоторые или все компоненты одного корпуса могут быть реализованы таким образом, что они расположены в другом корпусе. Кроме того, местоположение и относительное расположение таких компонентов может быть таким, что их места расположения отличаются от тех, которые показаны на представленных чертежах.

Кроме того, терминал 100 мобильной связи, показанный на чертежах Фиг. 1-3, может быть выполнен таким образом, что работает в системе связи, осуществляющей передачу данных посредством кадров или пакетов, в том числе, не только в системах беспроводной связи, но и в системах проводной связи, и в системах спутниковой связи. В таких системах связи используют различные интерфейсы радиосвязи и/или физические уровни.

Примерами таких интерфейсов радиосвязи, используемых в системах связи, являются, в том числе, например, следующие: множественный доступ с частотным разделением, МДЧР (FDMA), множественный доступ с временным разделением, МДВР (TDMA), множественный доступ с кодовым разделением, МДКР (CDMA), и интерфейс радиосвязи Универсальной системы мобильной связи (UMTS), стандарт интерфейса радиосвязи в рамках программы долгосрочного развития (LTE) Универсальной системы мобильной связи (UMTS) и интерфейс радиосвязи Глобальной системы мобильной связи (GSM). В качестве только лишь примера, не являющегося ограничивающим признаком, приведенное ниже описание относится к системе связи МДКР, но идея этого изобретения равным образом применима и к системам других типов.

На следующем чертеже Фиг. 4 проиллюстрирована система беспроводной связи МДКР, содержащая множество терминалов 100 мобильной связи, множество базовых станций (БС) 270, множество контроллеров 275 базовых станций (КБС) и коммутационный центр 280 мобильной связи (КЦМС).

КЦМС 280 сконфигурирован таким образом, что соединен с помощью интерфейса с коммутируемой телефонной сетью 290 общего пользования (КТСОП), и КЦМС 280 также таким образом, что соединен с помощью интерфейса с контроллерами 275 базовых станций (КБС). Кроме того, контроллеры 275 базовых станций (КБС) связаны с базовыми станциями 270 через линии обратной связи. Кроме того, линии обратной связи могут быть сконфигурированы в соответствии с любым из нескольких интерфейсов, которыми являются, в том числе, например, интерфейс линии E1/T1, интерфейс линии асинхронного режима передачи (ATM), интерфейс протокола сети Интернет (IP), интерфейс протокола соединения "точка-точка" (PPP), интерфейс протокола ретрянсляции кадров (Frame Relay), интерфейс высокоскоростной цифровой абонентской линии (HDSL), ассиметричной цифровой абонентской линии (ADSL) или цифровых абонентских линий по технологии xDSL. Кроме того, система может содержать более двух контроллеров 275 базовых станций (КБС).

К тому же, каждая базовая станция 270 может содержать один или большее количество секторов, при этом каждый сектор содержит всенаправленную антенну или антенну, направленную в конкретном направлении по радиусу от базовой станции 270. В альтернативном варианте каждый сектор может содержать две антенны для приема с разнесением. Кроме того, каждая базовая станция 270 может быть выполнена таким образом, что обеспечивает поддержку множества распределений предоставленных частот, причем каждое распределение предоставленных частот имеет конкретную ширину спектра (например, 1,25 МГц, 5 МГц).

Пересечение сектора и предоставленных частот может именоваться каналом МДКР. Базовые станции 270 также могут именоваться подсистемами приемопередатчика базовой станции, ППБС (BTS). В некоторых случаях термин "базовая станция" может использоваться таким образом, что он относится к совокупности из КБС 275 и одной или большего количества базовых станций 270.

Базовые станции 270 также могут именоваться "узлами сети сотовой связи". В альтернативном варианте узлами сети сотовой связи именоваться отдельные сектора конкретной базовой станции 270 могут. Кроме того, показан передатчик 295 наземной системы цифрового мультимедийного вещания (DMB), осуществляющий широковещательную передачу в терминалы 100 мобильной связи, работающие в системе.

Кроме того, модуль 111 приема широковещательных передач (показанный на Фиг.1) терминала 100 мобильной связи обычно выполнен таким образом, что способен принимать сигналы широковещательной передачи, переданные передатчиком 295 системы цифрового мультимедийного вещания (DMB). Как изложено выше, аналогичные устройства могут быть реализованы для других типов широковещательной и многоадресной передачи сигналов.

Кроме того, на Фиг.4 проиллюстрировано несколько спутников 300 Глобальной системы определения местоположения (GPS). Эти спутники облегчают определение местоположения некоторых или всех терминалов 100 мобильной связи. На Фиг. 4 показаны два спутника, но информация о местоположении может быть получена посредством большего или меньшего количества спутников.

Кроме того, модуль 115 определения местоположения (показанный на Фиг. 1) терминала 100 мобильной связи обычно выполнен таким образом, что взаимодействует со спутниками 300 для получения желательной информации о местоположении. Однако в альтернативном варианте может быть реализована техника определения местоположения иных типов, например такая техника определения местоположения, которая может использоваться в дополнение к технологии определения местоположения посредством Глобальной системы определения местоположения (GPS) или вместо нее. В альтернативном варианте или в дополнение к этому некоторые или все спутники 300 Глобальной системы определения местоположения (GPS) могут быть устроены таким образом, что обеспечивают передачу программ цифрового мультимедийного вещания (DMB) со спутников.

Кроме того, во время обычной работы системы беспроводной связи базовые станции 270 принимают наборы сигналов, передаваемых по линиям обратной связи из различных терминалов 100 мобильной связи. Терминалы 100 мобильной связи участвуют в телефонных вызовах, в обмене сообщениями и в других видах связи.

Кроме того, каждый сигнал, переданный по линии обратной связи, который принят конкретной базовой станцией 270 обрабатывают в этой же базовой станции 270 и результирующие данные пересылают в соответствующий КБС 275. КБС 275 обеспечивает распределение ресурсов телефонного вызова и функциональные возможности управления мобильностью, в том числе, "мягкими" эстафетными передачами управления связью между базовыми станциями 270.

Кроме того, контроллеры 275 базовых станций (КБС) также направляют принятые данные в КЦМС 280, который обеспечивает дополнительные услуги маршрутизации для связи с КТСОП 290. Аналогичным образом, КТСОП служит средством связи с КЦМС 280, а КЦМС 280 служит средством связи с контроллерами 275 базовых станций (КБС). Контроллеры 275 базовых станций (КБС) также управляют базовыми станциями 270 для обеспечения передачи наборов сигналов по линии прямой связи в терминалы 100 мобильной связи.

В приведенном ниже описании дано объяснение способа управления, применимого для терминала 100 мобильной связи, сконфигурированного описанным выше способом, в различных вариантах осуществления изобретения. Однако описанные ниже варианты осуществления изобретения могут быть реализованы независимо или посредством их комбинаций. В дополнение к этому, в приведенном ниже описании предполагают, что дисплей 151 содержит сенсорный экран. Кроме того, сенсорный экран или его экран обозначен ниже номером позиции '400'.

В одном из вариантов осуществления настоящего изобретения терминал мобильной связи задает область (или диапазон информационного поиска) баз данных, используемую в качестве опорной информации для распознавания речевой команды в виде области, связанной с конкретным меню или с конкретными услугами. Соответственно, увеличивается процент правильно распознанных слов для речевой команды и уменьшается общий объем ресурсов, используемых терминалом мобильной связи.

Кроме того, область базы данных, используемая в качестве опорной информации для распознавания речевой команды, может быть задана посредством меню установки режима работы терминала мобильной связи. К тому же, после того, как активирована функция распознавания речи, заданная область может быть применена автоматически.

В приведенном ниже описании предполагают, что заранее заданная область базы данных для распознавания речевой команды содержит информацию, связанную с меню, которое отображают на дисплее 151 в текущий момент времени, или информацию, связанную с подменю одного из меню.

На следующем чертеже Фиг. 5 показана схема последовательности операций способа управления меню для терминала мобильной связи посредством речевой команды согласно одному из вариантов осуществления настоящего изобретения. В приведенном ниже описании также ссылаются на Фиг. 1. Как показано на Фиг. 5, контроллер 180 определяет, была ли активирована функция распознавания речи (операция S101).

Затем функция распознавания речи может быть активирована пользователем, выбирающим аппаратные клавиши на терминале мобильной связи, или сенсорные клавиши, отображенные на модуле 151 дисплея. Пользователь также может активировать функцию распознавания речи путем манипуляций с конкретными меню, отображенными на дисплее 151. Функция распознавания речи также может быть активирована пользователем, создающим конкретные звуки или звуковые эффекты, посредством радиосигналов ближнего или дальнего действия или посредством информации, исходящей от тела пользователя, например, посредством жеста рукой или телодвижения.

В более подробном изложении конкретными звуками или звуковыми эффектами могут являться, в том числе, звуки удара, уровень громкости которых превышает определенный уровень. Кроме того, конкретные звуки или звуковые эффекты могут быть зарегистрированы с использованием алгоритма распознавания уровня громкости. В дополнение к этому, в предпочтительном варианте алгоритм распознавания уровня громкости является более простым, чем алгоритм распознавания речи и, следовательно, потребляет меньший объем ресурсов терминала мобильной связи. К тому же, алгоритм (или схема) распознавания уровня громкости может быть реализована отдельно от алгоритма или схемы распознавания речи, или он может быть реализован таким образом, что задает некоторые функции алгоритма распознавания речи.

Кроме того, радиосигналы могут быть приняты посредством блока 110 беспроводной связи, а сведения о жестах рукой или о телодвижениях пользователя могут быть получены посредством датчика 140. Таким образом, в одном из вариантов осуществления из настоящего изобретения блок 110 беспроводной связи, устройство 130 ввода пользовательских данных и датчик 140 могут именоваться устройством ввода сигнала. Кроме того, функция распознавания речи также может быть завершена аналогичным способом.

Физическая активация функции распознавания речи пользователем является особенно целесообразной потому, что пользователь является более осведомленным о том, что он собирается использовать речевые команды для управления терминалом. То есть, поскольку пользователь сначала должен выполнить физическую манипуляцию с терминалом, то он или она интуитивно осознают, что они собираются ввести речевую команду или инструкцию в терминал и, следовательно, говорят более отчетливо или более медленно, чтобы тем самым активировать конкретную функцию. Таким образом, поскольку пользователь говорит более отчетливо или более медленно, то, например, возрастает вероятность точного распознавания речевых команд. То есть, в одном из вариантов осуществления настоящего изобретения активацию функции распознавания речи выполняют посредством физической манипуляции с клавишей на терминале, а не путем активации функции распознавания речи, говоря в терминал.

Затем контроллер 180 может начать или завершить активацию функции распознавания речи на основании того, какое количество раз пользователь прикоснулся к конкретной клавише или к конкретному участку сенсорного экрана, как долго пользователь прикасается к конкретной клавише или к конкретному участку сенсорного экрана, и т.д. Пользователь также может задать то, каким образом контроллер 180 должен активировать функцию распознавания речи с использованием надлежащего пункта меню, что обеспечивается настоящим изобретением. Например, пользователь может выбрать на терминале тот пункт меню, который содержит: 1) установку активации распознавания речи на основании того количества раз, равного X, которое была выбрана клавиша речевого управления, 2) установку активации распознавания речи на основании количества времени, равного X, в течение которого была выбрана клавиша речевого управления, 3) установку активации распознавания речи тогда, когда выбраны клавиши X и Y, и т.д. Затем пользователь может ввести значения X и Y для задания того, каким образом контроллер 180 определяет факт активации функции речевой активации распознавания, с возможностью изменения этих параметров. Таким образом, согласно одному из вариантов осуществления настоящего изобретения пользователь активно задействует функцию речевого управления, имеющуюся в его собственном терминале мобильной связи, что увеличивает вероятность определения контроллером 180 правильной функции, соответствующей речевой команде пользователя и что предоставляет пользователю возможность приспособить функцию речевого управления в соответствии с его или ее потребностями.

Контроллер 180 также может сохранять активированное состояние функции распознавания речи в течение времени прикосновения к заданной клавише (к заданным клавишам) или в течение времени нажатия на нее (на них) и прекращать выполнение функции распознавания речи, когда заданная клавиша отпущена (заданные клавиши отпущены). В альтернативном варианте контроллер 180 может сохранять активацию функции распознавания речи в течение заранее заданного промежутка времени после прикосновения к заданной клавише (к заданным клавишам) или нажатия на нее (на них) и прекращать или завершать выполнение функции распознавания речи по истечении заранее заданного промежутка времени. В еще одном варианте осуществления изобретения контроллер 180 может сохранять принятые речевые команды в запоминающем устройстве 160 в течение того времени, когда функция распознавания речи поддерживается в активированном состоянии.

Кроме того, как показано на Фиг. 5, область базы данных, используемую в качестве опорной информации для распознавания смысла речевой команды, указывают как информацию, связанную с конкретными функциями или меню в терминале (операция S102). Например, заданная область базы данных может быть указана в информации, связанной с меню, отображаемым на дисплее 151 в текущий момент времени, или в информации, связанной с подменю одного из отображенных меню. Кроме того, поскольку задана область базы данных, то увеличивается процент правильно распознанных слов для введенной речевой команды. Примерами областей являются, в том числе, следующие: область электронной почты, область принятых телефонных вызовов, область мультимедийной информации и т.д.

Информация, связанная с подменю, также может быть сконфигурирована в виде данных, находящихся в базе данных. Например, информация может быть сконфигурирована в виде ключевого слова, и множество фрагментов информации может соответствовать одной функции или меню. Кроме того, база данных может представлять собой множество баз данных, соответствующих характерным особенностям информации, и она может храниться в запоминающем устройстве 160.

Кроме того, информация в базе (в базах) данных может быть целесообразным образом скорректирована или обновлена посредством процесса обучения. Каждая область соответствующих баз данных также может быть задана в виде области, связанной с функциями или с меню, выводимыми в текущий момент времени, для увеличения процента правильно распознанных слов речевой команды. Эта область также может быть изменена при дальнейшем прохождении по пунктам меню.

После того, как была активирована функция распознавания речи (результатом операции S101 является "ДА"), и была задана область (операция S102), контроллер 180 определяет, введена ли пользователем речевая команда (операция S103). В том случае, когда контроллер 180 определяет, что пользователем была введена речевая команда (результатом операции S103 является "ДА"), контроллер 180 анализирует контекст и содержание речевой команды или инструкции, введенной через микрофон 122, на основании конкретной базы данных, выясняя, тем самым, смысл речевой команды (операция S104).

Кроме того, контроллер 180 может определять смысл речевой инструкции или команды на основании модели языка и акустической модели области, к которой осуществляют доступ. В более подробном изложении модель языка связана непосредственно с самими словам, а акустическая модель соответствует тому, каким образом произнесены слова (например, частотным составляющим произносимых слов или фраз). Используя модель языка и акустическую модель совместно с конкретной областью и со сведениями о режиме работы терминала 100 мобильной связи, контроллер 180 может эффективно определять смысл введенных речевых инструкций или команд.

Кроме того, контроллер 180 может незамедлительно начать выполнение процедуры выяснения смысла введенной речевой команды, когда пользователь прекращает активацию функции распознавания речи, в том случае, когда контроллер 180 сохраняет введенную речевую команду в запоминающем устройстве 160, или может выполнять функцию речевого управления одновременно с вводом речевой команды.

Затем, если речевая команда не была введена полностью (результатом операции S103 является "НЕТ"), то контроллер 180 может по-прежнему выполнять иные функции. Например, если пользователь выполняет иное действие путем прикосновения к пункту меню на экране и т.д. или нажимает клавишу на терминале (результатом операции S109 является "ДА"), то контроллер 180 выполняет соответствующую выбранную функцию (операция S110).

Затем, после того, как при операции S104 контроллером 180 определен смысл введенной речевой команды, контроллер 180 выводит результирующее значение смысла команды (операция S105). То есть, результирующее значение может содержать управляющие сигналы для реализации меню, связанных с функциями или услугами, которые соответствуют определенному смыслу, для управления конкретными компонентами терминала мобильной связи и т.д. Результирующее значение также может содержать данные для визуального отображения информации, связанной с распознанной речевой командой.

Контроллер может также выдать запрос о том, чтобы пользователь подтвердил, что выведенное результирующее значение является точным (операция S106). Например, в том случае, когда процент правильно распознанных слов в речевой команде является низким, или когда определено, что она имеет множество смыслов, контроллер 180 может вывести множество меню, связанных с соответствующими смыслами, а затем реализовать то меню, которое выбрано пользователем (операция S107). Контроллер 180 может также выдать пользователю запрос о том, следует ли реализовать конкретное меню, которому соответствует высокий процент правильно распознанных слов, а затем выполнить или отобразить на дисплее соответствующую функцию или соответствующее меню по выбору пользователя или согласно его ответу.

Кроме того, контроллер 180 также может вывести речевое сообщение, прося пользователя выбрать конкретное меню или пункт меню, например, следующее речевое сообщение: "Do you want to execute a photo album menu? Reply with Yes or No" ("Желаете ли Вы реализовать меню "фотоальбом"? Ответьте "да" или "нет""). Затем контроллер 180 выполняет или не выполняет функцию, соответствующую конкретному меню или пункту меню на основании ответа пользователя. Если пользователь не ответил в течение конкретного промежутка времени (равного, например, пяти секундам), то контроллер 180 может также незамедлительно реализовать конкретное меню или пункт меню. То есть, если ответ от пользователя не получен, то контроллер 180 может автоматически выполнить функцию или реализовать меню, полагая, что отсутствие ответа является положительным ответом.

Кроме того, пользователь может ответить на вопрос из контроллера 180 с использованием его или ее голоса (например "да" или "нет") или посредством других устройств ввода, например аппаратных или программных клавиш, сенсорной панели и т.д. Кроме того, если при операции S106 от пользователя получен отрицательный ответ (результатом операции S106 является "НЕТ"), то есть, если смысл речевой команды точно не определен, то контроллер 180, может выполнить дополнительную операцию обработки ошибок (операция S108).

То есть, операция обработки ошибок может быть выполнена путем повторного приема введенной речевой команды или может быть выполнена путем отображения множества меню, для которых процент правильно распознанных слов превышает определенный уровень или множество меню, которые могут считаться имеющими аналогичный смысл. Затем пользователь может выбрать одно из множества меню. К тому же, когда количество функций или меню, для которых процент правильно распознанных слов превышает определенный уровень, является меньшим, чем заранее заданное количество (равное, например, двум), контроллер 180, может автоматически выполнить соответствующую функцию или реализовать соответствующее меню.

На следующем чертеже Фиг. 6A в общем виде показан способ активации функции распознавания речи для терминала мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Как показано на чертеже, пользователь может активировать функцию распознавания речи на экране 410 дисплея путем прикосновения к виртуальной клавише 411. Пользователь может также завершить функцию распознавания речи путем отпускания виртуальной клавиши 411. В более подробном изложении пользователь может активировать функцию распознавания речи путем прикосновения к виртуальной клавише 411 и продолжительного прикосновения к виртуальной клавише 411 или к аппаратной клавише 412 до тех пор, пока речевая команда не будет завершена. То есть, пользователь может отпустить виртуальную клавишу 411 или аппаратную клавишу 412 по завершении речевой команды. Таким образом, контроллер 180 является осведомленным о том, когда следует ввести речевую команду, и о том, когда речевая команда была завершена. Как изложено выше, поскольку пользователь непосредственно вовлечен в определение этого, то точность интерпретации введенной речевой команды повышается.

Контроллер 180 также может быть выполнен таким образом, что распознает начало функции речевого управления, когда пользователь впервые прикасается к виртуальной клавише 411, и затем распознает тот факт, что речевая команда была завершена, например, когда пользователь прикасается к виртуальной клавиши 411 во второй раз. Также возможны и другие способы выбора. Кроме того, как показано на экране 410 дисплея на Фиг. 6A, вместо того, чтобы использовать виртуальную клавишу 411, включение и отключение речевого управления могут быть выполнены путем манипуляций с аппаратной клавишей 412 на терминале.

Кроме того, виртуальная клавиша 411, показанная на экране 410 дисплея, может представлять собой одиночную виртуальную клавишу, которую пользователь нажимает или отпускает для включения/отключения функции распознавания речи, или может представлять собой кнопку вызова меню, которая при ее выборе создает перечень меню (например: "1. Включить речевое управление и 2. Отключить речевое управление"). Виртуальная клавиша 411 также может отображаться на дисплее, например, во время режима ожидания.

В другом примере, и как показано на экране 420 дисплея, пользователь может также включать и отключать функцию распознавания речи путем прикосновения к произвольному месту экрана. Экран 430 дисплея иллюстрирует еще один пример, в котором пользователь включает и отключает функцию распознавания речи путем создания конкретных звуков или звуковых эффектов, уровень громкости которых превышает конкретный уровень. Например, для создания такого звука удара пользователь может хлопнуть в ладоши.

Таким образом, согласно одному из вариантов осуществления настоящего изобретения функция распознавания речи может быть реализована в двух режимах. Например, функция распознавания речи может быть реализована в первом режиме для обнаружения конкретных звуковых или звуковых эффектов, уровень громкости которых превышает определенный уровень, и во втором режиме для распознавания речевой команды и для определения смысла речевой команды. Если в первом режиме уровень громкости звуков или звуковых эффектов превышает определенный уровень, то активируют второй режим, чтобы посредством него распознать речевую команду.

Экран 440 дисплея иллюстрирует еще один способ включения и отключения пользователем функции распознавания речи. В этом примере контроллер 180 выполнен таким образом, что интерпретирует движения тела пользователя для включения и отключения функции речевого управления. Например, и как показано на экране 440 дисплея, контроллер 180 может быть выполнен таким образом, что интерпретирует движение руки пользователя к дисплею как команду активирования функции распознавания речи и движение руки пользователя от дисплея как команду завершения функции речевого управления. Для включения и отключения функции распознавания речи также могут использоваться радиосигналы ближнего или дальнего действия.

Таким образом, согласно одному из вариантов осуществления настоящего изобретения, поскольку функцию речевого управления включают и отключают, то функцию распознавания речи выполняют с перерывами. То есть, когда функция распознавания речи непрерывно поддерживается в активированном состоянии, то объем потребляемых ресурсов в терминале мобильной связи возрастает по сравнению с вариантом осуществления настоящего изобретения.

Кроме того, как изложено выше со ссылкой на Фиг. 5, когда функция распознавания речи активирована, то контроллер 180 задает область конкретной базы данных, используемую в качестве опорной информации для распознавания речевой команды, в виде области, связанной с перечнем меню на дисплее 151. Затем, если из перечня меню выбрано или реализовано конкретное меню, то область базы данных может быть определена в виде информации, связанной с выбранным меню или подменю конкретного меню.

Кроме того, когда конкретное меню выбрано или реализовано посредством речевой команды или сенсорного ввода данных, то контроллер 180 может вывести справочную информацию, связанную с подменю конкретного меню, в виде речевого сообщения или в виде всплывающих окон или подсказок. Например, как показано на Фиг. 6Б, когда пользователь выбирает меню "мультимедийная информация" путем операции прикосновения или речевой команды, контроллер 180 отображает на дисплее информацию, связанную с подменю (которыми являются, например, следующие пункты меню: "широковещательная передача", "камера", "средство просмотра текста", "игра" и т.д.) меню "мультимедийная информация", в качестве справочной информации 441 в виде всплывающей подсказки. В альтернативном варианте контроллер 180 может вывести речевой сигнал 442, содержащий справочную информацию. Затем пользователь может выбрать один из пунктов справочной информации с использованием речевой команды или посредством операции прикосновения.

На Фиг.6В проиллюстрирован вариант осуществления изобретения, в котором пользователь выбирает пункт меню с использованием движений его или ее тела (которым в этом примере являются жест рукой пользователя). В более подробном изложении, когда пользователь придвигает его или ее палец ближе к пункту меню 443, контроллер 180 выводит на экран дисплея подменю 444, связанные с меню 443. Контроллер 180 может распознавать информацию о движении тела пользователя, например, посредством датчика 140. Кроме того, выведенная на экран дисплея справочная информация может быть отображена таким образом, что имеет прозрачность или яркость, регулируемую в соответствии с расстоянием до пользователя. То есть, по мере приближения руки пользователя элементы, выведенные на экран дисплея, могут быть дополнительно выделены яркостью.

Как изложено выше, контроллер 180 может быть выполнен таким образом, что определяет факт включения и отключения функции распознавания речи на основании множества различных способов. Например, пользователь может выбрать/привести в действие виртуальные или аппаратные клавиши, прикоснуться к сенсорному экрану в произвольном месте и т.д. Контроллер 180 также может сохранять активацию функции распознавания речи в течение заранее заданного промежутка времени, а затем автоматически завершить активизацию в конце заранее заданного промежутка времени. Кроме того, контроллер 180 может сохранять активацию только лишь в течение времени нажатия на конкретную клавишу или выполнения операции прикосновения, а затем автоматически завершает активацию при отпускании этого средства ввода данных. Контроллер 180 может также завершать процесс активации, когда речевая команда больше не поступает на вход в течение определенного количества времени.

На следующем чертеже Фиг. 7A показана схема последовательности операций способа распознавания речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Со ссылкой на Фиг. 7A, когда функция распознавания речи активирована, то контроллер 180 задает область базы данных, которая может использоваться в качестве опорной информации для распознавания речевой команды, в виде области, связанной с меню, отображенному на дисплее 151, или к подменю этого меню (операция S201). Пользователь также вводит речевую команду (операция S202) либо с использованием точного наименования меню, либо с использованием естественного языка (например, разговорного английского языка).

Затем контроллер 180 сохраняет входную речевую команду в запоминающем устройстве 160 (операция S203). Кроме того, когда речевая команда введена таким образом, что соответствует заданной области, контроллер 180 анализирует контекст и содержание речевой команды на основании заданной области с использованием алгоритма распознавания речи. Кроме того, речевая команда может быть преобразована в текстовую информацию для ее анализа (операция S204), а затем запомнена в конкретной базе данных в запоминающем устройстве 160. Однако операция преобразования речевой команды в текстовую информацию может быть опущена.

Затем для анализа контекста и содержания речевой команды контроллер 180 обнаруживает характерное слово или ключевое слово речевой команды (операция S205). На основании обнаруженных слов или ключевых слов контроллер 180 анализирует контекст и содержание речевой команды и определяет или выясняет смысл речевой команды путем обращения к информации, хранящейся в конкретной базе данных (операция S206).

Кроме того, как изложено выше, база данных, используемая в качестве опорной информации, содержит заданную область, и выполняют функции или реализуют меню, соответствующие смыслу речевой команды, выясненному на основании базы данных (операция S207). Кроме того, поскольку базу данных для распознавания речи задают для каждой информации, связанной с конкретным меню, то увеличивается процент правильно распознанных слов и скорость распознавания речевой команды, а объем ресурсов, используемый в терминале, уменьшается. Кроме того, процент правильно распознанных слов указывает степень соответствия с наименованием, заранее заданным для конкретного меню.

О проценте правильно распознанных слов для введенной речевой команды также можно судить по объему информации, связанной с конкретными функциями или меню, которые вызывают посредством речевой команды. Следовательно, процент правильно распознанных слов для введенной речевой команды увеличивается в том случае, когда информация в точности соответствует конкретной функции или меню (например, наименованию меню), содержащейся в речевой команде.

В более подробном изложении, на Фиг. 7Б в общем виде показан способ распознавания речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Как показано на Фиг. 7Б, пользователь вводит на естественном языке речевую команду, состоящую из шести слов: "I want to see my pictures" ("Я хочу увидеть мои изображения"). В этом примере о проценте правильно распознанных слов можно судить на основании количества значащих слов (которыми являются, например, "see" ("увидеть"), "pictures" ("изображения")), связанных с конкретным меню (например, с меню "фотоальбом"). Кроме того, контроллер 180 может определять, являются ли слова, содержащиеся в речевой команде, значащими словами, связанными с конкретной функцией или с конкретным меню, на основании информации, хранящейся в базе данных. Например, незначащими словами, содержащимися в речевой команде естественного языка, которые не связаны с конкретным меню, могут являться следующие: подлежащее "I" ("я"), предлог "to" и притяжательное местоимение "my" ("мои").

К тому же, естественным языком является язык, обычно используемый людьми, и его концепция является противоположной концепции искусственного языка. Кроме того, обработка данных естественного языка может быть осуществлена с использованием алгоритма обработки естественного языка. Естественный язык может содержать или может не содержать точное наименование, связанное с конкретным меню, что иногда вызывает трудности при совершенно точном распознавании речевой команды. Следовательно, согласно варианту осуществления настоящего изобретения, когда процент правильно распознанных слов речевой команды превышает определенный уровень (равный, например, 80%), то контроллер 180 принимает решение о том, что распознавание является точным.

Кроме того, когда контроллер 180 полагает, что множество меню имеют аналогичный смысл, то контроллер 180 выводит на экран дисплея множество меню, и пользователь может выбрать одно из выведенных на экран дисплея меню для выполнения его функций. Кроме того, меню, которому соответствует относительно более высокий процент правильно распознанных слов, может быть отображено первым по порядку или может быть отображено более отчетливо по сравнению с другими меню.

Например, на Фиг. 8 в общем виде показан способ отображения меню в соответствии с процентом правильно распознанных слов при распознавании речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Как показано на Фиг. 8, пиктограмму меню, которому соответствует более высокий процент правильно распознанных слов, отображают в центральной части экрана 510 дисплея, или же она может быть отображена имеющей больший размер или более темный цвет, как показано на экране 520 дисплея. Пиктограмма меню, которому соответствует более высокий процент правильно распознанных слов, может быть также отображена первой, а далее следуют, по порядку или последовательно, меню с более низкими процентами правильно распознанных слов.

Кроме того, контроллер 180 может отчетливо отображать множество меню путем изменения, по меньшей мере, одного из следующих параметров: размера, положения, цвета, яркости меню, или путем выделения их яркостью в порядке более высокого процента правильно распознанных слов. Прозрачность меню также может быть надлежащим образом изменена или отрегулирована.

Кроме того, как показано в нижней части Фиг.8, меню, имеющее более высокую частоту его выбора пользователем, может быть скорректировано или задано таким образом, чтобы оно соответствовало проценту правильно распознанных слов. То есть, контроллер 180 запоминает предысторию выборов, сделанных пользователем, (операция S301) и выполняет процесс обучения (операция S302), чтобы посредством него скорректировать конкретный процент правильно распознанных слов для того пункта меню, который пользователь выбирал более часто, чем другие пункты меню (операция S303). Таким образом, к проценту правильно распознанных слов для меню могут быть применены данные о том количестве раз, которое часто используемое меню выбиралось пользователем. Следовательно, речевая команда, введенная одним и тем же или аналогичным образом по произношению или по содержанию, может иметь различный процент правильно распознанных слов в соответствии с тем, сколько раз пользователем выбрано конкретное меню.

Кроме того, контроллер 180 может также запоминать момент времени, в который пользователь выполняет конкретные функции. Например, пользователь может проверить сообщения электронной почты или пропущенные сообщения каждый раз после того, когда он проснулся, по дням недели с понедельника по пятницу. Эта информация о времени также может быть использована для повышения процента правильно распознанных слов. Сведения о режиме работы терминала (например, режим ожидания и т.д.) также могут быть использованы для повышения процента правильно распознанных слов. Например, пользователь может проверять сообщения электронной почты или пропущенные сообщения при первом включении его терминала мобильной связи, при открывании терминала из закрытого положения и т.д.

На следующем чертеже Фиг.9 в общем виде показан способ распознавания речевой команды в терминале мобильной связи согласно другому варианту осуществления настоящего изобретения. Как показано на Фиг. 9, пользователь активирует функцию распознавания речи и вводит речевую команду "I want to see my pictures" ("я хочу увидеть мои изображения"). Затем контроллер 180 определяет область базы данных для распознавания речевой команды в виде области, связанной с подменю, отображенными на дисплее. Затем контроллер 180 интерпретирует речевую команду (операция S401) и в этом примере выводит на экран дисплея множество меню, для которых вероятность превышает конкретное значение (равное, например, 80%) (операция S402). Как показано на экране 610 дисплея на Фиг. 9, контроллер отображает четыре меню "мультимедийная информация".

Контроллер 180 также отчетливо отображает меню, имеющее самую высокую вероятность (которым в этом примере является, например, пункт 621 меню "фотоальбом"). Затем пользователь может выбрать любое из отображенных меню для выполнения функции, соответствующей выбранному меню. В примере, показанном на Фиг. 9, пользователь выбирает пункт 621 меню "фотоальбом", и контроллер 180 выводит на экран дисплея изображения из выбранного фотоальбома, что показано на экране 620 дисплея.

К тому же, при операции S402, показанной в нижней части Фиг. 9, контроллер 180 может также сразу же выполнить функцию в том случае, когда определено, что только одно меню превышает заранее заданный вероятностный показатель. То есть, в том случае, когда определено, что пункт 621 меню "фотоальбом" является единственным меню, имеющим более высокий процент правильно распознанных слов или более высокую вероятность, чем заранее заданное пороговое значение, контроллер 180 сразу же выводит на экран дисплея изображения из фотоальбома так, как показано на экране 620 дисплея, без необходимости выбора пользователем пункта 621 меню "фотоальбом". Кроме того, даже несмотря на то, что меню имеет точное наименование, например, "фотоальбом", запоминающее устройство 160 может запоминать множество данных, связанных с меню, таких как, например, "фотография, изображение, альбом".

Кроме того, как изложено выше со ссылкой на Фиг.6Б, контроллер 180 также может выводить справочную информацию для пользователя при выборе или выполнении конкретного меню посредством речевой команды или сенсорного ввода данных в соответствии с состоянием или режимом работы (например, режимом указания функции распознавания речи). Кроме того, пользователь может установить режим работы для вывода справочной информации с использованием соответствующих пунктов меню, предусмотренных в меню "установка режима работы". Соответственно, пользователь может работать с терминалом из настоящего изобретения, не нуждаясь в высоком уровне квалификации или не имея его. То есть, многие люди старшего возраста могут не иметь достаточного опыта в управлении множеством различных меню, предусмотренных в терминале. Однако в терминале из настоящего изобретения пользователь, который, как правило, не знаком со сложностями интерфейсов пользователя, предусмотренных в терминале, может легко работать с терминалом мобильной связи.

Кроме того, когда контроллер 180 распознает, что речевая команда имеет множество смыслов (то есть, когда речевая команда на естественном языке не содержит точного наименования меню, например, когда меню содержится в категории "мультимедийная информация", но не имеет точного наименования из числа слов "камера", "фотоальбом" и "видео"), контроллер 180 выводит на экран дисплея множество меню, для которых процент правильно распознанных слов является большим, чем определенное значение (равное, например, 80%).

На следующем чертеже Фиг. 10 в общем виде показано множество баз данных, используемых контроллером 180 для распознавания речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. В этом варианте осуществления изобретения в этих базах данных хранят информацию, которую контроллер 180 использует для выяснения смысла речевой команды, и ими может являться любое количество баз данных в соответствии с характерными особенностями информации. Кроме того, соответствующие базы данных, сконфигурированные в соответствии с характерными особенностями информации, могут быть обновлены посредством непрерывного процесса обучения под управлением контроллера 180.

Например, в процессе обучения предпринимают попытку сопоставления речи пользователя с соответствующим словом. Например, когда корейское слово "Saeng-il" (обозначающее "день рождения"), произнесенное пользователем, неправильно понято как слово "Saeng-hwal" (обозначающее "жизнь"), то пользователь исправляет это слово на "Saeng-il". Соответственно, то же самое произношение, которое будет впоследствии введено пользователем, должно быть распознано как "Saeng-il".

Как показано на Фиг.10, соответствующие базы данных согласно характерным особенностям информации содержат первую базу 161 данных, вторую базу 162 данных, третью базу 163 данных, и четвертую базу 164 данных. В этом варианте осуществления изобретения в первой базе 161 данных хранят речевую информацию для распознавания речи, введенной через микрофон, в единицах фонем или слогов, или морфем. Во второй базе 162 данных хранят информацию (например, о грамматике, о точности произношения, о структуре предложения и т.д.) для выяснения смысла речевой команды в целом на основании распознанной речевой информации. В третьей базе 163 данных хранят информацию, связанную с меню для функций или услуг терминала мобильной связи, а в четвертой базе 164 данных хранят сообщение или речевую информацию, которая должна быть выведена из терминала мобильной связи для того, чтобы получить подтверждение пользователя о выясненном смысле речевой команды.

Кроме того, третья база 163 данных может быть определена как информация, связанная с конкретной категорией меню, в соответствии с областью, заранее заданной для распознавания речевой команды. К тому же, в соответствующей базе данных может храниться звуковая информация (информация о произношении) и фонемы, слоги, морфемы, слова, ключевые слова или предложения, соответствующие информации о произношении. Соответственно, контроллер 180 может определять или выяснять смысл речевой команды с использованием, по меньшей мере, одной из множества баз 161-164 данных, и выполнять меню, связанные с теми функциями или услугами, которые соответствуют выясненному смыслу речевой команды.

На следующем чертеже Фиг.11 в общем виде показано состояние, в котором выполняют функцию распознавания речи в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Как показано на чертеже, когда контроллер 180 выполняет функцию распознавания речи, то контроллер 180 отображает на дисплее особый указатель или пиктограмму 500, которая сообщает пользователю о том, что выполняется функция распознавания речи. Контроллер 180 также может вывести звук или сообщение для уведомления пользователя о том, что выполняется функция распознавания речи.

Кроме того, описанные выше варианты осуществления изобретения относятся к распознаванию речевой команды пользователя. Однако настоящее изобретение также применимо и для того случая, когда пользователь выполняет дополнительную функцию ввода данных во время распознавания речевой команды. Например, функции распознавания речи и сенсорного ввода данных, распознавания речи и ввода данных посредством клавиш, или распознавания речи и сенсорного ввода данных/ввода данных посредством клавиш могут выполняться одновременно.

Кроме того, контроллер 180 может не допускать выполнения функции распознавания речи в конкретном режиме или меню, или в конкретном режиме работы. Кроме того, звуковая информация (например, звуковое уведомление или инструктивная информация) или видеоинформация (например, индикатор 500 на Фиг. 11), указывающая, что в текущий момент применяется функция распознавания речи, может быть воспроизведена в режиме распознавания речи, в меню или в указателе режима работы. К тому же, информация о том, что в текущий момент применяется функция распознавания речи, может быть предоставлена пользователю путем вывода справочной информации.

На Фиг.12 в общем виде показан способ обработки подкоманд, связанных с конкретным меню, в терминале мобильной связи посредством речевой команды согласно одному из вариантов осуществления настоящего изобретения. В этом варианте осуществления изобретения предполагают, что функция распознавания речи уже активирована пользователем.

Затем, как показано в левой части Фиг. 12, пользователь прикасается к пиктограмме "будильник/календарь", и контроллер 180 выводит на экран дисплея всплывающее справочное меню, в котором перечислены имеющиеся функции (например: 1) будильник, 2) календарный план, 3) перечень запланированных дел (To Do) и 4) памятка). Затем пользователь вводит речевую команду "перечень запланированных дел", и контроллер 180 интерпретирует смысл речевой команды и отображает множество меню, которые определены как соответствующие речевой команде, что показано на экране 611 дисплея.

То есть, как показано на экране 611 дисплея, контроллер 180 отображает на дисплее четыре события, связанных с функцией "перечень запланированных дел". Затем пользователь вводит речевую команду "выбрать номер 2", и контроллер 180 выбирает вариант номер 2 (Встреча 1). Затем пользователь вводит речевую команду "я хочу удалить это". Затем контроллер 180 отображает на дисплее всплывающее меню 613, в котором пользователя просят подтвердить удаление записи путем ответа "да" или "нет". Затем пользователь вводит речевую команду "да", и контроллер 180 затем удаляет запись, что показано на экране 616 дисплея из Фиг. 12.

Кроме того, если ответ от пользователя не поступил, то контроллер 180 может автоматически выполнить подкоманды, расценивая отсутствие ответа как положительный ответ. Контроллер 180 также выводит речевую команду 615, уведомляя пользователя о том, что элемент данных был удален. К тому же, вместо выбора первого меню "будильник/календарь" путем прикосновения к меню пользователь мог бы вместо этого выдать другую речевую команду. К тому же, когда пользователь первый раз выбирает пиктограмму "будильник/календарь", то контроллер 180 может выдать речевое сообщение 617 для уведомления пользователя о том, что будет выполняться соответствующая задача.

Кроме того, как изложено выше, когда выполняется конкретное меню, то контроллер 180 задает область базы данных, используемую в качестве опорной информации для распознавания речевой команды, в виде области, связанной с выполняемым меню. То есть, эта область содержит информацию, связанную с подменю конкретного меню, или информацию, связанную с подкомандами, которые могут быть выполнены из конкретного меню.

На следующем чертеже Фиг. 13 в общем виде показан способ поиска по схеме метрополитена посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. В этом примере снова предполагают, что функция распознавания речи уже была активирована пользователем. Кроме того, также предполагают, что контроллер 180 реализует конкретное меню, связанное с отображением на дисплее схемы метрополитена, на основании речевой команды пользователя или манипуляции с использованием других устройств ввода.

То есть, контроллер 180 выводит на экран дисплея схему метрополитена, что показано на экране 621 дисплея. Как изложено выше, когда выполняется конкретное меню, контроллер 180 может задать область базы данных, используемую в качестве опорной информации, для распознавания речевой команды в виде области, связанной с выполняемым меню (например, названия станций метро, информацию о расстоянии (времени) между каждыми станциями). Кроме того, эта область содержит информацию, связанную с подменю конкретного меню, или информацию, связанную с подкомандами, которые могут быть выполнены из конкретного меню.

Затем контроллер 180 выдает речевую команду 626 с просьбой о том, чтобы пользователь ввел данные о начальной станции и о конечной станции. Затем пользователь выбирает две станции на экране 621 дисплея. То есть, контроллер 180 получает сведения о двух станциях 622 и 623 из схемы метрополитена, выведенной на экран дисплея, для которых пользователь желает знать количество времени, затрачиваемое на поездку между этими двумя станциями. Пользователь может выбрать две станции с использованием речевой команды тогда, когда терминал дает соответствующую подсказку (то есть, "произнесите название начальной и конечной станций), или путем прикосновения к обозначениям двух станций 622 и 623 на экране. Также возможны и другие способы выбора двух станций. После того, как пользователем выбраны две станции, контроллер 180 выводит через громкоговоритель речевое сообщение 624, содержащее две выбранные станции (то есть, были выбраны следующие станции: станция ISU и станция Seoul station). К тому же, вместо вывода речевого сообщения контроллер 180 может вместо этого вывести на экран дисплея всплывающие окна с запрошенной или введенной информацией.

Кроме того, когда выбраны две станции, то контроллер 180 также может вывести справочную информацию. Например, как показано на экране 621 дисплея на Фиг. 13, контроллер выводит на экран дисплея всплывающее окно справочной информации, в котором перечислены названия станций и цвет линии метрополитена. Затем пользователь выдает запрос на получение информации о количестве времени, которое займет поездка между двумя выбранными станциями. Пользователь может выдать запрос на получение этой информации путем ввода следующей речевой команды; "I want to know how long it will take from ISU to Seoul Station" ("Я хочу знать, сколько времени займет поездка от станции ISU до станции Seoul Station").

Затем контроллер 180 обнаруживает значащие слова (например, "how long" ("сколько времени"), "take" ("займет"), "ISU", "Seoul Station"), связанные с обработкой информации о схеме метрополитена в заданной области для анализа контекста и содержания речевой команды. На основании проанализированной информации контроллер 180 определяет, что смысл речевой команды состоит в том, что выдан запрос на получение информации о времени поездки между двумя станциями метрополитена: станцией ISU и станцией Seoul Station.

Кроме того, когда контроллер 180 выясняет смысл речевых команд, контроллер 180 может сначала выдать запрос на подтверждение пользователем того, является ли предполагаемый смысл речевой команды точным. Затем контроллер 180 отображает две станции на схеме метрополитена вместе с данными о расстоянии (или времени) между двумя станциями, о количестве остановок между двумя станциями и т.д. и выводит речевое сообщение 627, информирующее пользователя о результате, которое показано на экране 625 дисплея на Фиг. 13. Кроме того, как описано выше, если пользователь не отвечает на просьбу о подтверждении в течение конкретного промежутка времени, то контроллер 180 может интерпретировать это как положительный ответ и предоставить результаты запрошенной услуги.

На следующем чертеже Фиг. 14 в общем виде показан способ воспроизведения файлов с мультимедийным содержимым посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Кроме того, в приведенном ниже описании предполагают, что сигнал управления активацией уже введен пользователем, и что контроллер 180 начинает активацию функции распознавания речи. Также предполагают, что контроллером 180 было реализовано конкретное меню, связанное с меню "воспроизведение мультимедийной информации", путем приема введенной речевой команды или данных о манипуляциях пользователя с использованием других устройств ввода.

То есть, как показано на экране 631 дисплея, контроллер 180 отображает на дисплее перечень песен, которые пользователь может выбрать для воспроизведения. Таким образом, в настоящем изобретении поиск желательного для пользователя файла с мультимедийным содержимым для его воспроизведения может быть осуществлен непосредственно посредством речевой команды. В более подробном изложении, после того, как реализовано меню "воспроизведение мультимедийной информации", контроллер 180 задает область базы данных, используемой в качестве опорной информации для распознавания речевой команды, в виде области, связанной с реализованными меню.

Как изложено выше, эта область содержит информацию, связанную с подменю, содержащимися в меню "воспроизведение мультимедийной информации", информацию, связанную с подкомандами, которые могут быть выполнены из меню "воспроизведение мультимедийной информации", или информацию, связанную с файлом с мультимедийным содержимым (например, имена файлов, время воспроизведения, сведения о владельце авторских прав и т.д.).

Кроме того, контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, может отображать на дисплее список файлов с мультимедийным содержимым. В примере, показанном на Фиг. 14, пользователь вводит свою речевую команду на естественном языке (например, "Let's play this song" ("Давайте проиграем эту песню") в том состоянии, когда из списка файлов выбран один файл, что показано на экране 631 дисплея.

После того, как введена речевая команда, контроллер 180 обнаруживает значащие слова (например, "play" ("проиграем"), "this song" ("эту песню")), связанные с подменю или с подкомандами для обработки выбранного меню в пределах заданной области. Кроме того, контроллер 180 выясняет смысл речевой команды путем анализа обнаруженных слов, всего контекста и содержания речевой команды.

После того, как выяснен смысл речевой команды, контроллер 180 получает подтверждение пользователя о том, является ли выясненный смысл речевой команды точным. Например, как показано на Фиг, 13, контроллер 180 выводит на экран дисплея всплывающее окно 633, прося пользователя сказать "да" или "нет" относительно воспроизведения выбранной песни. Контроллер также может вывести речевое сообщение 632, спрашивая пользователя о том, является ли песня номер 2 той песней, которую следует проиграть. Затем пользователь может сказать "да", и контроллер 180 выводит выбранную песню, что показано на экране 634 дисплея.

В альтернативном варианте контроллер 180 может автоматически проиграть выбранную песню, не прося пользователя подтвердить выбор. Пользователь также может использовать соответствующие пункты меню для установки по умолчанию того варианта, когда контроллер 180 запрашивает подтверждение о выбранной задаче или не запрашивает это подтверждение. Кроме того, если ответ от пользователя не поступил, то контроллер 180 может автоматически выполнять речевую команду, смысл которой был выяснен, расценивая такую реакцию как положительный ответ.

Следовательно, в этом варианте осуществления изобретения выбирают файл, подлежащий воспроизведению, и команду воспроизведения выбранного файла вводят посредством речевой команды. Однако когда пользователю уже известно имя файла, то имя файла может быть непосредственно введено из меню более высокого уровня посредством речевой команды.

На следующем чертеже Фиг. 15 в общем виде показан способ передачи сообщения электронной почты или текстового сообщения посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. И вновь, в описании этого варианта осуществления изобретения предполагают, что сигнал управления активацией уже был введен, что контроллер 180 начал активацию функции распознавания речи, и что контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, реализовал конкретное меню (например, меню "передача/прием почты/сообщений").

В более подробном изложении, после того, как реализовано меню "передача/прием почты (или сообщений)", контроллер 180 задает область базы данных, используемую в качестве опорной информации для распознавания речевой команды, в виде области, связанной с реализованными меню. Эта область содержит информацию, связанную с подменю, содержащимися в меню "передача/прием почты/сообщений", информацию, связанную с подкомандами, которые могут быть выполнены из меню "передача/прием почты/сообщений", информацию, связанную с переданными/принятыми почтовыми письмами/сообщениями (например, о передатчике, о приемнике, о времени передачи/приема, о заголовке и т.д.).

Контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, также отображает на дисплее перечень переданной/принятой почты (переданных/принятых сообщений). Как показано на экране 641 дисплея, пользователь вводит речевую команду "I want to reply" ("я хочу послать ответ"). Затем контроллер 180 отображает на дисплее принятые сообщения, на которые пользователь может ответить, что показано на экране 645 дисплея. В этом примере пользователь использует свой естественный язык (например, "Reply to this message" ("Ответить на это сообщение")) в том состоянии, когда одно почтовое письмо/сообщение выбрано из перечня почтовой корреспонденции/сообщений, что показано на экране 645 дисплея.

Кроме того, после того, как введена речевая команда, контроллер 180 обнаруживает значащие слова (например, "reply" ("ответить"), "this message" ("это сообщение")), связанные с обработкой ответа для выбранного почтового письма/сообщения в пределах области. Затем контроллер 180 выясняет смысл речевой команды (реализация меню "ответ на почту/сообщение") путем анализа обнаруженных слов и всего контекста и содержания речевой команды.

После того, как выяснен смысл речевой команды, контроллер 180 может получить подтверждение пользователя о том, является ли выясненный смысл речевой команды точным. Например, для получения подтверждения от пользователя может быть выведено речевое сообщение 642, или может быть выведено текстовое сообщение 643. Когда выведено сообщение для получения подтверждения от пользователя, пользователь может ответить в речевой форме или посредством иных устройств ввода. При отсутствии ответа от пользователя контроллер 180 может автоматически выполнить функции, соответствующие выясненному смыслу, расценивая эту реакцию как положительный ответ. Затем, когда реализовано меню "ответ на почту/сообщение", контроллер 180 автоматически вводит адрес/телефонный номер выбранного адресата в окне 644 записи почтового письма/сообщения.

Следовательно, в этом варианте осуществления изобретения сначала выбирают почтовое письмо/сообщение, на которое нужно ответить, и команду "ответить" для выбранной почтового письма/сообщения вводят с использованием речевой команды. Однако когда пользователю известна информация об адресате, ответ на почтовое письмо/сообщение, посылаемый адресату, может быть непосредственно введен посредством речевой команды.

Кроме того, вариант осуществления изобретения, показанный на Фиг. 15 может быть видоизменен таким образом, чтобы он соответствовал передаче текстовых сообщений. В более подробном изложении, контроллер 180 содержит программное обеспечение для преобразования речи пользователя в текст, поэтому пользователь может сказать в терминал то, что он или она хочет сказать, и контроллер 180 выполняет преобразование введенной речи в текстовое сообщение. Контроллер также 180 может отображать на дисплее преобразованный текст для пользователя, поэтому пользователь может подтвердить, что это преобразование является приемлемым. Затем пользователь может выдать запрос, чтобы терминал послал текстовое сообщение желательному абоненту.

Этот видоизмененный вариант осуществления изобретения является особенно целесообразным потому, что ввод текстового сообщения вручную является очень трудоемким и утомительным процессом. Многие пользователи желают послать текстовое сообщение вместо того, чтобы звонить человеку по телефону, по нескольким различным причинами, но не хотят проходить через трудоемкий процесс выбора множества кнопок вручную для того, чтобы послать одно текстовое сообщение. Видоизмененный вариант осуществления настоящего изобретения предоставляет пользователю возможность вводить желательную текстовую информацию с использованием его голоса, а затем посылать текстовое сообщение желательному абоненту.

На Фиг.16 в общем виде показан способ выполнения телефонного вызова посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Подобно вышеописанным вариантам осуществления изобретения в этом варианте осуществления изобретения также предполагают, что сигнал управления активацией уже был введен пользователем, что контроллер 180 уже активировал функцию распознавания речи, и что контроллер 180 уже реализовал конкретное меню (например, телефонную книгу или меню с перечнем последних принятых телефонных вызовов), связанное с телефонными вызовами, путем приема введенной речевой команды или данных о манипуляциях пользователя с использованием других устройств ввода.

После того как было реализовано меню, связанное с телефонными вызовами, контроллер 180 задает область базы данных, используемую в качестве опорной информации для распознавания речевой команды, в виде области, связанной с телефонными вызовами. Кроме того, эта область содержит информацию, связанную с исходящими телефонными вызовами, с входящими телефонными вызовами, с пропущенными телефонными вызовами и т.д., и информацию, связанную с каждым телефоном (например, о времени исходящего вызова, о времени входящего вызова, о передатчике, о приемнике, о длительности телефонного звонка, о частоте телефонных вызовов и т.д.).

Кроме того, контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, отображает на дисплее перечень телефонных звонков. То есть, пользователь использует его или ее естественный язык для ввода речевой команды (например, "I want to see the received phone calls" ("Я хочу посмотреть перечень принятых телефонных вызовов")), как показано на экране 711 дисплея.

После того, как введена речевая команда, контроллер 180 обнаруживает значащие слова (например, "see" ("посмотреть"), "received" ("принятых"), "phone" ("телефонных"), "calls" ("вызовов")), связанные с телефонными вызовами, в области, и выясняет, что речевая команда имеет следующий смысл: "вывести данные о принятых телефонных вызовах", путем анализа обнаруженных слов и всего контекста и содержания речевой команды. После того, как выяснен смысл речевой команды, контроллер 180 выводит перечень принятых телефонных вызовов, показанный на экране 712 дисплея.

Кроме того, затем пользователь вводит речевую команду, "Call this person" ("позвонить этому человеку") в том состоянии, когда элемент данных выбран из выведенного перечня. В результате этого контроллер 180 выясняет, что речевая команда имеет следующий смысл: "позвонить противоположному абоненту выбранного принятого вызова". Затем контроллер 180 получает подтверждение пользователя о том, является ли выясненный смысл речевой команды точным. То есть, контроллер 180 может вывести речевое сообщение 713 или текстовое сообщение 715.

Пользователь также может ответить голосом или при помощи других устройств ввода. Как упомянуто выше, если ответ от пользователя не поступил, то контроллер 180 может автоматически выполнить функцию, соответствующую выясненному смыслу, расценивая такую реакцию как положительный ответ. Контроллер 180 также выводит сообщение 714, указывающее, что устанавливается телефонное соединение.

Таким образом, в этом варианте осуществления изобретения из перечня телефонных звонков выбирают адресата и вводят команду "позвонить выбранному адресату" посредством речевой команды. Однако когда пользователь уже знает информацию об адресате, то телефонный звонок этому человеку может быть непосредственно выполнен посредством речевой команды.

На следующем чертеже Фиг.17 в общем виде показан способ использования информации из телефонной книги посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. В описании этого способа сделаны те же самые предположения, которые были описаны выше в других вариантах осуществления изобретения. То есть, предполагают, что после ввода сигнала управления активацией контроллер 180 начинает активацию функции распознавания речи, и что контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, выбирает или реализует конкретное меню (например, меню "телефонная книга"), показанное на экране 720 дисплея.

После того, как реализовано меню "телефонная книга", контроллер 180 задает область базы данных, используемую в качестве опорной информации для распознавания речевой команды, в виде области, связанной с подменю, содержащимися в меню "телефонная книга", или с подкомандами, которые могут быть выполнены из меню "телефонная книга". Кроме того, эту область задают таким образом, чтобы повысить процент правильно распознанных слов, но это может не являться обязательным условием.

Кроме того, пользователь вводит речевую команду на его естественном языке (например, "Edit James" ("отредактировать данные о Джеймсе"), "Add James" ("добавить данные о Джеймсе"), "Find James" ("найти данные о Джеймсе"), "Call James" ("позвонить Джеймсу"), "I want to send a Message to James" ("я хочу послать сообщение Джеймсу") в режиме ожидания или в том состоянии, когда произведен выбор меню, связанного с телефонной книгой. После того, как введена речевая команда, контроллер 180 обнаруживает значащие слова (например, "Edit" ("отредактировать"), "Add" ("добавить"), "Find" ("найти"), "Call" ("позвонить"), "Send Message" ("послать сообщение"), "James" ("Джеймс")), связанные с телефонными вызовами, в пределах области, и выясняет смысл каждой из речевых команд путем анализа обнаруженных слов и всего контекста и содержания речевых команд.

После того, как выяснен смысл каждой из речевых команд, контроллер 180 выполняет функции или реализует меню, соответствующие надлежащим речевым командам, которые показаны на экранах 722-724 дисплея. Кроме того, перед их выполнением контроллер 180 может получить подтверждение пользователя о том, является ли выясненные смыслы речевых команд точными. Как изложено выше, для получения подтверждения от пользователя может быть выведено речевое сообщение или текстовое сообщение.

Кроме того, когда выведено сообщение для получения подтверждения от пользователя, то пользователь может ответить голосом или посредством других устройств ввода. Если ответ от пользователя не поступил, то контроллер 180 может автоматически выполнить функции, соответствующие выясненным смыслам, расценивая такую реакцию как положительный ответ.

На следующем чертеже Фиг. 18 в общем виде показан способ изменения выводимого на экран фонового изображения посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. И вновь, в описании этого способа предполагают, что после того, как был введен сигнал управления активацией, контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, начинает активацию функции распознавания речи и реализует конкретное меню (например, меню "фотоальбом").

Меню "фотоальбом" может быть реализовано путем ввода речевой команды или посредством многоэтапного подменю с использованием других устройств ввода. К тому же, меню "фотоальбом" может быть непосредственно реализовано посредством речевой команды на естественном языке (которой является, например, следующая команда: "I want to see my photo album" ("я хочу увидеть мой фотоальбом")), что показано на экране 731 дисплея. В соответствии с выясненным смыслом речевой команды, контроллер 180 выводит перечень фотографий путем реализации меню "фотоальбом", показанного на экране 732 дисплея. Затем контроллер 180 получает одну фотографию, выбранную из выведенного перечня фотографий, содержащихся в фотоальбоме.

Если в этом состоянии пользователем введена речевая команда (например, "Change my wall paper using this picture" ("измените у меня фоновое изображение с использованием этого изображения"), то контроллер 180 обнаруживает значащую информацию (например, слова "change" ("измените"), "wall paper" ("фоновое изображение")), связанную с подменю или с подкомандами реализованного меню. Затем контроллер 180 выясняет смысл речевой команды путем анализа обнаруженных слов и всего контекста и содержания речевой команды. То есть, контроллер 180 выясняет, что смыслом речевой команды является следующий: "заменить выведенное на экран фоновое изображение выбранной фотографией".

После того, как выяснен смысл речевой команды, контроллер 180 выводит на экран дисплея фоновое изображение, соответствующее выбранной фотографии, и получает подтверждение пользователя о том, является ли выясненный смысл речевой команды точным. При этом для получения подтверждения от пользователя может быть выведено речевое сообщение 733, или может быть выведено текстовое сообщение 734. Речевая команда, смысл которой выяснен, также может быть выполнена непосредственно без подтверждения пользователя в соответствии с высоким процентом правильно распознанных слов или с заранее заданным меню "установка режима работы".

Когда выведено сообщение для получения подтверждения от пользователя, пользователь может ответить голосом или посредством других устройства ввода. Если ответ от пользователя не поступил, то контроллер 180 может автоматически выполнить функцию, соответствующую выясненному смыслу речевой команды, расценивая такую реакцию как положительный ответ.

Для изменения фонового изображения меню "фотоальбом" не обязательно должно быть реализовано вначале, как показано в данном варианте осуществления изобретения. Вместо этого поиск желательной фотографии пользователя для изменения фонового изображения может быть произведен после того, как реализовано меню "фоновое изображение".

На Фиг.19 в общем виде показан способ воспроизведения файлов с мультимедийным содержимым посредством речевой команды в терминале мобильной связи согласно одному из вариантов осуществления настоящего изобретения. Подобно описанным выше вариантам осуществления изобретения в этом описании предполагают, что после того, как введен сигнал управления активацией, контроллер 180, получив введенную речевую команду или данные о манипуляциях пользователя с использованием других устройств ввода, начинает активацию функции распознавания речи и реализует конкретное меню (например, меню "воспроизведение мультимедийной информации").

Для воспроизведения файла с мультимедийным содержимым пользователем реализуют специальное меню, выбирают одно из подменю специального меню для отображения на дисплее списка файлов, и из этого списка файлов выбирают один файл для его воспроизведения. Однако в настоящем изобретении поиск желательного для пользователя файла с мультимедийным содержимым для его воспроизведения может быть осуществлен непосредственно при помощи речевой команды.

Например, если конкретная речевая команда (например, "Move to the Beatles album" ("перейти к альбому группы Битлз") введена после того, как была активирована функция распознавания речи, то контроллер 180 выясняет смысл речевой команды путем анализа всего контекста и содержания речевой команды, что показано на экране 741 дисплея. На основании проанализированной информации контроллер 180 выполняет конкретные функции или реализует конкретные меню или отображает список файлов путем перемещения в конкретную папку с файлами, что показано на экране 742 дисплея.

Когда речевая команда (например, "Play this song" ("проиграйте эту песню") или "Play number 3" ("проиграйте песню номер 3")) введена после того, как из списка файлов выбран один файл, то контроллер 180 выясняет смысл речевой команды путем анализа всего контекста и содержания речевой команды. Кроме того, функции или меню, соответствующие смыслу речевой команды, могут быть выполнены непосредственно в соответствии с высоким процентом правильно распознанных слов или с заранее заданным меню "установка режима работы".

После того, как выяснен смысл речевой команды, контроллер 180 получает подтверждение пользователя о том, является ли выясненный смысл речевой команды точным. Здесь, для получения подтверждения от пользователя может быть выведено текстовое сообщение или речевое сообщение 743. Когда выведено сообщение для получения подтверждения от пользователя, пользователь может ответить на него голосом или посредством других устройств ввода. Если ответ от пользователя не поступил, то контроллер 180 может автоматически выполнить функцию выясненной речевой команды, расценивая такую реакцию как положительный ответ. Затем контроллер 18 выполняет или воспроизводит выбранную песню, что показано на экране 744 дисплея.

Таким образом, в этом варианте осуществления изобретения выбирают файл, подлежащий воспроизведению, и вводят команду воспроизведения выбранного файла посредством речевой команды. Однако когда пользователю известно имя файла, то это имя файла может быть непосредственно введено из меню более высокого уровня голосом для его воспроизведения.

Следовательно, согласно вариантам осуществления настоящего изобретения, в том состоянии, когда активирована функция распознавания речи, введенную речевую команду преобразуют в особый вид, и контекст и ее содержание сравнивают с базой данных, заданной в области, используемой в качестве опорной информации. Кроме того, результирующее значение, соответствующее выясненному смыслу речевой команды, выводят в конкретный компонент терминала мобильной связи.

Терминал мобильной связи из настоящего изобретения может управлять меню, связанными с конкретными его функциями или услугами, путем выяснения смысла введенной речевой команды на основании контекста и содержания. Кроме того, терминал мобильной связи из настоящего изобретения может обеспечивать увеличение процента правильно распознанных слов при распознавании речи путем задания области для распознавания речи в виде области, связанной с конкретным меню или с конкретными услугами, в соответствии с его рабочим состоянием или режимом работы.

К тому же, терминал мобильной связи из настоящего изобретения может одновременно выбирать или реализовывать меню, связанные с конкретными функциями или услугами, путем применения одного или большего количества имеющихся в нем интерфейсов пользователя (ИП), даже в то время, когда функция распознавания речи активирована, для обнаружения манипуляций пользователя. Кроме того, терминал мобильной связи из настоящего изобретения может управлять меню, связанными с конкретными функциями или услугами, посредством речевой команды вне зависимости от квалификации пользователя, путем предоставления справочной информации о вводе речевой команды в соответствии с рабочим состоянием или режимом работы терминала.

Кроме того, множество областей может содержать, по меньшей мере, две области из области, связанной с электронной почтой, которые соответствуют сообщениям электронной почты, посланным из терминала мобильной связи и принятым в терминале мобильной связи, область запланированных заданий, которая соответствует запланированным событиям, назначенным в терминале мобильной связи, область контактов, соответствующая сведениям о контактах, имеющимся в терминале мобильной связи, область телефонной книги, соответствующая телефонным номерам, хранящимся в терминале мобильной связи, область карт, соответствующая информации о картах, предоставляемой терминалом мобильной связи, область фотографий, соответствующая фотографиям, хранящимся в терминале мобильной связи, область сообщений, соответствующая сообщениям, посланным из терминала мобильной связи и принятым в терминале мобильной связи, область мультимедийной информации, соответствующая мультимедийным функциям, выполняемым в терминале мобильной связи, область внешних устройств, соответствующая внешним устройствам, к которым может быть подключен терминал мобильной связи, область предыстории телефонных вызовов, соответствующая телефонным вызовам, переданным из терминала мобильной связи и принятым в терминале мобильной связи, и область установочных параметров, соответствующая функциям установки параметров, выполняемым в терминале мобильной связи.

Кроме того, производителем терминала мобильной связи или пользователем терминала мобильной связи может быть установлено заранее заданное пороговое значение процента правильно распознанных слов.

Кроме того, описанные выше различные варианты осуществления изобретения могут быть реализованы в считываемом посредством компьютера носителе информации с использованием, например, компьютерного программного обеспечения, аппаратных средств или какой-либо их комбинации. Для варианта аппаратной реализации описанные выше варианты осуществления изобретения могут быть реализованы в одной или в большем количестве специализированных интегральных микросхем (ASIC), процессоров для цифровой обработки сигналов (DSP), устройств цифровой обработки сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), процессоров, контроллеров, микроконтроллеров, микропроцессоров, других электронных устройств, предназначенных для выполнения описанных здесь функций, или в выборочной комбинации этих устройств.

Для варианта программной реализации описанные здесь варианты осуществления изобретения могут быть реализованы посредством отдельных программных модулей, например процедур и функций, каждая из которых выполняют одну или большее количество описанных здесь функций и операций. Программные коды могут быть реализованы посредством прикладной программы, написанной на любом подходящем языке программирования, и могут быть запомнены в запоминающем устройстве (например, в запоминающем устройстве 160) и выполнены контроллером или процессором (например, контроллером 180).

Кроме того, терминал 100 мобильной связи может быть реализован во множестве различных конфигураций. Примерами таких конфигураций являются, в том числе, следующие: конструкция складывающегося типа, конструкция сдвижного типа, конструкция прямоугольного типа, конструкция поворотного типа конструкция шарнирного типа и их комбинации.

Для специалистов в данной области техники очевидно, что в настоящем изобретении могут быть выполнены различные его модификации и изменения, не выходя за пределы сущности или объема патентных притязаний изобретения. Следовательно, подразумевают, что настоящее изобретение охватывает собой модификации и изменения этого изобретения при условии, что они подпадают под прилагаемую формулу изобретения и ее эквиваленты.