СПОСОБ И УСТРОЙСТВО ДЛЯ АННОТИРОВАНИЯ ИНФОРМАЦИИ О ТОЧКАХ ИНТЕРЕСА

Предпосылки создания изобретения

[0001] Провайдеры услуг и производители устройств (например, беспроводных и сотовых) непрерывно стремятся повысить объем и качество услуг для потребителей, например, поставляя интересные сетевые услуги. Одной из представляющих интерес областей является разработка услуг на основе определения местоположения (например, службы навигации, службы отображения, приложения по созданию дополненной реальности и т.д.), популярность, функциональность и объем контента которых значительно растут. Приложения, относящиеся к дополненной реальности и смешанной реальности, позволяют пользователям видеть картины физического мира, объединенные с виртуальными объектами, в режиме реального времени. Приложения по отображению позволяют таким виртуальным объектам создавать комментарии к информации о местоположении. Однако в настоящий момент такие комментарии предоставляются пользователям в укрупненном виде (например, на основе адреса). Кроме того, провайдеры услуг и производители сталкиваются с серьезными техническими проблемами при попытке более эффективно представить пользователям комментарии к информации о местоположении.

Некоторые примеры вариантов выполнения изобретения

[0002] Поэтому имеется потребность в подходе, позволяющем аннотировать информацию о точке интереса на основе разделения структур.

[0003] Согласно одному из вариантов выполнения настоящего изобретения, способ включает определение одного или более представлений по меньшей мере одной структуры. Способ также включает определение одного или более разделения по меньшей мере одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, способ включает определение одной или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, способ включает принятие решения по отображению указанной одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.

[0004] Согласно другому варианту выполнения настоящего изобретения, устройство содержит по меньшей мере один процессор и по меньшей мере одну память, содержащую компьютерный программный код, при этом указанные по меньшей мере одна память и компьютерный программный код взаимодействуют по меньшей мере с одним процессором, заставляя устройство по меньшей мере частично определять одно или более представлений по меньшей мере одной структуры. Кроме того, устройство заставляют определять одно или более разделений по меньшей мере для одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, устройство заставляют определять одну или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, устройство заставляют принимать решение по отображению одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.

[0005] Согласно еще одному варианту выполнения настоящего изобретения, считываемый компьютером носитель переносит одну или более последовательностей из одной или более инструкций, которые при их выполнении одним или более процессоров заставляют устройство по меньшей мере частично определять одно или более представлений по меньшей мере одной структуры. Кроме того, устройство заставляют определять одно или более разделений по меньшей мере одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, устройство заставляют определять одну или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, устройство заставляет принять решение по отображению одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.

[0006] Согласно еще одному варианту выполнения настоящего изобретения, устройство содержит средство для определения одного или более представлений по меньшей мере одной структуры. Кроме того, устройство содержит средство для определения одного или более разделений по меньшей мере для одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Кроме того, устройство содержит средство для определения одной или более точек интереса, ассоциированных по меньшей мере с одной структурой. Кроме того, устройство содержит средство для принятия решения по отображению одной или более точек интереса по меньшей мере частично на основе указанных одного или более разделений.

[0007] Дополнительные аспекты, признаки и преимущества изобретения будут очевидны из последующего подробного описания изобретения, иллюстрирующего множество конкретных вариантов его выполнения и реализаций, включая предпочтительный вариант выполнения изобретения. Кроме того, возможны и другие варианты выполнения настоящего изобретения, а некоторые детали можно модифицировать в различных очевидных отношениях без выхода из объема изобретения. Соответственно, чертежи и описание следует рассматривать как иллюстрации, а не ограничения.

Краткое описание чертежей

[0008] Варианты выполнения настоящего изобретения даны просто для примера, а не служат ограничениями, при этом на сопровождающих чертежах:

[0009] на фиг.1 схематично показана система, способная представлять информацию о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения;

[0010] на фиг.2 схематично показаны компоненты пользовательского оборудования согласно еще одному варианту выполнения настоящего изобретения;

[0011] на фиг.3 показана последовательность операций для представления информации о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения;

[0012] на фиг.4A-4B схематично показаны пользовательские интерфейсы, используемые в процессах, иллюстрируемых на фиг.3, согласно различным вариантам выполнения настоящего изобретения;

[0013] на фиг.5 схематично показаны аппаратные средства, которые могут использоваться для реализации варианта выполнения настоящего изобретения;

[0014] на фиг.6 схематично показан набор микросхем, который может использоваться для реализации варианта выполнения настоящего изобретения; и

[0015] на фиг.7 схематично показан мобильный терминал (например, телефон), который может использоваться для реализации варианта выполнения настоящего изобретения.

Описание некоторых вариантов выполнения изобретения

[0016] Ниже раскрыты примеры способа, устройства и компьютерной программы для представления информации о точке интереса на основе разделений структур. В последующем описании с целью пояснения сформулированы многочисленные конкретные детали для обеспечения полного понимания вариантов выполнения настоящего изобретения. Однако специалистам будет очевидно, что варианты выполнения настоящего изобретения могут быть осуществлены без этих конкретных деталей или в эквивалентной конфигурации. В других случаях известные структуры и устройства показаны в виде блок-схемы, чтобы избежать излишнего загромождения вариантов выполнения настоящего изобретения.

[0017] На фиг.1 схематично показана система, способная представлять информацию о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения. Следует отметить, что мобильные устройства и вычислительные устройства сегодня распространены во всем мире, и с их помощью организовано множество служб. Эти службы могут включать службы и приложения дополненной реальности (AR), смешанной реальности (MR) и другие услуги на основе определения местоположения. Дополненная реальность позволяет пользователю видеть реальный мир при наложении дополнительной визуальной информации. Смешанная реальность обеспечивает слияние реального и виртуального миров, обеспечивая визуализацию и создание новой среды. В смешанной реальности физические и цифровые объекты могут сосуществовать и взаимодействовать в режиме реального времени. Таким образом, смешанная реальность может быть объединением физической реальности, дополненной реальности, виртуальной реальности или их комбинацией. Хотя различные варианты выполнения настоящего изобретения описаны относительно дополненной реальности, очевидно, что описанный здесь подход может использоваться в ситуациях с другими пользовательскими интерфейсами, включая, например, смешанную реальность, виртуальную реальность, отображение приложения, приложения по оказанию услуг на основе определения местоположения (например, локальный поиск точки интереса) и т.д.

[0018] Услуги и приложения на основе определения местоположения могут использоваться для представления одного или более изображений с аннотированным контентом (например, на основе дополненной реальности, смешанной реальности и т.д.). В стандартных системах используется двумерная динамика для создания и представления точек интереса (POI, point of interest). Однако люди видят мир по меньшей мере в трех измерениях (3D) (например, у зданий имеется высота и глубина). Например, небоскреб может предложить множество различных услуг и учреждений на различных этажах. Однако из-за двумерной функциональности систем, используемых для отображения таких точек интереса, пользователи часто остаются без средства, позволяющего выявлять информацию, ассоциированную с точками интереса. Например, отсутствие разделения точек интереса по вертикали приводит к проблемам при попытке отличить одну точку интереса от другой точки интереса.

[0019] Для решения этой проблемы система 100 на фиг.1 дает возможность представить информацию о точке интереса на основе разделений. В некоторых вариантах выполнения настоящего изобретения разделение представляет собой некое обособление, которое может быть использовано для распространения информации. Например, одно или более горизонтальных разделений можно использовать для вертикального обособления точек интереса, ассоциированных с некоторой структурой (например, зданием), или же вертикальные разделения можно использовать для горизонтального обособления точек интереса. Кроме того, комбинации вертикальных разделений, горизонтальных разделений и/или нерегулярных (например, искривленных) разделений можно использовать для распространения информации о точках интереса. Хотя различные варианты выполнения настоящего изобретения описаны в отношение горизонтальных разделений, очевидно, что подход, описанный здесь, может использоваться для других типов разделений. Эти разделения могут быть выявлены из одного или более источников (например, на основе анализа одного или более изображений, данных в схематическом виде и т.д.). Кроме того, разделения можно сравнивать с информацией, ассоциированной с точками интереса. Это сравнение можно использовать для генерации представлений точек интереса, которые будут выведены на одном или более изображений (например, в потоке изображений фотокамеры) пользовательского оборудования (UE) 101a-101n.

[0020] Пользовательское оборудование 101 может осуществлять связь с платформой 103 служб определения местоположения через систему 105 связи и использовать мировые данные 107 для генерации и представления местоположения на основе информации о пользователях пользовательского оборудования 101. Приложения 109, такие как «карта», «навигация», «дополненная реальность» и т.п., выполняющиеся в пользовательском оборудовании 101, могут быть использованы для обработки мировых данных 107 и представления мировых данных (например, панорамного изображения, информации о точках интереса и т.д.) пользователю. Платформа 103 служб определения местоположения может быть реализована с использованием одного или более компьютеров или серверов, например с использованием набора микросхем, показанного на фиг.6. Кроме того, платформа 103 служб определения местоположения может содержать одну или более платформ и может поддерживаться одним или более провайдеров услуг.

[0021] Модуль 111 сбора данных пользовательского оборудования 101 может собирать информацию о местоположении (например, информацию глобальной системы определения местоположения (GPS) на основе одного или более спутников 113 GPS, усовершенствованной системы GPS (A-GPS), ячейки источника (Cell of origin) и т.д.), информацию об ориентации (например, информацию магнитометра, информацию акселерометра и т.д.), их комбинацию и т.д. для определения информации, используемой для запрашивания мировых данных 107 из платформы 103 служб определения местоположения. В некоторых вариантах выполнения настоящего изобретения мировые данные 107 или поднаборы мировых данных 107 могут храниться в пользовательском оборудовании 101. Мировые данные 107 могут содержать картографическую информацию. Картографическая информация может содержать карты, изображения со спутников, информацию об улице или проходе, информацию об элементе, например информацию о точках интереса, подписанную информацию, ассоциированную с картами, объекты и структуры, ассоциированные с картами, информацию о людях и местоположении людей, координатную информацию, ассоциированную с указанной информацией, и т.д. или их комбинацию. Элемент может быть объектом (например, представлением физического объекта) или виртуальным объектом (например, изображением, аудиообъектом, видеообъектом, пиктограммой, рекламным объявлением и т.д.), который может быть ассоциирован с некоторым местоположением. Кроме того, мировые данные 107 могут содержать трехмерные детали для одного или более объектов или структур. В некоторых вариантах выполнения настоящего изобретения структура - это объект, который может быть соотнесен с физическим объектом (например, здание, мост или другая конструкция). Структуры могут быть дополнительно разделены на части для распространения информации. Информация о разделении на части может быть подвергнута предварительной обработке и сохранена в мировых данных 107 или быть обработана в пользовательском оборудовании 101, как подробно описано ниже. Трехмерные данные, хранящиеся в мировых данных 107, могут быть использованы для генерации виртуальной среды, включая одну или более грубых моделей структуры (например, модели здания), записанных точно в системе координат. Кроме того, одно или более панорамных изображений может быть связано с виртуальной средой. Кроме того, одна или более трехмерных моделей структур может быть ассоциирована с одним или более изображений (например, панорамных изображений). Панорамные изображения могут быть ассоциированы с моделями с использованием одной или более координатных систем (например, GPS-координат местоположения, в котором было получено панорамное изображение), а также с информацией об ориентации.

[0022] Точка интереса может быть конкретным местом, которое некий человек может, например, посчитать интересным или полезным. Примеры точек интереса могут включать аэропорт, пекарню, дамбу, архитектурный памятник, ресторан, отель, здание, парк, местонахождение человека или любую точку, интересную, полезную или значительную в своем роде. Кроме того, точки интереса могут включать движущиеся объекты или точки в зависимости от информации о местонахождении. Например, информация о местонахождении может включать местоположение определенного объекта (например, человека, группы и т.д.) на основе данных GPS или другой информации о местоположении. Пользовательское оборудование 101 объекта могут отправить информацию о местоположении в платформу 103 служб определения местоположения, которая может скоординировать информацию о местоположении объекта и обеспечить слежение за объектом.

[0023] Пользователь пользовательского оборудования 101 может выполнить приложение 109 для просмотра информации дополненной реальности или смешанной реальности, например на дисплее, с использованием устройства для проекции на стене или в воздухе и т.д., ассоциированного с пользовательским оборудованием 101. Пользователь может ввести критерии поиска для определения местоположения одной или более точек интереса. Критерии поиска могут быть обработаны в пользовательском оборудовании 101 или использованы для запроса платформы 103 служб определения местоположения на получение информации о точках интереса. Для получения информации о точках интереса можно использовать одну или более других платформ служб определения местоположения. Кроме того, информация о точках интереса может поступать из других баз данных (например, из списка контактов, ассоциированных с пользовательским оборудованием 101, почтового ящика для приема сообщений и т.д.). Кроме того, критерии поиска могут включать название здания или адрес, идентифицирующий здание или структуру, связанную с местоположением/точками интереса. Информация о структуре (например, количество этажей, связанных со структурой, другая информация о разделении и т.д.) может приниматься и кэшироваться в пользовательском оборудовании 101. Может кэшироваться и другая информация об одной или более точке интереса (например, о предприятии, магазине и т.д.) и/или метаданные, ассоциированные с точками интереса (например, имена, пиктограммы, картинки, этажи, номера телефонов, веб-адреса и т.д.). Такая информация может быть использована для предоставления дополненного контента пользователю.

[0024] Кроме того, производят идентификацию одной или более структур, ассоциированных с поиском. Структуры могут быть разделены согласно одному или более процессов. Один такой процесс должен производить анализ одного или более панорамных изображений структуры с использованием анализа изображения и/или алгоритмов обнаружения образов, которые позволяют идентифицировать один или более признаков, которые будут использоваться при разделении. Например, повторение горизонтальных признаков, таких как ряды окон, может быть использовано для определения этажа (то есть, например, горизонтальные разделения могут использоваться для обособления по вертикали). По результирующим признакам алгоритм обнаружения этажей позволяет обнаружить количество этажей. Результаты могут быть получены из выделения признаков, которые могут быть спроецированы на соответствующим стены структуры. Этот процесс выделения признаков можно использовать для уменьшения требований к обработке в рамках алгоритма обнаружения этажа. Можно сравнивать изображения, показывающие одно и то же здание при различных условиях освещения, чтобы сделать обнаружение этажа более точным. Например, изображения, полученные в ночное время, могут содержать освещенные окна, что делает визуальные признаки более четкими и способствует более точному выделению этих признаков.

[0025] Результаты обработки изображений для определения разделений можно сравнить с информацией о точках интереса и/или структурной информацией в одной или более баз мировых данных, что позволяет проверить количество разделений, ассоциированных со структурой. Это позволяет обеспечить большую точность обнаружения разделения (например, обнаружения этажа). Кроме того, приблизительную высоту структуры можно взять из модели структуры, хранящейся в мировых данных 107, и использовать ее для проверки достоверности результатов обнаружения этажа. Например, строительные нормы в некотором конкретном месте могут требовать, чтобы этаж здания был по меньшей мере определенной высоты или не больше определенной высоты. Это можно использовать при оценке значения возможного количества этажей в здании.

[0026] Затем местоположение точек интереса, полученное по информации о точках интереса (например, по адресу, включающему номер апартаментов, номер квартиры, номер этажа и т.д.), может быть отображено на часть структуры. Кроме того, результаты могут быть представлены пользователю (например, как показано на фиг.4B). Структура может быть разделена по вертикали с использованием горизонтальных разделений, а также в других направлениях с использованием других разделений. Кроме того, отдельные этажи структуры могут быть разделены на столько частей, сколько имеется точек интереса, адресов и т.д. Эта информация о структуре может приходить с поисковой информацией. В некоторых сценариях местоположения точек интереса не должны соответствовать точному этажу, но могут быть разбиты на части, соответствующие точному местоположению. Кроме того, в определенных вариантах выполнения настоящего изобретения, чтобы обеспечить дополнительную горизонтальную структуру в пределах этажа, нет необходимости разделять этажи. Кроме того, информация о точках интереса, ассоциированная с этажом, может быть представлена по-разному. Например, информацию о точках интереса можно показать статически, в виде анимации бегущей строки на стене структуры, в виде вращающихся пиктограмм и т.д. В некоторых вариантах выполнения настоящего изобретения может быть создана дополнительная структура (например, ассоциированием одной или более точек интереса с определенными местоположениями на этаже). В этих вариантах выполнения настоящего изобретения мировые данные 107 могут содержать информацию об общей топологической структуре, которая может быть использована для определения конкретных мест.

[0027] Как отмечено выше, различные приложения могут использовать вышеупомянутые подходы для аннотирования контента. Например, платформа 103 служб определения местоположения может предоставить услугу, которая использует изображения, трехмерные модели и т.д. среды реального мира. Например, приложение 109 пользовательского оборудования 101 может получить доступ к определенной услуге на основе определения местоположения, например локальному поиску для получения результатов поиска. Когда результаты поиска определены, ассоциированная информация может быть отправлена в пользовательское оборудование 101 с использованием мировых данных 107. Результаты поиска точек интереса могут затем быть использованы для получения одного или более изображений или других представлений (например, на основе трехмерной модели), ассоциированных с полученными в результате точками интереса. Эти изображения или представления, когда они представлены пользователю, могут включать представление точек интереса на основе описанного выше разделения. Таким образом, услуги на основе определения местоположения используют описанный выше подход для создания комментариев.

[0028] Например, система 105 связи системы 100 содержит одну или более сетей, таких как сеть передачи данных (не показана), беспроводная сеть (не показана), телефонная сеть (не показана) или любая их комбинация. Предусмотрено, что сеть передачи данных может быть любой локальной сетью (LAN), городской компьютерной сетью (MAN), региональной сетью (WAN), сетью передачи данных общего пользователя (например, Интернет), беспроводной сетью малой дальности или любой другой подходящей сетью с коммутацией пакетов, такой как коммерческие, частные сети с коммутацией пакетов, например частные кабельные сети или волоконно-оптические сети и т.п., или любой их комбинацией. Кроме того, беспроводная сеть может быть, например, сетью сотовой связи и может использовать различные технологии, включая протокол повышения скорости передачи данных для глобального развития (EDGE), общий сервис пакетной радиопередачи (GPRS), глобальную систему для мобильной связи (GSM), мультимедийную подсистему с использованием Интернет-протокола (IMS), универсальную систему мобильной связи (UMTS) и т.д., а также любую другую подходящую беспроводную среду, например сети стандарта общемировой совместимости широкополосного беспроводного доступа (WiMAX), сети стандарта долгосрочного развития (LTE), сети стандарта множественного доступа с кодовым разделением каналов (CDMA), сети стандарта широкополосного множественного доступа с кодовым разделением каналов (WCDMA), сети стандарта Wi-Fi, беспроводные локальные сети (WLAN), сети стандарта Bluetooth®, сети с преобразованием данных согласно протоколу Интернета (IP), сети для спутниковой связи, мобильные сети эпизодического доступа (MANET) и т.п.или любую их комбинацию.

[0029] Пользовательское оборудование 101 представляет собой любой тип мобильного терминала, стационарного терминала или портативного терминала, включая мобильный телефон, станцию, блок, устройство, мультимедийный компьютер, мультимедийный планшет, Интернет-узел, коммуникатор, настольный компьютер, ноутбук, персональный цифровой помощник (PDA), аудио/видеоплеер, цифровую камеру/видеокамеру, устройство позиционирования, телевизионный приемник, приемник радиотрансляционных передач, электронную книгу, игровое устройство или любую их комбинацию, включая аксессуары и периферийные устройства для этих устройств или любую их комбинацию. Кроме того, предусмотрено, что пользовательское оборудование может поддерживать любой тип пользовательского интерфейса (например, «носимые» схемы и т.д.).

[0030] Например, пользовательское оборудование 101 и платформа 103 служб определения местоположения осуществляют связь друг с другом и другими компонентами системы 105 связи с использованием известных, новых или находящихся в стадии разработки протоколов. В контексте данного изобретения протокол включает ряд правил, согласно которым узлы сети в пределах системы 105 связи взаимодействуют друг с другом на основе информации, посылаемой по линиям связи. Протоколы эффективны на различных уровнях функционирования в пределах каждого узла, от генерирования и приема физических сигналов различного типа до выбора линии связи для передачи этих сигналов, формата информации, задаваемого этими сигналами, идентификации, какое именно программное приложение посылает или принимает информацию. Концептуально различные уровни протоколов для обмена информацией по сети описаны в эталонной модели взаимодействия открытых систем (OSI).

[0031] Связь между узлами сети, как правило, осуществляется путем обмена дискретными пакетами данных. Каждый пакет, как правило, содержит (1) заголовочную информацию, ассоциированную с конкретным протоколом, и (2) информацию о полезной нагрузке, которая следует за заголовочной информацией и содержит информацию, которая может быть обработана независимо от указанного конкретного протокола. В некоторых протоколах пакет включает (3) хвостовую информацию, идущую после полезной нагрузки и указывающую конец полезной нагрузки. Заголовок содержит такую информацию как источник пакета, его назначение, длину полезной нагрузки и другие признаки, используемые протоколом. Часто данные в полезной нагрузке для конкретного протокола содержат заголовок и полезную нагрузку для некоторого другого протокола, ассоциированного с другим, более высоким уровнем эталонной модели OSI. В заголовке для конкретного протокола, как правило, указывается тип для последующего протокола, содержащегося в полезной нагрузке. Тогда говорят, что протокол более высокого уровня инкапсулирован в протокол более низкого уровня. Заголовки, входящие во множественные гетерогенные сети для передачи пакетов, такие как Интернет, как правило включают физический заголовок (уровень 1), заголовок (уровень 2) канала передачи данных, межсетевой заголовок (уровень 3), транспортный заголовок (уровень 4) и заголовки (уровень 5, уровень 6 и уровень 7) различных приложений, как определено в эталонной модели OSI.

[0032] В одном варианте выполнения настоящего изобретения платформа 103 служб определения местоположения может взаимодействовать с приложениями 109 пользовательского оборудования 101 согласно модели клиент-сервер. Согласно модели клиент-сервер, процесс клиента посылает сообщение, включающее запрос в процесс сервера, а процесс сервера реагирует, оказывая услугу (например, обработку изображений дополненной реальности, извлечение изображения дополненной реальности, извлечение данных о точках интереса, поиск точек интереса, поиск информации о структурах и т.д.). Процесс сервера может также возвратить сообщение с реакцией на процесс клиента. Часто процесс клиента и процесс сервера выполняются в различных компьютерных устройствах, называемых хостами, и общаются посредством сети с использованием одного или более протоколов для сетевой связи. Термин «сервер» традиционно используется для описания процесса, который оказывает услугу, или хоста, на котором осуществляется указанный процесс. Аналогично термин «клиент» традиционно используется для описания процесса, который обращается с запросом, или хоста, на котором осуществляется указанный процесс. В контексте настоящего описания термины «клиент» и «сервер» относятся к процессам, а не к хостам, если из контекста не следует противоположного. Кроме того, процесс, выполняемый сервером, может быть разбит на несколько процессов, осуществляемых в нескольких хостах (иногда называемых ярусами), помимо прочего, из соображений надежности, масштабируемости и избыточности.

[0033] На фиг.2 показана схема компонентов пользовательского оборудования согласно одному из вариантов выполнения настоящего изобретения. Например, пользовательское оборудование 101 содержит один или более компонентов для создания графического интерфейса пользователя в отношение услуг на основе определения местоположения (например, дополненная реальность, смешанная реальность и т.д.). Понятно, что функции этих компонентов могут быть объединены в одном или более компонентов или могут выполняться другими компонентами, выполняющими эквивалентные функции. В этом варианте выполнения настоящего изобретения пользовательское оборудование 101 содержит модуль 111 сбора данных, который может содержать один или более модулей 201 определения местоположения, модулей 203 магнитометра, модулей 205 акселерометра и модулей 207 захвата изображения. Пользовательское оборудование 101 может также содержать модуль 209 времени исполнения для координации использования других компонентов пользовательского оборудования 101, пользовательский интерфейс 211, интерфейс 213 связи, модуль 215 обработки изображений и память 217. Приложение 109 (например, приложение службы определения местоположения) пользовательского оборудования 101 может выполняться в модуле 209 времени исполнения с использованием компонентов пользовательского оборудования 101.

[0034] Модуль 201 определения местоположения может определять местоположение пользователя. Местоположение пользователя можно определить с помощью триангуляционной системы, такой как глобальная система определения местоположения (GPS), усовершенствованная система GPS (A-GPS), ячейка-источник (Cell of origin) или других технологий экстраполяции местоположения. Для точного определения местоположения пользовательского оборудования 101 стандартные системы GPS и A-GPS могут использовать спутники 113. Система ячейка-источник может использоваться для определения вышки сотовой антенны, с которой синхронизировано сотовое пользовательское оборудование 101. Эта информация дает грубое местоположение пользовательского оборудования 101, поскольку у вышки сотовой антенны может быть уникальный сотовый идентификатор (ID ячейки), который может быть отображен географически. Модуль 201 определения местоположения может также использовать несколько технологий для обнаружения местоположения пользовательского оборудования 101. Координаты местоположения (например, координаты GPS) могут дать более подробную информацию о местоположении пользовательского оборудования 101, когда получена медиа-картинка объекта (например, изображение, видеокартинка и т.д.). В еще одном варианте выполнения настоящего изобретения координаты GPS встраивают в метаданные полученных медиа-картинок (например, изображения видеокартинки и т.д.) или другим способом ассоциируют с пользовательским оборудованием 101 с помощью приложения 109. В других вариантах выполнения настоящего изобретения координаты местоположения могут быть сформатированы в файл (например, в виде вектора) и отправлены в платформу 103 служб определения местоположения независимо от каких-либо медиаданных. Кроме того, в некоторых вариантах выполнения настоящего изобретения координаты GPS могут включать высоту над уровнем моря. Эту высоту можно также определить с использованием высотомера другого типа. В некоторых сценариях модуль 201 определения местоположения может быть средством определения местоположения пользовательского оборудования 101, изображения или может использоваться для ассоциирования точек интереса или структур в поле зрения с местоположением. Дополнительно или альтернативно для определения места, представляющего интерес, можно использовать ввод данных пользователем.

[0035] Модуль 203 магнитометра может использоваться для обнаружения горизонтальной ориентации пользовательского оборудования 101. Магнитометр представляет собой прибор, который может измерять силу и/или направление магнитного поля. С помощью принципов, аналогичных применяемым в работе компаса, магнитометр способен определить направления пользовательского оборудования 101 с использованием магнитного поля Земли. Передняя панель устройства получения медиа-какртинки (например, фотокамеры) может быть отмечена как эталонная точка при определении направления. Таким образом, если магнитное поле указывает на север относительно эталонной точки, известен угол эталонной точки пользовательского оборудования 101 относительно магнитного поля. Можно провести вычисления и определить направление пользовательского оборудования 101. В еще одном варианте выполнения настоящего изобретения данные о горизонтальном направлении, полученные из магнитометра, встраивают в метаданные, идущие в виде потока или другим способом ассоциированные с пользовательским оборудованием 101 (например, включая информацию в запросе платформы 103 служб определения местоположения), приложением 109 службы, зависящей от определения местоположения. Например, запрос может быть использован для извлечения информации, ассоциированной с конкретным местоположением, одной или более точек интереса, одним или большим количество структур и т.д.

[0036] Модуль 205 акселерометра может использоваться для определения вертикальной ориентации пользовательского оборудования 101. Акселерометр представляет собой прибор, который может измерять ускорение. Использование акселерометра с тремя осями, X, Y, и Z, обеспечивает измерение ускорения в трех направлениях с известными углами. И вновь, передняя панель устройства получения медиа-картинки может быть отмечена в качестве эталонной точки при определении направления. Поскольку ускорение силы тяжести известно, когда пользовательское оборудование 101 стационарно, модуль 205 акселерометра может определить угол, который пользовательское оборудование 101 составляет относительно силы тяжести на Земле. В еще одном варианте выполнения настоящего изобретения данные о вертикальном направлении, полученные из акселерометра, встраивают в метаданные, полученные, идущие в виде потока или другим способом ассоциированные с пользовательским оборудованием 101, приложением 109 службы, зависящей от определения местоположения. В некоторых сценариях модуль 203 магнитометра и модуль 205 акселерометра могут быть средством установления ракурса пользователя. Кроме того, ориентация при ассоциации с местоположением пользователя, может быть использована для отображения местоположения пользовательского оборудования 101 на одно или более изображений (например, на панорамное изображение и/или обзорные изображения фотокамеры) и/или на трехмерный вид. При такой информации об ориентации приложение 109 служб местоположения может определить одну или более точек интереса, структур и т.д. относительно пользовательского оборудования 101. Кроме того, информация об ориентации может быть использована для индикации информации о точках интереса (например, комментариев) пользователю на пользовательский интерфейс 211 пользовательского оборудования 101.

[0037] В еще одном варианте выполнения настоящего изобретения для связи с платформой 103 служб определения местоположения или другим пользовательским оборудованием 101 может использоваться интерфейс 213 связи. Связь может осуществляться с помощью таких способов, как Интернет-протокол, обмен сообщениями (например, SMS, MMS и т.д.), или любого другого способа связи (например, посредством системы связи 105). В некоторых примерах пользовательское оборудование 101 может выдать запрос в платформу 103 служб определения местоположения через интерфейс 213 связи. Платформа 103 служб определения местоположения может затем выслать ответ назад через интерфейс 213 связи. В некоторых вариантах выполнения настоящего изобретения информация о местоположении и/или об ориентации используется для генерации запроса в платформу 103 служб определения местоположения по поводу одного или более изображений (например, панорамных изображений) одного или более объектов, одной или большего количества порций информации о местоположении на карте, трехмерной карте и т.д.

[0038] Модуль 207 захвата изображения может быть соединен с одним или более устройств захвата медиаданных. Модуль 207 захвата изображения может содержать оптические датчики и электрическую схему, которая преобразует оптические изображения в цифровой формат. Примеры модулей 207 захвата изображения включают фотокамеры, видеокамеры и т.д. Кроме того, модуль 207 захвата изображения может обрабатывать данные, идущие из устройств захвата медиаданных. Например, модуль 207 захвата изображения может принимать видеоинформацию, относящуюся к реальному миру (например, при выполнении приложения 109 служб местоположения через модуль 209 времени исполнения). Модуль 207 захвата изображения может захватить одно или более изображений из указанной информации и/или из наборов изображений (например, видеоданных). Эти изображения могут быть посланы для обработки в платформу 103 служб определения местоположения или обработаны в модуле 215 обработки изображений. Модуль 215 обработки изображений может, например, обнаружить одну или более точек интереса и/или структур, ассоциированных с некоторым местоположением и/или ориентацией. Кроме того, модуль 215 обработки изображений и/или платформа 103 служб определения местоположения может определить один или более этажей, ассоциированных со структурой, на основе одного или более алгоритмов. В некоторых вариантах выполнения настоящего изобретения один или более признаков структуры могут быть определены с использованием модуля 215 обработки изображений и/или платформы 103 служб определения местоположения, которая может быть использована для определения одного или более разделений, ассоциированных со структурой. Представления точек интереса, ассоциированных со структурой, могут затем быть представлены через пользовательский интерфейс 211. Модуль 215 обработки изображений может быть реализован с помощью одного или более процессоров, графических процессоров и т.д. В некоторых вариантах выполнения настоящего изобретения модуль 207 захвата изображения может быть средством для определения одного или более изображений.

[0039] Пользовательский интерфейс 211 может включать различные способы связи. Например, пользовательский интерфейс 211 может иметь выходы, содержащие визуальный компонент (например, экран), аудио компонент, физический компонент (например, вибрации) и другие способы связи. Ввод данных пользователем может включать интерфейс с сенсорным экраном, интерфейс «прокрутка-щелчок», клавишный интерфейс, микрофон и т.д. Кроме того, пользовательский интерфейс 211 может использоваться для отображения карт, информации о навигации, изображений и потоков из фотокамеры, информации приложения дополненной реальности, точек интереса, изображений карт виртуальной реальности, панорамных изображений и т.д. из памяти 217 и/или принятых через интерфейс 213 связи. Ввод может производиться одним или более способов, таких как речевой ввод, текстовый ввод, ввод с клавиатуры, ввод с сенсорного экрана, другой сенсорный ввод и т.д. В некоторых вариантах выполнения настоящего изобретения пользовательский интерфейс 211 и/или модуль 209 времени исполнения может быть средством для включения презентации информации на дисплее.

[0040] В некоторых вариантах выполнения настоящего изобретения память 217 может хранить информацию об одной или более точек интереса, которые не доступны другим пользователям. Например, информация о контактах, хранящаяся в списке контактов, может содержать информацию, доступную в виртуальной карте контактов или вводимую пользователем, включая информацию о местоположении (например, адрес) и идентификатор контакта. При этом пользователь может выбрать контакт в виде точки интереса, о котором пользователь рассчитывает получить информацию. Дополнительно или альтернативно пользователь может запросить такую информацию из другого источника (например, адресной базы данных). В некоторых вариантах выполнения настоящего изобретения эти другие источники могут быть частными источниками. Например, у пользователя может иметься транспондер, прикрепленный к автомобилю, который может использоваться в качестве идентифицируемой точки интереса.

[0041] На фиг.3 показана последовательность операций для представления информации о точке интереса на основе разделения структур согласно одному из вариантов выполнения настоящего изобретения. В одном варианте выполнения настоящего изобретения приложение 109 служб местоположения (например, выполняемое в модуле 209 времени исполнения пользовательского оборудования 101) выполняет процесс 300 и реализовано, например, в наборе микросхем, содержащем процессор и память, как показано на фиг.6. Дополнительно или альтернативно, одна или более частей процесса 300 может быть реализована в другом устройстве (например, платформе 103 служб определения местоположения). При этом модуль 209 времени исполнения и/или другие устройства могут быть использованы в качестве средства для реализации одного или большего количество шагов процесса 300.

[0042] Пользователь пользовательского оборудования 101 может использовать приложение 109 служб местоположения для просмотра контента, зависящего от местоположения, в пользовательском оборудовании 101. Приложение 109 служб местоположения может быть использовано для обеспечения пользователей функциями дополненной реальности или смешанной реальности. В одном варианте выполнения настоящего изобретения пользователь может вводить в пользовательское оборудование 101 данные о местоположении (например, адрес). Дополнительно или альтернативно пользовательское оборудование 101 может определять местоположение на основе одного или более датчиков пользовательского оборудования 101. Кроме того, приложение 109 может определять одно или более представлений по меньшей мере одной структуры (шаг 301). Это может быть сделано на основе информации о местоположении, например, представление может включать одну или более частей панорамного изображения или трехмерной модели, полученной из мировых данных 107 на основе информации о местоположении (например, координат GPS, информации об ориентации, адреса и т.д.). Дополнительно или альтернативно, представление может быть сгенерировано одним или более формирователей изображения (например, модулем 207 захвата изображения).

[0043] Затем не шаге 303 приложение 109 может определить одно или более разделений по меньшей мере одной структуры по меньшей мере частично на основе одного или более признаков одного или более представлений. Как отмечено выше, разделения могут включать горизонтальные разделения, используемые для вертикального обособления, вертикальные разделения, используемые для горизонтального обособления, другие типы разделений, их комбинации и т.д. Например, горизонтальные разделения могут быть использованы для представления одного или более этажей структуры. Признаки могут включать архитектурные детали структуры, которые обнаружены в одном или более представлений. Например, детали могут включать обнаруженные окна, функциональные элементы (например, крышу, столбы, выступы и т.д.) и т.п., полученные на представлениях. Обнаруженные признаки можно обработать для определения разделений. Например, разделения могут быть определены на основе одного или более алгоритмов, позволяющих выявить разделения на основе обнаруженных окон. Например, ряд окон в здании может быть показателем разделения на этажи. Использование более одного представления структуры при различных условиях освещения, условиях окружающей среды и т.д. позволяет повысить достоверность алгоритма обнаружения. Например, в ночном представлении структуры окна могут быть освещены изнутри. Освещение может, таким образом, обеспечить дополнительный контраст для обнаружения окон. Различные условия окружающей среды (например, солнечный день) могут дополнительно повысить достоверность признаков. Например, представление в солнечный день может показать признаки лучше, чем в ненастье.

[0044] Затем на шаге 305 приложение 109 может определить одну или более характеристик структуры. Эти характеристики могут включать информацию, хранящуюся в одной или более баз данных, относящихся к структуре и/или точкам интереса в структуре. Например, из каталога, связанного со структурой, можно определить, сколько этажей ассоциировано со структурой. Кроме того, можно использовать чертежи структуры, строительные нормы, информацию о точках интереса и т.д. Например, если точки интереса, ассоциированные со структурой (например, на основе адреса), содержат информацию, указывающую на этаж (например, номер квартиры, первая цифра которого обозначает этаж, номер апартаментов, номер этажа и т.д.), то имеется больше уверенности, что структура содержит по меньшей мере несколько этажей. Эта информация может быть использована для проверки или обновления одного или более разделений, определенных на основе признаков (шаг 307). Проверка может включать сравнение разделений, обнаруженных на основе признаков и характеристик.

[0045] Кроме того, приложение 109 может определить одну или более точек интереса, ассоциированных со структурой (шаг 309). Точки интереса могут быть определены путем опроса мировых данных 107, внутренней памяти пользовательского оборудования 101 и т.п. Например, мировые данные 107 могут включать базу данных и/или структур данных, ассоциированных с одной или более конкретных структур. Кроме того, точки интереса могут быть связаны со структурами в базе данных. Дополнительно или альтернативно точки интереса могут храниться в отдельной базе данных, нежели структурная информация. Здесь информация о точках интереса может быть ассоциирована или коррелирована со структурой на основе другой информации (например, адреса, координат местоположения и т.д.). Например, база данных о точках интереса может содержать информацию о точках интереса на основе структуры данных, включая, например, имя точки интереса, информацию, описывающую точку интереса, информацию о местоположении, информацию, ассоциированную со структурой, их комбинацию и т.д. Информация о местоположении может быть использована для выбора точек интереса и/или структур. Таким образом, приложение 109 может определить одну или более характеристик (например, информацию о местоположении, структурную информацию и т.д.) точек интереса. Например, характеристики могут быть основаны на общем топологическом плане структуры, чертеже структуры, их комбинации и т.д., которые могут включать информацию о точках интереса. Дополнительно или альтернативно, высота структуры может быть использована для проверки. Это может быть полезно, если часть структуры заслонена (например, деревьями). На основе высоты структуры может быть проведен эвристический анализ. Например, исторически этаж имеет высоту приблизительно 3 метра, что может быть использовано для равномерного разделения на разделения по этажам. База данных, содержащая такую информацию, может использоваться для определения признака и/или верификации/обновления разделений.

[0046] Затем на шаге 311 приложение 109 может принять решение представить одну или более точек интереса для отображения (например, на дисплее) на основе, по меньшей мере частично, одного или более разделений. Например, приложение 109 может вызвать отображение структуры (например, на основе базы данных изображений и/или одного или более изображений, захваченных пользовательским оборудованием 101). Приложение 109 может затем вызвать отображение определенных точек интереса, ассоциированных со структурой. Представления могут включать информацию о точках интереса и могут быть представлены на основе разделений, как показано на фиг.4A и 4B. Информация о точках интереса может содержать описание точек интереса (например, имя контакта, имя местоположения, название магазина, признаки, доступные в точках интереса, и т.д.), а также метки и другие представления, такие как пиктограммы. Информация может быть представлена в качестве наложения, дополнения, комментария и т.п. Преимущество показа информации о точках интереса на основе разделений состоит в том, пользователю можно показать большую степень детализации.

[0047] В еще одном варианте выполнения настоящего изобретения у пользователя может иметься опция, позволяющая изменить или модифицировать ассоциации точек интереса и разделений. Например, пользователю можно предоставить опцию редактирования, позволяющую ему вручную редактировать количество разделений, ассоциированных со структурой. В некоторых вариантах выполнения настоящего изобретения эти изменения могут быть сохранены в пользовательском оборудовании 101. В других вариантах выполнения настоящего изобретения изменения могут быть сохранены в платформе 103 служб определения местоположения и использованы другими пользователями. Пользователь может изменить разделения через пользовательский интерфейс. Дополнительно или альтернативно, для модификации алгоритма определения разделений можно использовать ввод данных пользователем. Например, пользователь может ввести в алгоритм высоту этажа, чтобы определить количество этажей в здании. Кроме того, вид окон и других визуальных признаков (например, повторяющихся визуальных признаков) на фасадах структуры может использоваться для ограничения представления этажей. При этом этажи, которые используются для служебных целей (например, на которых расположены двигатели лифтов, кондиционеры воздуха и т.д.), не попадут в списки этажей, просмотром которых может интересоваться пользователь.

[0048] В еще одном варианте выполнения настоящего изобретения пользователю может быть представлена большая структура, например стадион. В этом варианте выполнения настоящего изобретения структура может быть разделена на одну или более секций на основе одного или более разделения. Например, могут быть различные секции, в которых клиенты могут купить входные билеты. Датчик пользовательского оборудования 101 (например, датчик штрихкода, фотокамера и т.д.) или другое устройство ввода (например, клавиатура) могут быть использованы для определения конкретной секции стадиона, которая интересна пользователю. Эту конкретную секцию затем сравнивают с информацией о стадионе (например, схемой стадиона, графическим изображением секции и т.д.). Сравнение может быть использовано для определения местоположения стадиона в комбинации с комментарием о том, что некое представление (например, потоковое изображение) ассоциировано с этой конкретной секцией. Секцию можно дополнительно выделить (например, наложенным цветом, контуром и т.д.), чтобы подчеркнуть это местоположение.

[0049] На фиг.4A-4B схематично показаны пользовательские интерфейсы, используемые в процессах, иллюстрируемых на фиг.3, согласно различным вариантам выполнения настоящего изобретения. На фиг.4A показан пользовательский интерфейс 400 базового изображения, который может быть использован пользователем пользовательского оборудования 101, использующим приложение на основе определения местоположения. Изображение может содержать одну или более структур 401, 403, 405. Точки интереса, ассоциированные со структурами, можно найти с использованием информации о местоположении и/или поисковой информации, введенной пользователем. Кроме того, изображение может быть частью изображения в видоискателе фотокамеры пользовательского оборудования 101 и/или базы данных изображений. Контент точек интереса может быть выведен наложением в пользовательский интерфейс 400.

[0050] Пользовательский интерфейс 420 демонстрирует базовый пользовательский интерфейс 400 с дополнительным контентом, ассоциированным с точками интереса. Как показано на чертеже, пользовательский интерфейс 420 содержит точки интереса 421, 423, 425, 427, 429, показанные в различных разделах структуры 401. Вертикальное разделение может быть использовано для показа пользователю того, что различные этажи структуры 401 ассоциированы с различными точками интереса. Как сказано выше, один или более рядов окон 431a-431e можно использовать для определения горизонтальных разделений, и представления точек интереса 421, 423, 425, 427, 429 могут быть ассоциированы с разделениями на основе информации о точках интереса (например, информации об адресах, ассоциированных с точками интереса). Кроме того, горизонтальное разделение может быть аппроксимировано на основе информации о точках интереса и/или других типах отбора. Например, Джо Боб 425 и группа 427 могут быть ассоциированы с одним и тем же этажом, но одновременно разделены в горизонтальном направлении на основе информации о топологическом плане и/или на основе случайного выбора.

[0051] В вышеуказанных подходах возможно разделение точек интереса, ассоциированных со структурой. Кроме того, пользователи приложений могут просматривать информацию о точках интереса с разделением, что позволяет пользователю более четко различать точки интереса и графически размещать их. Это выполняют путем обеспечения дополнительной размерности для визуализации информации на основе разделения. Кроме того, этот подход позволяет приложениям обеспечить дополнительную точность информации о точках интереса, представляемой пользователям. Кроме того, элементы конфиденциальной информации (например, информация о контакте, хранящаяся в пользовательском оборудовании 101), могут быть получены непосредственно из пользовательского оборудования 101, что обеспечивает дополнительную конфиденциальность для пользователя. При этом информация, выдаваемая пользователю, может быть видима на пользовательском оборудовании 101 этого пользователя, но не на пользовательском оборудовании 101 другого пользователя, у которого нет доступа к распределяемой информации (например, информации о контактах, информации о присутствии данного человека и т.д.).

[0052] Описанные здесь процессы аннотирования информации о точке интереса предпочтительно могут быть реализованы посредством программного обеспечения, аппаратных средств, встроенного микропрограммного обеспечения или комбинации программного обеспечения и/или встроенного микропрограммного обеспечение и/или аппаратных средств. Например, процессы, описанные здесь, могут быть предпочтительно реализованы с помощью процессора (процессоров), микросхемы цифровой обработки сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой вентильной матрицы (FPGA) и т.д. Такие примеры аппаратных средств для выполнения описанных выше функций подробно рассмотрены ниже.

[0053] На фиг.5 показана компьютерная система 500, в которой может быть реализован вариант выполнения настоящего изобретения. Хотя компьютерная система 500 изображена на примере конкретного устройства или оборудования, очевидно, что в пределах фиг.5 другие устройства или аппаратные средства (например, сетевые элементы, серверы и т.д.) могут входить в аппаратные средства и компоненты системы 500. Компьютерная система 500 запрограммирована (например, посредством компьютерных программных кодов или инструкций) на аннотирование информации о точке интереса, как описано выше, и содержит механизм связи, такой как шина 510, для передачи информации между другими внутренними и внешними компонентами компьютерной системы 500. Информация (также называемая данными) представлена как физическое выражение измеримого явления, обычно как электрическое напряжение, но в других вариантах выполнения настоящего изобретения может включать такие явления как магнитные, электромагнитные, механические (давление), химические, биологические, молекулярные, атомарные, внутриатомные и квантовые взаимодействия. Например, северный и южный магнитные полюса, или нулевое и ненулевое электрическое напряжение представляют собой два состояния (0, 1) двоичной цифры (бит). Другие явления могут представлять числа с большим основанием. Суперпозиция множества одновременных квантовых состояний перед измерением представляет собой квантовый бит (кубит, qubit). Последовательность из одной или более цифр составляет цифровые данные, которые используются для представления некоторого количества, или код для символа. В некоторых вариантах выполнения настоящего изобретения информация, называемая аналоговыми данными, представляется квазиконтинуумом измеримых значений в пределах определенного диапазона. Компьютерная система 500 или ее часть составляет средство для выполнения одного или более шагов по аннотированию информации о точке интереса.

[0054] Шина 510 содержит один или более параллельных проводников информации, чтобы информацию можно было быстро передать в устройства, связанные с шиной 510. С шиной 510 связан один или более процессоров 502 для обработки информации.

[0055] Процессор (или множество процессоров) 502 выполняют с информацией набор операций, определяемый компьютерным программным кодом, относящимся к аннотированию информации о точке интереса. Компьютерный программный код - это набор инструкций или команд, обеспечивающих инструкции для работы процессора и/или компьютерной системы для выполнения ими специфических функции. Например, код может быть записан на компьютерном языке программирования, который компилируется в собственную систему команд процессора. Код может быть также записан непосредственно с использованием собственной системы команд (например, машинного языка). Набор операций включает ввод информации из шины 510 и размещение информации на шине 510. Набор операций также обычно включает сравнение двух или больше блоков информации, смещение положений блоков информации и объединение двух или более блоков информации, например с использованием сложения, умножения или логических операций, таких как ИЛИ, исключающее ИЛИ (XOR), и И. Каждая операция в наборе операций, которые могут быть выполнены процессором, представляется процессору в виде информации, называемой инструкциями, например в виде кода операции, состоящего из одной или более цифр. Последовательность операций, выполняемых процессором 502, например последовательность кодов операций, составляет инструкции процессора, также называемые инструкциями компьютерной системы или просто машинными командами. Процессоры могут быть реализованы, помимо прочего, как механические, электрические, магнитные, оптические, химические или квантовые компоненты, по одиночке или в комбинации.

[0056] Компьютерная система 500 содержит также память 504, связанную с шиной 510. Память 504, например память с произвольной выборкой (RAM) или любое другое устройство динамической памяти, хранит информацию, включая инструкции процессора, предназначенные для аннотирования информации о точке интереса. Динамическая память позволяет компьютерной системе 500 изменять хранящуюся там информацию. Память с произвольной выборкой (RAM) позволяет хранить блок информации в месте, называемом адресом памяти, и извлекать ее оттуда, не затрагивая информацию в соседних адресах. Память 504 также используется процессором 502 для хранения временных значений во время выполнения инструкций процессора. Компьютерная система 500 также содержит постоянную память (ROM) 506 или любое другое статическое устройство хранения, связанное с шиной 510, для хранения статической информации, включая инструкции, которые не изменяются компьютерной системой 500. Некоторая память состоит из энергозависимой памяти, которая теряет информацию при выключении питания. Кроме того, с шиной 510 связано энергонезависимое (постоянное) запоминающее устройство 508, такое как магнитный диск, оптический диск или карта флэш-памяти, предназначенное для хранения информации, включая инструкции, которая сохраняется даже при выключении компьютерной системы 500 или выключении питания.

[0057] Информация, включая инструкции для аннотирования информации о точке интереса, выставляется на шину 510 для использования процессором внешнего устройства 512 ввода данных, такого как клавиатура, содержащая алфавитно-цифровые клавиши, которыми управляет человек, или из датчика. Датчик обнаруживает условия в ближайшей к нему окружающей среде и преобразует их в физическое выражение, совместимое с измеряемым явлением и используемое для представления информации в компьютерной системе 500. Другие внешние устройства, связанные с шиной 510 и используемые, прежде всего, для взаимодействия с людьми, включают дисплей 514, например электронно-лучевую трубку (CRT), жидкокристаллический дисплей (LCD), светодиодный дисплей (LED), органический светодиодный дисплей (OLED), плазменный экран или принтер - для представления текста или изображения, и манипулятор 516, например мышь, трекбол, клавиши управления курсором или датчик движения, для управления положением небольшого изображения курсора, представленного на дисплее 514, и выдачи команд, связанных с графическими элементами, представленными на дисплее 514. В некоторых вариантах выполнения настоящего изобретения, например в вариантах, в которых компьютерная система 500 выполняет все функции автоматически без ввода данных человеком, одно или более из следующего: устройство 512 ввода данных, дисплей 514 и манипулятор 516, могут отсутствовать.

[0058] В иллюстрируемом варианте выполнения настоящего изобретения аппаратные средства специального назначения, такие как специализированная интегральная схема (ASIC) 520, связаны с шиной 510. Аппаратные средства специального назначения предназначены для выполнения операций, выполняемых процессором 502 недостаточно быстро, как требуется для специальных целей. Примеры ASIC включают карты графического акселератора для генерации изображения на дисплее 514, криптографические платы для шифровки и дешифровки сообщений, отправленных по сети, распознаватели речи и интерфейсы для специальных внешних устройств, таких как роботизированные руки и медицинское сканирующее оборудование, многократно выполняющее некоторую сложную последовательность операций, которые с большей эффективностью могут быть реализованы в аппаратных средствах.

[0059] Компьютерная система 500 содержит также один или более экземпляров интерфейсов 570 связи с системой, соединенных с шиной 510. Интерфейс 570 связи обеспечивает одностороннюю или двустороннюю связь со множеством внешних устройств, которые работают с собственными процессорами, например с принтерами, сканерами и внешними дисками. В общем случае связь происходит по линии 578 сети, которая соединена с локальной сетью 580, с которой, в свою очередь, связано множество внешних устройств с собственными процессорами. Например, интерфейс 570 связи может представлять собой параллельный порт, последовательный порт или порт универсальной последовательной шины (USB) в персональном компьютере. В некоторых вариантах выполнения настоящего изобретения интерфейс 570 связи представляет собой карту цифровой сети с интегрированным обслуживанием (ISDN), карту цифровой абонентской линии (DSL) или телефонный модем, который обеспечивает соединение для передачи информации с соответствующим типом телефонной линии. В некоторых вариантах выполнения настоящего изобретения интерфейс 570 связи представляет собой кабельный модем, который преобразует сигналы на шине 510 в сигналы для связи по коаксиальному кабелю или в оптические сигналы для связи по оптическому кабелю. В качестве другого примера интерфейс 570 связи может быть картой локальной сети (LAN) для передачи данных по сетям, совместимым с локальной сетью, например Ethernet. Можно также использовать беспроводную связь. В случае использования беспроводной связи интерфейс 570 связи посылает, принимает или как посылает, так и принимает электрические, акустические или электромагнитные сигналы, включая инфракрасные и оптические сигналы, которые переносят потоки информации, например цифровые данные. Например, в беспроводных портативных устройствах, таких как мобильные телефоны, например сотовые телефоны, интерфейс 570 связи содержит электромагнитный передатчик и приемник радиочастотного диапазона, называемый приемопередатчиком радиосигналов. В некоторых вариантах выполнения настоящего изобретения интерфейс 570 связи обеспечивает соединение с сетью 105 связи для пользовательского оборудования 101.

[0060] В контексте настоящего изобретения термин «считываемый компьютером носитель» относится к любому носителю, который участвует в переносе в процессор 502 информации, включающей выполняемые инструкции. Такой носитель может принимать множество форм, включая, но этим не ограничиваясь, считываемую компьютером память (например, энергонезависимые носители, энергозависимые носители) и передающие среды. Долговременно существующие носители, такие как энергонезависимые носители, включают, например, оптические или магнитные диски, такие как запоминающее устройство 508. Энергозависимые носители включают, например, динамическую память 504. Передающие среды включают, например, кабели в виде витой пары, коаксиальные кабели, медный провод, оптические кабели и несущие волны, которые перемещаются через пространство без проводов или кабелей, например акустические волны и электромагнитные волны, включая радиоволны, оптические и инфракрасные волны. Сигналы, передаваемые через передающие среды, могут содержать искусственные переходные вариации амплитуды, частоты, фазы, поляризации или других физических параметров. Стандартные формы считываемых компьютером носителей включают, например, флоппи-диск, гибкий диск, жесткий диск, магнитную ленту, любой другой магнитный материал, CD-ROM, CDRW, DVD, любой другой оптический носитель, перфокарты, перфоленту, листы с оптическими метками, любой другой физический носитель с рисунком из перфораций или других оптически распознаваемых знаков, RAM, PROM, EPROM, EPROM FLASH, EEPROM, флэш-память, любые другие микросхемы памяти или картриджи памяти, несущие волны или любой другой носитель, с которого компьютер способен производить считывание. Термин «считываемый компьютером носитель» используется здесь для указания на любой считываемый компьютером носитель кроме передающих сред.

[0061] Логические команды, закодированные в одном или более физических носителей, содержат инструкции для процессора относительно считываемого компьютера носителя данных и/или технические средства специального назначения, такие как ASIC 520.

[0062] Сетевой канал 578 обычно обеспечивает информационную связь с использованием передающей среды через одну или более сетей с другими устройствами, которые используют или обрабатывают информацию. Например, сетевой канал 578 может обеспечивать соединение через локальную сеть 580 с хостовым компьютером 582 или оборудованием 584, управляемым Интернет-провайдером (ISP). Оборудование ISP 584, в свою очередь, предоставляет услуги по передаче данных через общедоступную, глобальную систему связи с пакетной коммутацией для сетей, теперь обычно называемых Интернетом 590.

[0063] Компьютер, называемый серверным хостом 592 и связанный с Интернетом, является хостом для процесса, который предоставляет услугу в ответ на информацию, принятую по Интернету. Например, серверный хост 592 является хостом для процесса, который обеспечивает информационные видеоданные для индикации на дисплее 514. Очевидно, что компоненты системы 500 могут быть установлены в различных конфигурациях в пределах других компьютерных систем, например в хосте 582 и сервере 592.

[0064] По меньшей мере некоторые варианты выполнения настоящего изобретения относятся к использованию компьютерной системы 500 для реализации некоторых или всех способов, описанных выше. Согласно одному из вариантов выполнения настоящего изобретения эти методы выполняются компьютерной системой 500 в ответ на то, что процессор 502 выполняет одну или более последовательностей, состоящих из одной или более инструкций процессора, хранящихся в памяти 504. Такие инструкции, также называемые машинными командами, программным обеспечением и программным кодом, могут быть считаны в память 504 из другого считываемого компьютером носителя, такого как запоминающее устройство 508 или из сетевого канала 578. Выполнение последовательностей инструкций, хранящихся в памяти 504 процессора 502, приводит к выполнению одного или более шагов способа, описанных выше. В альтернативных вариантах выполнения настоящего изобретения для реализации изобретения, вместо или в комбинации с программным обеспечением, могут использоваться аппаратные средства, такие как ASIC 520. Таким образом, варианты выполнения настоящего изобретения не ограничены никакой конкретной комбинацией аппаратного и программного обеспечения, если не сказано обратное.

[0065] Сигналы, переданные по сетевому каналу 578 и другим сетям через интерфейс 570 связи, переносят информацию к компьютерной системе 500 и из нее. Компьютерная система 500 может посылать и принимать информацию, включая программный код, через сети 580, помимо прочего сеть 590, через сетевой канал 578 и интерфейс 570 связи. В примере с использованием Интернета 590, серверный хост 592 передает для определенного приложения программный код, затребованный сообщением, которое отправлено из компьютера 500 через Интернет 590, оборудование ISP 584, локальную сеть 580 и интерфейс 570 связи. Принятый код может быть выполнен процессором 502 по мере его приема или может быть сохранен в памяти 504 или в запоминающем устройстве 508 или любом другом долговременном хранилище для более позднего выполнения, или выполняется как то, так и другое. Таким способом, компьютерная система 500 может получить код прикладной программы в виде сигналов на несущей волне.

[0066] В переносе одной или более последовательностей инструкций или данных или того и другого к процессору 502 для последующего их выполнения могут участвовать различные типы считываемых компьютером носителей. Например, инструкции и данные можно первоначально перенести на магнитном диске из удаленного компьютера, например хоста 582. Удаленный компьютер загружает инструкции и данные в свою динамическую память и посылает эти инструкции и данные по телефонной линии с использованием модема. Модем, локальный для компьютерной системы 500, принимает инструкции и данные по телефонной линии и использует инфракрасный передатчик для преобразования инструкций и данных в сигналы на инфракрасной несущей волне, выполняющей функцию сетевого канала 578. Инфракрасный детектор, служащий интерфейсом 570 связи, принимает инструкции и данные, которые переносятся в инфракрасном сигнале, и размещает информацию, представляющую инструкции и данные, на шине 510. Шина 510 переносит информацию в память 504, из которой процессор 502 принимает инструкции и выполняет их с использованием некоторых данных, посланных совместно с инструкциями. Инструкции и данные, принятые в память 504, могут дополнительно быть сохранены в запоминающем устройстве 508 до или после выполнения их процессором 502.

[0067] На фиг.6 показан набор микросхем или микросхема 600, в которой может быть реализован вариант выполнения настоящего изобретения. Набор микросхем 600 запрограммирован для аннотирования информации о точке интереса, как описано выше, и содержит, например, процессор и компоненты памяти, показанные на фиг.5 и объединенные в один или более физических модулей (например, микросхем). Например, физический модуль предусматривает установку одного или более материалов, компонентов и/или проводов в структурном блоке (например на основной плате), чтобы обеспечить одну или более характеристик, таких как прочность, неизменность размеров и/или ограничение электрического взаимодействия. Очевидно, что в определенных вариантах выполнения настоящего изобретения набор микросхем 600 может быть реализован в однокристальной схеме. Кроме того, очевидно, что в некоторых вариантах выполнения настоящего изобретения набор микросхем или микросхема 600 могут быть реализованы как единая «система на кристалле». Кроме того, очевидно, что в некоторых вариантах выполнения настоящего изобретения отдельная микросхема ASIC не используется, а все соответствующие функции, описанные здесь, выполняются процессором или процессорами. Набор микросхем или микросхема 600, или ее часть, представляют собой средство для выполнения одного или более шагов для предоставления информации для навигации в рамках пользовательского интерфейса, связанной с доступностью функций. Набор микросхем или микросхема 600, или ее часть представляют собой средство для выполнения одного или более шагов по аннотированию информации о точке интереса.

[0068] В еще одном варианте выполнения настоящего изобретения, набор микросхем или микросхема 600 содержит механизм связи, например шину 601, для передачи информацию между компонентами набора микросхем 600. Процессор 603 связан с шиной 601 для выполнения инструкций и получения информации о процессе, хранящейся, например, в памяти 605. Процессор 603 может содержать одно или более ядер обработки, при этом каждое ядро работает независимо. Многоядерный процессор обеспечивает многопроцессорную обработку в пределах единственного физического модуля. Примеры многоядерного процессора включают двухядерные, четырехядерные, восьмиядерные процессоры или процессоры с большим количеством ядер. Альтернативно или дополнительно, процессор 603 может содержать один или более микропроцессоров, сконфигурированных в тандем посредством шины 601, что обеспечивает независимое выполнение инструкций, конвейерную обработку и многопоточность. К процессору 603 могут также быть приданы один или более специализированных компонентов для выполнения определенных функции обработки и решения задач, например один или более цифровых сигнальных процессоров (DSP) 607 или одна или более специализированных интегральных схем (ASIC) 609. Цифровой сигнальный процессор 607 обычно предназначен для обработки сигналов реального мира (например, звуков) в режиме реального времени независимо от процессора 603. Аналогично, микросхема ASIC 609 может быть сконфигурирована для выполнения специальных функций, которые не так легко выполнить процессору общего назначения. Другие специализированные компоненты, способствующие выполнению функций согласно изобретению, описанных выше, могут включать одну или более программируемых вентильных матриц (FPGA) (не показаны), один или более контроллеров (не показаны) или одну или более других компьютерных микросхем специального назначения.

[0069] В еще одном варианте выполнения настоящего изобретения, набор микросхем или микросхема 600 содержит просто один или более процессоров и некоторое программное обеспечение, и/или поддержку в виде встроенного микропрограммного обеспечения, и/или относящееся к одному или большему количеству процессоров.

[0070] Процессор 603 и сопутствующие компоненты связаны с памятью 605 через шину 601. Память 605 содержит как динамическую память (например, RAM, магнитный диск, перезаписываемый оптический диск и т.д.), так и статическую память (например, ROM, CD-ROM и т.д.) для хранения выполняемых инструкций, которые при их выполнении приводят к выполнению шагов согласно изобретению, описанных выше, по аннотированию информации о точке интереса. В памяти 605 также хранятся данные, ассоциированные с шагами согласно изобретению или сгенерированные в процессе таких шагов.

[0071] На фиг.7 схематично показаны примеры компонентов мобильного терминала (например, телефона) для связи, который способен работать в системе, показанной на фиг.1, согласно одному из вариантов выполнения настоящего изобретения. В некоторых вариантах выполнения настоящего изобретения мобильный терминал 701 или его часть представляет собой средство для выполнения одного или более шагов по аннотированию информации о точке интереса. В общем случае, радиоприемник часто определяют с точки зрения характеристик входных каскадов и выходных каскадов. Входные каскады приемника охватывают всю высокочастотную часть, тогда как выходные каскады охватывает все схемы обработки в основной полосе частот. В контексте настоящего описания термин «схема» относится к двум аспектам: (1) только аппаратным средствам (таким, как только аналоговая и/или цифровая схема), и (2) к комбинациям схемы и программного обеспечения (и/или встроенных программ) (таким как, если применить это определение к конкретному контексту, к комбинации процессора (процессоров), включая процессор (процессоры) цифрового сигнала, программное обеспечение и память, которые взаимодействуют, заставляя устройство, например, мобильный телефон или сервер, выполнять различные функции). Такое определение «схемы» относится ко всему использованию этого термина в данном документе, включая любые пункты формулы изобретения. В качестве дальнейшего примера, используемого в этом документе и применимого к определенному контексту, термин «схема» охватывает также реализацию в виде просто процессора (или множества процессоров) и его (или их) сопутствующего программного/встроенного программного обеспечения. Термин «схема» охватывает также, например, интегральную схему, работающую на основной полосе частот, или интегральную схему процессора приложения в мобильном телефоне, или аналогичную интегральную схему в устройстве сотовой связи или других устройствах сети.

[0072] Подходящие внутренние компоненты телефона включают основной блок 703 управления (MCU), процессор 705 цифрового сигнала (DSP) и блок приемника/передатчика, содержащий блок регулировки усиления микрофона и блок регулировки усиления громкоговорителя. Основное дисплейное устройство 707 обеспечивает отображение информации пользователю и поддержку различных приложений и функций мобильного терминала, которые выполняют или поддерживают шаги по аннотированию информации о точке интереса. Дисплей 707 содержит схему дисплея, предназначенную для отображения по меньшей мере части пользовательского интерфейса в мобильном терминале (например, мобильном телефоне). Кроме того, дисплей 707 и схема дисплея предназначены для облегчения пользователю управления по меньшей мере некоторыми функциями мобильного терминала. Схема 709 аудиофункций содержит микрофон 711 и микрофонный усилитель, который усиливает голосовой сигнал с выхода микрофона 711. Усиленный голосовой сигнал из микрофона 711 подается в кодер/декодер (кодек) 713.

[0073] Радиокаскад 715 осуществляет усиление мощности и преобразование частоты для связи с базовой станцией, которая входит в систему мобильной связи, через антенну 717. Усилитель 719 мощности (PA) и передающая/модуляционная схема функционально чувствительны к сигналам из основного блока 703 управления, при этом выход усилителя 719 мощности соединен с дуплексером 721, циркулятором или антенным переключателем, как известно специалистам в данной области техники. Усилитель 719 мощности связан также с интерфейсом аккумуляторов и блоком 720 управления питанием.

[0074] При работе пользователь мобильного терминала 701 говорит в микрофон 711, и его голос вместе с любым другим обнаруженным фоном преобразуется в аналоговое напряжение. Затем аналоговое напряжение преобразуется в цифровой сигнал через аналого-цифровой преобразователь (ADC) 723. Блок 703 управления маршрутизирует цифровой сигнал в цифровой сигнальный процессор (DSP) 705 для обработки в нем, например проведения кодирования речи, кодирования канала, шифровки и интерливинга. В одном из вариантов выполнения настоящего изобретения обработанные голосовые сообщения кодируются в блоках, которые не показаны по отдельности, с использованием сетевого протокола передачи, такого как протокол повышения скорости передачи данных для глобального развития (EDGE), протокол пакетной радиосвязи общего назначения (GPRS), протокол глобальной системы для мобильной связи (GSM), мультимедийная подсистема с использованием Интернет-протокола (IMS), универсальная система мобильной связи (UMTS) и т.д., а также протокола для любой другой подходящей беспроводной среды, например сети стандарта общемировой совместимости широкополосного беспроводного доступа (WiMAX), сети стандарта долгосрочного развития (LTE), сети стандарта множественного доступа с кодовым разделением каналов (CDMA), сети стандарта широкополосного множественного доступа с кодовым разделением каналов (WCDMA), сети стандарта Wi-Fi, сети для спутниковой связи и т.д. и их комбинаций.

[0075] Затем кодированные сообщения направляются в эквалайзер 725 для компенсации любых частотно-зависимых искажений, которые происходят во время беспроводной передачи, таких как фазовое и амплитудное искажение. После выравнивания битового потока модулятор 727 объединяет сигнал с радиочастотным сигналом, генерируемым радиочастотным интерфейсом 729. Модулятор 727 генерирует синусоидальный сигнал с использованием частотной или фазовой модуляции. Для подготовки сигнала к передаче преобразователь 731 с повышением частоты объединяет сигнал на выходе модулятора 727 с другим синусоидальным сигналом, генерируемым синтезатором 733, для достижения желательной частоты передачи. Затем сигнал посылают через усилитель 719 мощности (PA) для усиления сигнала до подходящего значения мощности. На практике усилитель 719 мощности действует как усилитель с варьируемым коэффициентом усиления, величиной которого управляет цифровой сигнальный процессор (DSP) 705 на основе информации, принятой из базовой станции сети. Затем сигнал проходит через фильтр внутри дуплексера 721 и, в качестве опции, посылается в антенный соединитель 735 для согласования импедансов и обеспечения передачи максимальной мощности. Наконец, сигнал через антенну 717 передается в локальную базовую станцию. Для управления усилением в выходных каскадах приемника может быть использована автоматическая регулировка усиления (AGC). Далее сигналы могут быть переданы в удаленный телефон, который может быть другим сотовым телефоном, другим мобильным телефоном или наземной линией связи, связанной с телефонной коммутируемой сетью общего пользования или другими телефонными сетями.

[0076] Голосовые сигналы, переданные в мобильный терминал 701, принимаются через антенну 717 и сразу же усиливаются малошумящим усилителем (LNA) 737. Преобразователь 739 с уменьшением частоты понижает несущую частоту, а демодулятор 741 удаляет радиочастоту, оставляя только цифровой битовый поток. Затем сигнал проходит через эквалайзер 725 и обрабатывается в цифровом сигнальном процессоре (DSP) 705. Цифроаналоговый преобразователь (DAC) 743 преобразует сигнал, и он с выхода передается пользователю через громкоговоритель 745, при этом все эти операции происходят под управлением основного блока 703 управления (MCU), который может быть выполнен в виде центрального процессорного блока (CPU) (не показан).

[0077] Основной блок 703 управления принимает различные сигналы, включая сигналы от клавиатуры 747. Клавиатура 747 и/или основной блок 703 управления совместно с другими компонентами для ввода данных пользователем (например, микрофоном 711) содержат схему пользовательского интерфейса, предназначенную для управления вводом данных пользователем. Основной блок 703 управления управляет работой программного обеспечения интерфейса, облегчая для пользователя управление по меньшей мере некоторыми функциями мобильного терминала 701 с целью аннотирования информации о точке интереса. Кроме того, основной блок 703 управления посылает команды отображения и команды переключения в дисплей 707 и контроллер переключения речевого выхода соответственно. Кроме того, основной блок 703 управления осуществляет обмен информацией с цифровым сигнальным процессором 705 и может получить доступ к опциональной SIM-карте 749 и памяти 751. Кроме того, основной блок 703 управления выполняет различные управляющие функции, требуемые от терминала. Центральный сигнальный процессор 705, в зависимости от исполнения, выполняет широкий диапазон обычных функций по цифровой обработке голосовых сигналов. Кроме того, центральный сигнальный процессор 705 определяет фоновый уровень шума по сигналам, создаваемым микрофоном 711, и устанавливает такой уровень усиления микрофона 711, который обеспечивает компенсацию естественных действий пользователя мобильного терминала 701.

[0078] Кодек 713 содержит аналого-цифровой преобразователь (ADC) 723 и цифро-аналоговый преобразователь (DAC) 743. В памяти 751 хранятся различные данные, включая данные о тоне поступающих вызовов, и могут храниться другие данные, включая музыкальные данные, принятые, например, из Интернета. Программный модуль может находиться в памяти RAM, флэш-памяти, регистрах или любом другом типе перезаписываемого носителя данных, известного в данной области техники. Запоминающее устройство 751 может, но этим не ограничивается, иметь единственную память, CD, DVD, ROM, RAM, EEPROM, оптическую память, или любой другой энергонезависимый носитель данных, способный хранить цифровые данные.

[0079] Имеющаяся в качестве опции SIM-карта 749 хранит важную информацию, например номер сотового телефона, данные о несущей, детали абонемента и информацию о безопасности. SIM-карта 749 служит, в первую очередь, для идентификации мобильного терминала 701 в радиосети. Карта 749 также содержит память для хранения персонального регистра телефонных номеров, текстовых сообщений и специфических для пользователя настроек мобильного терминала.

[0080] Хотя настоящее изобретение было описано на примере множества вариантов его выполнения, оно не ограничено ими и охватывает различные очевидные модификации и эквивалентные конструкции в рамках пунктов формулы изобретения. Хотя в пунктах формулы изобретения признаки изобретения выражены в определенных комбинациях, предполагается, что эти признаки могут следовать в порядке любой комбинации.