УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СПОСОБ ОБНОВЛЕНИЯ КАРТЫ, ПРОГРАММА И СИСТЕМА ОБРАБОТКИ ИНФОРМАЦИИ

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, способу обновления карты, программе и системе обработки изображений.

Уровень техники

Различные приложения для множества пользователей, обеспечивающие возможность совместного использования карты, представляющей положения физических объектов в реальном пространстве через сеть, находят практическое использование. Так, например, существует приложение, которое позволяет пользователю ассоциировать информацию, такую как комментарий или фотография, с определенным положением на карте и предоставлять эту информацию или карту в общее использование другими пользователями (см. выложенную заявку №2006-209784 на японский патент и "Google Maps" (Интернет URL: http://maps.google.com/)). Кроме того, существует приложение, которое ассоциирует виртуальную метку с определенным положением на карте и отображает изображение, снятое с использованием функции камеры терминала, с наложенной на нее меткой (см. "Sekai Camera Support Center" (интернет-URL: http://support. sekaicamera. com/en)).

Раскрытие изобретения

Однако в существующих приложениях совместного использования карт, хотя информация, ассоциированная с картой, может по желанию обновляться пользователем, сама карта не меняется, за исключением случая, когда провайдер услуги ее обновляет. Поэтому даже когда пользователь распознает изменение в положении физического объекта в реальном пространстве, ему трудно быстро отразить такое изменение на карте и совместно использовать ее с другими пользователями. Кроме того, в частном пространстве, когда провайдер услуги не предоставляет подробную карту, трудно совместно использовать карту или информацию, ассоциированную с этой картой, среди пользователей.

Учитывая описанное выше, желательно предоставить новое и улучшенное устройство обработки информации, способ обновления карты, программу и систему обработки изображений, которые обеспечивают возможность изменения положения физического объекта в реальном пространстве, которую можно быстро совместно использовать среди пользователей.

В соответствии с вариантом осуществления настоящего изобретения обеспечено устройство обработки информации, включающее в себя: модуль получения глобальной карты, который получает по меньшей мере часть глобальной карты, представляющей положения объектов в реальном пространстве, в котором действует множество пользователей; модуль генерирования локальной карты, который генерирует локальную карту, представляющую положения близлежащих объектов, обнаруживаемых устройством одного пользователя из множества пользователей; и модуль обновления, который обновляет глобальную карту на основе данных о положении объектов, включенных в локальную карту.

Устройство обработки информации может дополнительно включать в себя: вычислительный модуль, который вычисляет положение локальной карты относительно глобальной карты на основе данных о положении объектов, включенных в глобальную карту, и данных о положении объектов, включенных в локальную карту; и модуль преобразования, который выполняет преобразование координат из данных о положении объектов, включенных в локальную карту, в данные системы координат глобальной карты, в соответствии с относительным положением локальной карты, при этом модуль обновления обновляет глобальную карту, используя данные о положении объектов, включенных в локальную карту, после преобразования координат модулем преобразования.

Устройство обработки информации может представлять собой терминальное устройство, которым обладает один пользователь.

Модуль получения глобальной карты может получать по меньшей мере часть глобальной карты от серверного устройства, хранящего глобальную карту, и модуль обновления может обновлять глобальную карту серверного устройства путем передачи данных о положении объектов в серверное устройство.

Модуль получения глобальной карты может получать часть глобальной карты, соответствующую локальной области, содержащей положение терминального устройства в реальном пространстве.

Модуль получения глобальной карты может получать часть глобальной карты, представляющую положение заданного количества объектов, расположенных в непосредственной близости от устройства терминала.

Модуль генерирования локальной карты может генерировать локальную карту на основе входного изображения, получаемого путем формирования изображения реального пространства с помощью устройства формирования изображения, и данных о характерном элементе, указывающих характерный элемент во внешнем виде одного или более объектов.

Вычислительный модуль может вычислять относительное положение локальной карты на основе данных о положении неподвижного объекта, включенного и в глобальную карту, и в локальную карту.

Вычислительный модуль может вычислять относительное положение локальной карты так, чтобы при преобразовании данных о положения объектов, включенных в локальную карту, в данные системы координат глобальной карты, разница между данными после преобразования и данными о положении объектов, включенных в глобальную карту, в целом становилась меньше.

Глобальная карта может включать в себя данные о положении каждого объекта в реальном пространстве в системе координат глобальной карты и временную метку, относящуюся к указанным данным о положении.

Устройство обработки информации может дополнительно включать в себя: модуль управления отображением, который по меньшей мере частично отображает глобальную карту на экране в ответ на команду пользователя.

В соответствии с другим вариантом осуществления настоящего изобретения предложен способ обновления карты для обновления глобальной карты, представляющей положения объектов в реальном пространстве, в котором действует множество пользователей, выполняемый устройством обработки информации, способ включает в себя этапы, на которых: получают по меньшей мере часть глобальной карты; генерируют локальную карту, представляющую положение близлежащих объектов, обнаруживаемых устройством обработки информации; и обновляют глобальную карту на основе данных о положении объектов, включенных в локальную карту.

В соответствии с еще одним вариантом осуществления настоящего изобретения предложена программа, обеспечивающая выполнение компьютером, предназначенным для управления устройством обработки информации, функций: модуля получения глобальной карты, который получает по меньшей мере часть глобальной карты, представляющей положения объектов в реальном пространстве, в котором действует множество пользователей; модуля генерирования локальной карты, который генерирует локальную карту, представляющую положения близлежащих объектов, обнаруживаемых устройством одного пользователя из множества пользователей; и модуля обновления, который обновляет глобальную карту на основе данных о положении объектов, включенных в локальную карту.

В соответствии с еще одним вариантом осуществления настоящего изобретения предложена система обработки информации, включающая в себя: серверное устройство, которое хранит глобальную карту, представляющую положение объектов в реальном пространстве, в котором действует множество пользователей, при помощи носителя информации; и устройство обработки информации, которым обладает один пользователь из множества пользователей, причем устройство обработки информации включает в себя модуль получения глобальной карты, который получает по меньшей мере часть глобальной карты от серверного устройства, модуль генерирования локальной карты, который генерирует локальную карту, представляющую положения близлежащих объектов, обнаруживаемых устройством обработки информации, и модуль обновления, который обновляет глобальную карту на основе данных о положении объектов, включенных в локальную карту.

В соответствии с вариантами осуществления настоящего изобретения, описанными выше, можно обеспечить устройство обработки информации, способ обновления карты, программу и систему обработки изображений, которые позволяют быстро выполнять обмен между пользователями информацией об изменении положения физического объекта в реальном пространстве.

Краткое описание чертежей

На фиг.1 показана схема, иллюстрирующая общий вид системы в соответствии с вариантом осуществления;

на фиг.2 показана схема для иллюстрации данных о положении объектов, включенных в глобальную карту и в локальную карту;

на фиг.3 показана блок-схема, иллюстрирующая пример конфигурации сервера в соответствии с вариантом осуществления;

на фиг.4 показана схема для иллюстрации частичной глобальной карты;

на фиг.5 показана блок-схема, иллюстрирующая пример конфигурации терминального устройства в соответствии с вариантом осуществления;

на фиг.6А показана схема для иллюстрации первого примера процесса получения частичной глобальной карты;

на фиг.6В показана схема для иллюстрации второго примера процесса получения частичной глобальной карты;

на фиг.6С показана схема для иллюстрации третьего примера процесса получения частичной глобальной карты;

на фиг.7 показана блок-схема, иллюстрирующая пример детальной конфигурации модуля генерирования локальной карты в соответствии с вариантом осуществления;

на фиг.8 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций процесса детектирования собственного положения в соответствии с вариантом осуществления;

на фиг.9 показана схема для иллюстрации характерной точки, установленной на

объекте;

на фиг.10 показана схема для иллюстрации добавления характерной точки;

на фиг.11 показана схема для иллюстрации примера модели прогнозирования;

на фиг.12 показана схема для иллюстрации примера конфигурации данных о характерных точках;

на фиг.13 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций обработки распознавания объекта в соответствии с вариантом осуществления;

на фиг.14А показана схема для иллюстрации примера процесса согласования карт с помощью вычислительного модуля в соответствии с вариантом осуществления;

на фиг.14В показана схема для иллюстрации другого примера процесса согласования карт с помощью вычислительного модуля в соответствии с вариантом осуществления;

на фиг.15А показана схема для иллюстрации примера процесса обновления глобальной карты в соответствии с вариантом осуществления;

на фиг.15В показана представительная схема, предназначенная для иллюстрации другого примера процесса обновления глобальной карты в соответствии с вариантом осуществления;

на фиг.16 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операции для обновления карты между сервером управления картой и терминальным устройством в соответствии с вариантом осуществления;

на фиг.17 показана блок-схема, иллюстрирующая пример конфигурации суперклиента в соответствии с вариантом осуществления; и

на фиг.18 показана схема, иллюстрирующая пример приложения для совместного использования дополнительной информации.

Осуществление изобретения

Ниже предпочтительные варианты осуществления настоящего изобретения будут подробно описаны со ссылкой на приложенные чертежи. Следует отметить, что в данном описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковую функцию и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов исключено.

Предпочтительные варианты осуществления настоящего изобретения будут описаны ниже в следующем порядке.

1. Общий обзор системы

1-1. Пример конфигурации системы

1-2. Пример данных о положении

2. Конфигурация сервера управления картой в соответствии с вариантом осуществления

3. Конфигурация терминального устройства в соответствии с вариантом осуществления

3-1. Интерфейс связи

3-2. Модуль формирования изображения

3-3. Модуль инициирования

3-4. Модуль получения глобальной карты

3-5. Модуль генерирования локальной карты

3-6. Вычислительный модуль

3-7. Модуль преобразования

3-8. Модуль обновления

3-9. Модуль управления отображением

4. Последовательность операций

5. Альтернативный пример

5-1. Суперклиент

5-2. Совместное использование дополнительной информации

6. Резюме

1. Общий обзор системы

1-1. Пример конфигурации системы

Общий обзор системы в соответствии с вариантом осуществления настоящего изобретения будет описан вначале со ссылкой на фиг.1 и 2. На фиг.1 показана схема, иллюстрирующая общий вид системы 1 обработки изображений в соответствии с вариантом осуществления настоящего изобретения. На фиг.1 показана система 1 обработки изображений в соответствии с вариантом осуществления, включающая в себя сервер 10 управления картой, терминальное устройство 100а и терминальное устройство 100b.

Сервер 10 управления картой представляет собой устройство обработки информации, которое обеспечивает услугу совместно использования ресурса карты для обеспечения совместного использования карты и информации, ассоциированной с этой картой, множеством пользователей. Сервер 10 управления картой имеет внутреннюю и внешнюю базу данных и содержит глобальную карту, которая будет описана ниже, в этой базе данных. Сервер 10 управления картой обычно реализован с использованием устройства обработки информации общего назначения, такого как персональный компьютер (ПК) или рабочая станция.

В данном описании карта, управляемая сервером 10 управления картой, называется глобальной картой. Глобальная карта представляет собой карту, которая представляет положения физических объектов в реальном пространстве во всей области A_G обслуживания службы совместного использования карты.

Терминальное устройство 100а представляет собой устройство обработки информации, находящиеся у пользователя Ua. Терминальное устройство 100 представляет собой устройство обработки информации, находящиеся у пользователя Ub. В данном описании, в случае когда нет особой нужды различать терминальное устройство 100а и терминальное устройство 100b, они обозначаются, в целом, как терминальное устройство 100 путем удаления буквы алфавита, прикрепленной к номеру ссылочной позиции. Терминальное устройство 100 может связываться с сервером 10 управления картой через соединение передачи данных по проводам или по беспроводному каналу. Терминальное устройство 100 может типично представлять собой устройство обработки информации любого типа, такое как ПК, смартфон, персональные карманные компьютеры (КПК), портативный музыкальный проигрыватель или игровой терминал.

Терминальное устройство 100 имеет функцию датчика, выполненного с возможностью детектировать положения расположенных рядом объектов. Затем терминальное устройство 100 генерирует локальную карту, которая представляет положения объектов, находящихся в непосредственной близости от их собственного устройства (например, в области A_La или в области A_Lb), используя функцию датчика. В данном варианте осуществления будет описан случай использования технологии одновременного определения местоположения и отображения на карте (SLAM), которая позволяет одновременно оценивать положение и ориентацию камеры и положение характерной точки объекта, представленного на входном изображении, используя монокулярную камеру, в качестве примера функции датчика.

Кроме того, терминальное устройство 100 имеет функцию обновления, которая обновляет глобальную карту, управляемую сервером 10 управления картой, с использованием сгенерированной локальной карты и функции отображения, которая отображает последнюю глобальную карту (или глобальную карту в определенный момент времени в прошлом). В частности, пользователь Ua может просматривать глобальную карту, обновленную терминальным устройством 100b, принадлежащим пользователю Ub, например, на экране терминального устройства 100а. Кроме того, пользователь Ub может просматривать глобальную карту, обновленную терминальным устройством 100а, принадлежащим пользователю Ua, например, на экране терминального устройства 100b.

1-2. Пример данных положения

На фиг.2 показана схема, предназначенная для иллюстрации данных о положении объектов, включенных в глобальную карту и в локальную карту.

На фиг.2 показаны четыре физических объекта В1-В4, присутствующих в реальном пространстве. Объект В1 представляет собой стол. Объект В2 представляет собой чашку с кофе. Объект В3 представляет собой ПК типа ноутбук. Объект В4 представляет собой окно. Положение объекта В4 обычно неподвижно. В этом описании объект, который неподвижен, называется неподвижным объектом или ориентиром. На фиг.2 дополнительно показаны данные R1-R4 положения для соответствующих объектов. Данные R1-R4 положения включают в себя ID объекта "Obj1"-"Obj4", положение "X1"-"Х4", ориентацию "Ω1"-"Ω4" и временную метку "YYYYMMDDhhmmss", указывающую момент времени, когда данные положения были сгенерированы, соответственно.

Глобальная карта представляет собой набор данных, который включает в себя данные о положении, как показано на фиг.2, для физических объектов, присутствующих в реальном пространстве во всей области A_G обслуживания. Например, когда все здание представляет собой область A_G обслуживания, глобальная карта может включать в себя данные о положении не только объектов в комнате, показанной на фиг.2, но также и объектов в другой комнате. Система координат для данных о положении глобальной карты установлена заранее фиксированным образом как система глобальных координат.

С другой стороны, локальная карта представляет собой набор данных, который включает в себя данные о положении, как показано на фиг.2, для физических объектов, присутствующих в реальном пространстве в непосредственной близости от терминального устройства 100. Например, локальная карта может включать в себя данные о положении объектов В1-В4, показанных на фиг.2. Положение начала координат и направление оси координат системы координат локальной карты зависят от положения и ориентации камеры терминального устройства 100. Поэтому система координат локальной карты обычно отличается от системы глобальных координат.

Следует отметить, что объекты, положения которых могут быть представлены глобальной картой или локальной картой, не ограничиваются примером, показанным на фиг.2. Например, данные о положении объектов, таких как здание или автомобиль, расположенных вне дома, вместо объектов, расположенных внутри помещения, могут быть включены в глобальную карту или локальную карту. В этом случае здание может использоваться как ориентир.

2. Конфигурация сервера управления картой в соответствии с вариантом осуществления

На фиг.3 показана блок-схема, иллюстрирующая пример конфигурации сервера 10 управления картой в соответствии с вариантом осуществления. На фиг.3 показан сервер 10 управления картой, включающий в себя интерфейс 20 связи, модуль 30 хранения глобальной карты, модуль 40 извлечения частичной глобальной карты, модуль 50 обновления и модуль 60 доставки глобальной карты.

Интерфейс 20 связи представляет собой интерфейс, который выступает посредником при осуществлении связи между сервером 10 управления картой и терминальным устройством 100. Интерфейс 20 связи может представлять собой интерфейс беспроводной связи или интерфейс проводной связи.

Модуль 30 хранения глобальной карты соответствует базе данных, которая построена с использованием носителя информации, такого как жесткий диск или полупроводниковое запоминающее устройство, и содержит описанную выше глобальную карту, представляющую положения физических объектов в реальном пространстве, где действует множество пользователей. Затем модуль 30 хранения глобальной карты выводит частичную глобальную карту, которая представляет собой поднабор глобальной карты, в ответ на запрос из модуля 40 извлечения частичной глобальной карты. Кроме того, глобальная карта, содержащаяся в модуле 30 хранения глобальной карты, обновляется с помощью модуля 50 обновления. Кроме того, модуль 30 сохранения глобальный карты выводит всю запрашиваемую часть глобальной карты в ответ на запрос из модуля 60 доставки глобальной карты.

Модуль 40 извлечения частичной глобальный карты принимает информацию, относящуюся к положению терминального устройства 100, через интерфейс 20 связи и извлекает частичную глобальную карту в соответствии с информацией. Затем модуль 40 извлечения частичной глобальной карты передает извлеченную частичную глобальную карту в терминальное устройство 100 через интерфейс 20 связи. Частичная глобальная карта представляет собой поднабор глобальной карты. Частичная глобальная карта представляет положения физических объектов, расположенных в пределах локальной области, находящейся в непосредственной близости от положения терминального устройства 100 в системе глобальных координат.

На фиг.4 показана схема для иллюстрации частичной глобальной карты. Глобальная карта M_G, которая содержит данные о положении 19 объектов с ID объекта "Obj1"-"Obj19", показана слева на фиг.4. 19 объектов рассеяны по области A_G обслуживания, показанной справа на фиг.4. Объекты, расстояние которых от положения терминального устройства 100а, принадлежащего пользователю Ua, составляет пороговое значение D или менее, представляют собой объекты В1-В9. В данном случае данные о положении объектов В1-В9 формируют, например, частичную глобальную карту M_G (Ua) для пользователя Ua. Кроме того, объекты, расстояние которых от положения терминального устройства 100b, принадлежащего пользователю Ub, составляет пороговое значение D или менее, представляют собой объекты В11-В19. В этом случае данные о положении объектов В11-В19 формируют, например, частичную глобальную карту M_G (Ub) для пользователя Ub. Пороговое значение D установлено на соответствующем уровне заранее так, что большая часть диапазона локальной карты, описанной ниже, включена в частичную глобальную карту. Следует отметить, что другой пример извлечения частичной глобальной карты дополнительно описан ниже.

Модуль 50 обновления обновляет глобальную карту, хранящуюся в модуле 30 хранения глобальной карты, на основе данных о положении объектов, принятых от терминального устройства 100 через интерфейс 20 связи. Изменение в положении объекта в реальном пространстве, таким образом, быстро отражается на глобальной карте. Процесс обновления глобальной карты, выполняемый модулем 50 обновления, дополнительно описан ниже.

Модуль 60 доставки глобальной карты доставляет глобальную карту, хранящуюся в модуле 30 хранения глобальной карты, в терминальное устройство 100 в ответ на запрос от терминального устройства 100. Глобальная карта, доставляемая из модуля 60 доставки глобальной карты, выводится на экран терминального устройства 100 с использованием функции отображения терминального устройства 100. Пользователь, таким образом, может просматривать последнюю глобальную карту (или глобальную карту в определенный момент времени в прошлом).

3. Конфигурация терминального устройства в соответствии с вариантом осуществления

На фиг.5 показана блок-схема, иллюстрирующая пример конфигурации терминального устройства 100 в соответствии с вариантом осуществления. На фиг.5 показано терминальное устройство 100, которое включает в себя интерфейс 102 связи, модуль 110 формирования изображения, модуль 120 инициирования, модуль 130 получения глобальной карты, модуль 132 хранения данных, модуль 140 генерирования локальной карты, вычислительный модуль 160, модуль 170 преобразования, модуль 180 обновления и модуль 190 управления отображением.

3-1. Интерфейс связи

Интерфейс 102 связи представляет собой интерфейс, который выступает посредником в соединении для осуществления связи между терминальным устройством 100 и сервером 10 управления картой. Интерфейс 102 связи может представлять собой беспроводный интерфейс связи или проводной интерфейс связи.

3-2. Модуль формирования изображения

Модуль 110 формирования изображения может быть реализован в виде камеры, имеющей элемент формирования изображения, такой как, например, прибор с зарядовой связью (CCD) или комплементарный металлооксидный полупроводник (CMOS). Модуль 110 формирования изображения может быть установлен снаружи терминального устройства 100. Модуль 110 формирования изображения выводит изображение, полученное в результате формирования изображения реального пространства, в котором присутствуют физические объекты, как показано на фиг.2, как входное изображение в модуль 120 инициирования и модуль 140 генерирования локальный карты.

3-3. Модуль инициирования

Модуль 120 инициирования определяет приблизительное положение терминального устройства 100 в системе глобальных координат, используя входное изображение, подаваемое из модуля 110 формирования изображения. Определение положения терминального устройства 100 на основе входного изображения может быть выполнено в соответствии с технологией, раскрытой, например, в выложенной заявке №2008-185417 на японский патент. В этом случае модуль 120 инициирования сопоставляет входное изображение с опорным изображением, заранее сохраненным в модуле 132 хранения данных, и устанавливает высокую отметку для опорного изображения с высокой степенью соответствия. Затем модуль 120 инициирования рассчитывает распределение вероятности кандидатов для положения терминального устройства 100 на основе отметки и определяет вероятное положение (положение с наибольшим значением вероятности в гипотетическом распределении вероятности) терминального устройства 100 на основе рассчитанного распределения вероятности. Затем модуль 120 инициирования выводит локализованное положение терминального устройства 100 в модуль 130 получения глобальной карты.

Следует отметить, что модуль 120 инициирования может локализовать положение терминального устройства 100, используя функции системы глобальной навигации (GPS), вместо технологии, описанной выше. Кроме того, модуль 120 инициирования может локализовать положение терминального устройства 100, используя такую технологию, как PlaceEngine, которая позволяет, например, измерять текущее положение на основе информации об интенсивности поля от беспроводной точки доступа, находящейся в непосредственной близости.

3-4. Модуль получения глобальной карты

Модуль 130 получения глобальной карты передает информацию, относящуюся к положению терминального устройства 100, в сервер 10 управления картой через интерфейс 102 связи и получает описанную выше частичную глобальную карту, извлеченную модулем 40 извлечения частичной глобальным карты из сервера 10 управления картой. Затем модуль 130 получения глобальной карты сохраняет полученную частичную глобальную карту в модуле 132 хранения данных.

На фиг.6А показана схема для иллюстрации первого примера процесса получения частичной глобальной карты. Как показано на фиг.6А, модуль 130 получения глобальной карты терминального устройства 100 передает координаты положения терминального устройства 100 в системе глобальных координат в сервер 10 управления картой. Затем модуль 40 извлечения частичной глобальной карты сервера 10 управления картой извлекает частичную глобальную карту, сформированную по данным о положении объектов, расположенных, например, в пределах радиуса D[m] от координат положения и передает извлеченную частичную глобальную карту обратно в терминальное устройство 100. Модуль 130 получения глобальной карты, таким образом, может получать частичную глобальную карту, соответствующую локальной области, имеющей заданную ширину. Локальная область может представлять собой область, имеющую ширину, которая непосредственно наблюдается, например, модулем 110 формирования изображения терминального устройства 100. Это позволяет уменьшить затраты на связь и затраты на обработку в терминальном устройстве 100 по сравнению со случаем получения всей глобальной карты.

На фиг.6В показана схема для иллюстрации второго примера процесса получения частичной глобальной карты. На фиг.6В модуль 130 получения глобальной карты терминального устройства 100 передает координаты положения терминального устройства 100 в системе глобальных координат в сервер 10 управления картой. Затем модуль 40 извлечения частичной глобальной карты сервера 10 управления картой извлекает частичную глобальную карту, сформированную данными о положении n объектов, например, в порядке уменьшения расстояния от координат положения, и передает извлеченную частичную глобальную карту обратно в терминальное устройство 100. Модуль 130 получения глобальной карты, таким образом, может получать частичную глобальную карту, соответствующую локальной области, содержащей определенное количество элементов данных. Обычно чем больше заданное количество n данных, тем с большей точностью может быть выполнено сопоставление частичной глобальной карты с локальной картой вычислительным модулем 160, который будет описан ниже. Значение n определяют с учетом баланса между точностью сопоставления и затратами на связь и затратами на обработку (например, значение n может быть n=100).

На фиг.6С показана схема для иллюстрации третьего примера процесса получения частичной глобальной карты. Как показано на фиг.6С, модуль 130 получения глобальной карты терминального устройства 100 передает идентификатор (ниже называется идентификатором области), предназначенный для идентификации области, где расположено терминальное устройство 100, в сервер 10 управления картой. Идентификатор области может представлять собой идентификатор точки доступа для точки беспроводного доступа, к которой может получить доступ, например, терминальное устройство 100. Кроме того, когда все здание представляет собой область A_G обслуживания, идентификатор области может представлять собой число, идентифицирующее этаж или комнату, где находится терминальное устройство 100. Приняв идентификатор области, модуль 40 извлечения частичной глобальный карты сервера 10 управления картой извлекает частичную глобальную карту, сформированную данными о положении объектов, содержащихся в области, обозначенной идентификатором области, и передает извлеченную частичную глобальную карту обратно в терминальное устройство 100. В этом случае также, по сравнению со случаем получения всей глобальной карты, можно снизить затраты на связь и затраты на обработку в терминальном устройстве 100.

3-5. Модуль генерирования локальной карты

Модуль 140 генерирования локальной карты генерирует описанную выше локальную карту и представляет положения близлежащих объектов, которые детектирует терминальное устройство 100, на основе входного изображения, подаваемого из модуля 110 формирования изображения, и характерных данных, которые описаны ниже, хранящихся в модуле 132 хранения данных. На фиг.7 показана блок-схема, иллюстрирующая пример подробной конфигурации модуля 140 генерирования локальной карты в соответствии с вариантом осуществления. На фиг.7 модуль 140 генерирования локальной карты включает в себя модуль 142 определения собственного положения, модуль 144 распознавания изображения и модуль 146 построения локальной карты.

(1) Модуль определения собственного положения

Модуль 142 определения собственного положения динамически определяет положение камеры, которая снимает входное изображение, на основе входного изображения, подаваемого из модуля 110 формирования изображения, и характерных данных, хранящихся в модуле 132 хранения данных. Например, даже когда камера модуля 110 формирования изображения представляет собой монокулярную камеру, модуль 142 определения собственного положения может динамически определять положение и ориентацию камеры и положение характерной точки на плоскости формирования изображения камеры для каждого кадра, применяя технологию SLAM, раскрытую в "Real-Time Simultaneous Localization and Mapping with a Single Camera" (Andrew J. Davison, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410).

Вначале вся последовательность процесса определения собственного положения с помощью модуля 142 определения собственного положения с использованием технологии SLAM будет описана со ссылкой на фиг.8. Затем будет подробно описан процесс определения собственного положения со ссылкой на фиг.9-11.

На фиг.8 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций процесса определения собственного положения, выполняемого модулем 142 определения собственного положения, используя технологию SLAM. На фиг.8, когда начинается процесс определения собственного положения, модуль 142 определения собственного положения вначале инициализирует параметр состояния (этап S102). В данном варианте осуществления параметр состояния представляет собой вектор, включающий в себя в качестве элементов положение и ориентацию (угол поворота) камеры, скорость передвижения и угловую скорость камеры, и положения одной или более характерных точек. Модуль 142 определения собственного положения затем последовательно получает входное изображение из модуля 110 формирования изображения (этап S112). Процессы с этапа 112 по этап S118 могут повторяться для каждого входного изображения (то есть для каждого кадра).

На этапе S114 модуль 142 определения собственного положения отслеживает характерные точки, присутствующие во входном изображении. Например, модуль 142 определения собственного положения определяет фрагмент (малое изображение, например, размером 3×3=9 пикселей вокруг характерной точки) каждой характерной точки, заранее сохраненной в модуле 132 хранения данных, из входного изображения. Положение фрагмента, определенное таким образом, то есть положение характерной точки, используют позже при обновлении параметра состояния.

На этапе S116 модуль 142 определения собственного положения генерирует заданное значение параметра состояния для следующего кадра, например, на основе заданной модели прогнозирования. Кроме того, на этапе S118 модуль 142 определения собственного положения обновляет параметр состояния, используя прогнозируемое значение параметра состояния, генерируемое на этапе S116, и наблюдаемое значение в соответствии с положением характерной точки, определенным на этапе S114. Модуль 142 определения собственного положения выполняет процессы на этапах S116 и S118 на основе принципа расширенного фильтра Калмана.

В результате такой обработки выводят значение параметра состояния, обновляемое для каждого кадра. Конфигурация каждого процесса отслеживания характерной точки (этап S114), прогнозирование параметра состояния (этап S116) и обновление переменной состояния (этап S118) ниже описаны более конкретно.

(1-1) Отслеживание характерной точки

В данном варианте осуществления модуль 132 хранения данных сохраняет заранее данные о характерных точках, обозначающие характерные точки объекта, соответствующие физическим объектам, которые могут присутствовать в реальном пространстве. Данные характерной точки включают в себя малые изображения, то есть фрагменты, относящиеся, например, к одной или более характерным точкам, каждая из которых представляет характерную особенность внешнего вида каждого объекта. Фрагмент может быть малым изображением, состоящим, например, из 3×3=9 пикселей вокруг характерной точки.

На фиг.9 иллюстрируются два примера объектов и пример характерных точек (FP), а также фрагменты, установленные на каждом объекте. Левый объект на фиг.9 представляет собой объект, представляющий PC (см. фиг.5а). Множество характерных точек, включающих в себя особую точку FP1, установлены на объекте. Кроме того, фрагмент Pth1 определен для характерной точки FP1. С другой стороны, правый объект на фиг.9 представляет собой объект, представляющий календарь (см. фиг.9b). Множество характерных точек, включающих в себя особую точку FP2, установлены на объекте. Кроме того, фрагмент Pth2 определен для особой точки FP2.

После получения входного изображения из модуля 110 формирования изображения модуль 142 определения собственного положения сопоставляет частичные изображения, включенные во входное изображение, с фрагментом для каждой характерной точки, показанной на фиг.9, заранее сохраненной в модуле 132 хранения данных. Модуль 142 определения собственного положения затем устанавливает положение каждой характерной точки, включенной во входное изображение (например, положение центрального пикселя детектируемого фрагмента), как результат сопоставления.

Следует отметить, что для отслеживания характерных точек (этап S114 на фиг.8) нет необходимости заранее сохранять данные для всех характерных точек, отслеживаемых в модуле 132 хранения данных. Например, четыре характерные точки определяют во входном изображении во время Т=t-1 в примере, показанном на в фиг.10 (см. фиг.10а). Затем, когда положение или ориентация камеры изменяется в момент времени Т=t, только две из этих четырех характерных точек, присутствовавших во входном изображении в момент времени Т=t-1, присутствуют во входном изображении. В этом случае модуль 142 определения собственного положения может вновь установить характерные точки в положениях, где присутствует характерная структура пикселей входного изображения, и использовать новые характерные точки в процессе определения собственного положения для последующего кадра. Например, в примере, показанном на фиг.10, три новых характерных точки установлены на объекте в момент времени Т=t (см. фиг.10b). Эта особенность технологии SLAM, и в соответствии с этим стоимость установки всех характерных точек заранее может быть уменьшена, и точность процесса может быть улучшена благодаря использованию увеличенного количества характерных точек.

(1-2) Прогнозирование параметра состояния

В данном варианте осуществления модуль 142 определения собственного положения использует переменную Х состояния, выраженную следующим уравнением, как переменную состояния, которая применяется для расширенного фильтра Калмана.

Первый элемент параметра Х состояния в формуле (1) представляет трехмерное положение камеры в системе (х, y, z) координат локальной карты, которая установлена для каждого терминального устройства 100. Следует отметить, что система координат локальной карты установлена в соответствии с положением и ориентацией камеры модуля 110 формирования изображения, например, в процессе инициирования. Начало координат для системы координат локальной карты может представлять собой, например, положение камеры в процессе инициирования.

Кроме того, второй элемент параметра состояния представляет собой четырехмерный вектор ω, имеющий кватернион в качестве элемента, соответствующего матрице поворота, представляющей ориентацию камеры. Следует отметить, что ориентация камеры может быть представлена с использованием угла Эйлера вместо кватерниона. Кроме того, третий и четвертый элементы параметра состояния представляют скорость движения и угловую скорость камеры соответственно.

Кроме того, пятый и последующие элементы параметра состояния представляют трехмерное положение p_i характерной точки FP_i (i=1…N) в системе координат локальной карты, как выражено в следующем уравнении. Следует отметить, что, как описано выше, число N характерных точек может изменяться во время обработки.

Модуль 142 определения собственного положения генерирует прогнозируемую величину параметра состояния для самого последнего кадра на основе значения параметра Х состояния, инициализируемого на этапе S102, или значения параметра Х состояния, обновленного в предыдущем кадре. Прогнозируемое значение параметра состояния генерируют в соответствии с уравнением состояния расширенного фильтра Калмана в соответствии с многомерным нормальным распределением, как показано в следующей формуле.

Прогнозируемый параметр состояния

Здесь F представляет модель прогнозирования в отношении перехода состояния системы, а "а" представляет условие прогнозирования. Кроме того, w представляет гауссов шум и может включать в себя, например, ошибку аппроксимации модели, ошибку наблюдения и т.п. Обычно среднее число гауссова шума w равно 0.

На фиг.11 показана схема для иллюстрации примера модели прогнозирования в соответствии с данным вариантом осуществления. На фиг.11 представлены два условия прогнозирования в модели прогнозирования в соответствии с данным вариантом осуществления. Во-первых, в качестве первого условия предположим, что трехмерное положение характерной точки в системе координат локальной карты не изменяется. Таким образом, при условии, что трехмерное положение характерной точки FP1 в момент времени Т составляет p_T, удовлетворяется следующее равенство

Затем, в качестве второго условия, предположим, что движение камеры представляет собой однородное движение. Таким образом, удовлетворяется следующая взаимозависимость для скорости и угловой скорости камеры от момента времени Т=t-1 до момента времени Т=t

Модуль 142 определения собственного положения генерирует прогнозируемое значение параметра состояния для самого последнего кадра на основе такой модели прогнозирования и уравнения состояния, выраженных в уравнении (4).

(1-3) Обновление параметра состояния

Модуль 142 определения собственного положения затем выполняет оценку ошибки между информацией наблюдения, прогнозируемой по прогнозируемому значению параметра состояния, и фактической информацией наблюдения, получаемой в результате отслеживания характерной точки, используя, например, уравнение наблюдения. Следует отметить, что v в уравнении (8) представляет ошибку.

Информация наблюдения

Прогнозируемая информация наблюдения

Здесь Н представляет собой модель наблюдения. Например, положение особой точки FP_i на плоскости формирования изображения (плоскости u-v) определено так, как выражено в следующем уравнении.

Положение FP_i на плоскости формирования изображения

Здесь все величины из положения камеры х, ориентации камеры ω и трехмерного положения p_i характерной точки FPi представлены как элементы параметра Х состояния. Затем положение характерной точки FP_i на плоскости формирования изображения выводят, используя следующее уравнение в соответствии с моделью точечного отверстия

Здесь λ - параметр для нормирования, А - внутренний параметр камеры, R_ω - матрица поворота, соответствующая кватерниону ω, представляющему ориентацию камеры, включенную в параметр Х состояния. Внутренний параметр А камеры задан заранее и выражен в следующем уравнении в соответствии с характеристиками камеры, с помощью которой снимают входное изображение.

Здесь f представляет фокусное расстояние, θ представляет ортогональность оси изображения (идеальное значение составляет 90 градусов), k_u представляет масштаб вдоль продольной оси плоскости формирования изображения (степень изменения масштаба от системы координат локальной карты до системы координат плоскости формирования изображения), k_v представляет масштаб вдоль оси абсцисс плоскости формирования изображения, и (u_o, v_o) представляет положение центра плоскости формирования изображения.

Поэтому вероятный параметр Х последнего состояния может быть получен в результате поиска параметра Х состояния, который минимизирует ошибку между прогнозируемой информацией наблюдения, используя уравнение (11), то есть между положением каждой особой точки в плоскости формирования изображения и результатом отслеживания особой точки на этапе S114 по фиг.8.

Параметр последнего состояния

Модуль 142 определения собственного положения выводит положение х и ориентацию ω камеры, динамически обновляемую в результате применения технологии SLAM, таким образом, для модуля 146 построения локальной карты.

(2) Характерные данные

Модуль 132 хранения данных сохраняет заранее характерные данные, указывающие характерные особенности объектов, соответствующих физическим объектам, которые могут присутствовать в реальном пространстве. На фиг.12 показана схема для иллюстрации примера конфигурации характерных данных.

На фиг.12 показаны характерные данные FD1 как пример объекта В2. Характерные данные FD1 включают в себя название FD11 объекта, данные FD12 изображения, снятые с шести направлений, данные FD13 фрагмента, данные FD14 трехмерной формы и онтологические данные FD15.

Название FD11 объекта представляет собой название, которое может устанавливать соответствующий объект, такой как "кофейная чашка А".

Данные FD12 изображения включают в себя шесть данных изображения, полученные в результате съемки изображений соответствующего объекта, например, с шести направлений (спереди, сзади, слева, справа, сверху и снизу). Данные FD13 фрагмента установлены из малых изображений вокруг каждой характерной точки для каждой из одной или более характерных точек, установленных для каждого объекта. Данные FD12 изображения и данные FD13 фрагмента можно использовать для процесса распознавания объекта в модуле 144 распознавания изображения, который будет описан ниже. Кроме того, данные FD13 фрагмента можно использовать в описанном выше процессе определения собственного положения модулем 142 определения собственного положения.

Данные FD14 трехмерной формы включают в себя информацию, представленную в виде многоугольника для распознавания формы соответствующего объекта и трехмерную информацию положения характерных точек. Данные FD14 трехмерной формы можно использовать в процессе построения локальной карты модулем 146 построения локальной карты, который будет описан ниже.

Онтологические данные FD15 представляют собой данные, которые можно использовать, например, для помощи в процессе построения локальной карты с помощью модуля 146 построения локальной карты. В примере, показанном на фиг.12, онтологические данные FD15 указывают, что объект В2, который представляет собой чашку кофе, вероятно, войдет в контакт с объектом, соответствующим столу, и, маловероятно, что войдет в контакт с объектом, соответствующим книжной полке.

(3) Модуль распознавания изображения

Модуль 144 распознавания изображения устанавливает, какому объекту соответствует каждый из объектов, имеющихся на входном изображении, используя описанные выше характерные данные, сохраненные в модуле 132 хранения данных.

На фиг.13 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций процесса распознавания объекта с помощью модуля 144 распознавания изображения. Как показано на фиг.13, модуль 144 распознавания изображения вначале получает входное изображение из модуля 110 формирования изображения (этап S212). Затем модуль 144 распознавания изображения сопоставляет частичные изображения, включенные во входное изображение, с фрагментами одной или более характерных точек каждого объекта, включенного в характерные данные, для извлечения характерных точек, включенных во входное изображение (этап S214). Следует отметить, что характерные точки, используемые в процессе распознавания объекта модулем 144 распознавания изображения, и характерные точки, используемые в процессе определения собственного положения модулем 142 определения собственного положения, не обязательно являются теми же самыми. Однако когда используются общие характерные точки в обоих процессах, модуль 144 распознавания изображения может повторно использовать результат отслеживания характерной точки с помощью модуля 142 определения собственного положения.

Далее модуль 144 распознавания изображения устанавливает объект, присутствующий во входном изображении, на основе результата извлечения характерной точки (этап S216). Например, когда характерные точки, принадлежащие одному объекту, выделяют с высокой плотностью в определенной области, модуль 144 распознавания изображения может распознать, что объект присутствует в этой области. Модуль 144 распознавания изображения затем выводит название объекта (или идентификатор) установленного объекта и положения характерной точки, принадлежащей этому объекту на плоскости формирования изображения, в модуль 146 построения локальной карты (этап S218).

(4) Модуль построения локальной карты

Модуль 146 построения локальной карты генерирует локальную карту, используя положение и ориентацию камеры, введенную из модуля 142 определения собственного положения, положения особых точек на плоскости формирования изображения, введенных из модуля 144 распознавания изображения, и характерные данные, сохраненные в модуле 132 хранения данных. В данном варианте осуществления локальная карта представляет собой набор данных о положении, указывающих положение и ориентацию одного или более объектов, присутствующих в непосредственной близости от терминального устройства 100, используя систему координат локальной карты. Кроме того, соответствующие данные о положении, включенные в локальную карту, могут быть ассоциированы, например, с названиями объектов, соответствующими объектам, трехмерными положениями характерных точек, принадлежащих объектам, и информацией, представленной в виде многоугольника, конфигурирующей форму объектов. Локальная карта может быть построена путем получения трехмерного положения каждой характерной точки в соответствии с описанной выше моделью точечного отверстия из положения характерной точки на плоскости формирования изображения, введенного, например, из модуля 144 распознавания изображения.

В результате изменения формы уравнения модели точечного отверстия, выраженной в уравнении (11), трехмерное положение p_i особой точки FPi в системе координат локальной карты может быть получено по следующей формуле

Здесь d - расстояние между камерой и каждой характерной точкой в системе координат локальной карты. Модуль 146 построения локальной карты может рассчитывать такое расстояние d на основе положения по меньшей мере каждой из четырех характерных точек на плоскости формирования изображения и расстояния между характерными точками для каждого объекта. Расстояние между характерными точками сохраняют заранее в модуле 132 хранения данных в виде данных FD14 трехмерной формы, включенные в характерные данные, представленные со ссылкой на фиг.12. Следует отметить, что процесс расчета расстояния d по формуле (14) подробно раскрыт в выложенной заявке №2008-304268 на японский патент.

После расчета расстояния d остальные параметры с правой стороны в формуле (14) представляют положение и ориентацию камеры, введенные из модуля 142 определения собственного положения, и положение характерной точки на плоскости формирования изображения, введенное из модуля 144 распознавания изображения, и все они известны. Модуль 146 построения локальной карты затем вычисляет трехмерное положение в системе координат локальной карты для каждой характерной точки, введенной из модуля 144 распознавания изображения, в соответствии с уравнением (14). Модуль 146 построения локальной карты затем строит самую последнюю локальную карту в соответствии с трехмерным положением каждой вычисленной особой точки. Следует отметить, что в это время модуль 146 построения локальной карты может улучшить точность данных локальной карты, используя онтологические данные FD15, включенные в характерные данные, представленные со ссылкой на фиг.12. Затем модуль 146 построения локальной карты сохраняет построенную локальную карту в модуле 132 хранения данных и выводит локальную карту в вычислительный модуль 160.

Следует отметить, что случай, когда модуль 140 генерирования локальной карты генерирует локальную карту, используя изображения (такое, как фрагмент для каждой характерной точки объекта), включенное в характерные данные, был описан выше. Однако когда средство идентификации, такое как маркер или метка для идентификации каждого объекта, заранее предусмотрено для объекта, модуль 140 генерирования локальной карты может идентифицировать каждый объект, используя средство идентификации, и генерировать локальную карту, используя результат идентификации. В качестве средства идентификации для идентификации каждого объекта можно использовать, например, штрих-код, код QR (зарегистрированный товарный знак), RF (радиочастотную) метку и т.п.

3-6. Вычислительный модуль

Вычислительный модуль 160 сопоставляет данные о положении объектов, включенных в частичную глобальную карту, с данными о положении объектов, включенных в локальную карту, и на основе результата соответствия рассчитывает относительное положение и ориентацию локальной карты относительно глобальной карты. Относительное положение и ориентация локальной карты относительно частичной глобальной карты соответствуют смещению и наклону системы координат локальной карты относительно системы глобальных координат. В частности, вычислительный модуль 160 может вычислять относительное положение и ориентацию локальной карты, например, на основе данных о положении ориентира на местности, включенного как в частичную глобальную карту, так и в локальную карту. В качестве альтернативы вычислительный модуль 160 может вычислять относительное положение и ориентацию локальной карты таким образом, что когда, например, данные о положении объектов, включенные в локальную карту, преобразуют в данные системы глобальных координат, разница между преобразованными данными и данными о положении объектов, включенных в частичную глобальную карту, в целом, становится малой. Затем вычислительный модуль 160 выводит вычислительное относительное положение и ориентацию локальной карты и локальную карту в модуль 170 преобразования.

Первый метод

На фиг.14А показана схема для иллюстрации примера процесса сопоставления карты, выполняемого вычислительным модулем 160, в соответствии с вариантом осуществления.

На фиг.14А схематично показана частичная глобальная карта M_G (Ua), сохраненная в модуле 132 хранения данных, и локальная карта M_La, генерируемая модулем 140 генерирования локальной карты. Частичная глобальная карта MG (Ua) включает в себя девять объектов, представленных кубиками. Кроме того, локальная карта MLa включает в себя четыре объекта, представленные сферами. Из этих объектов объекты В1, В2 (В2'), В3 и В4 включены, как в частичную глобальную карту MG (Ua), так и в локальную карту MLa. Объекты В1, ВЗ и В4 представляют собой неподвижные объекты, которые вряд ли перемещаются и которые представляют собой ориентиры. Вычислительный модуль 160, таким образом, вычисляет положение и ориентацию локальной карты таким образом, что когда, например, данные о положении объектов В1, В3 и В4 локальной карты преобразуют в данные системы глобальных координат, преобразованные данные и данные положения объектов В1, В3 и В4, включенные в частичную глобальную карту, совпадают друг с другом.

Вначале вычислительный модуль 160 выделяет три пары ориентиров на местности (или особых точек на ориентирах на местности), которые являются общими для частичной глобальной карты MG (Ua) и для локальной карты MLa. Для этих трех пар ориентиров трехмерное положение в системе координат локальной карты представляет собой w_i (i=1, 2, 3), а трехмерное положение в системе глобальных координат представляет собой X_i. Кроме того, когда смещение системы координат локальной карты относительно системы глобальных координат представляет собой ΔХ, а матрица поворота, соответствующая наклону ΔΩ системы координат локальной карты, представляет собой R_L, устанавливают следующие уравнения.

Матрица R_L поворота может быть получена путем преобразования уравнения (15) в следующее уравнение (16)

Следует отметить, что в случае представления поворота системы координат локальной карты, используя кватернион вместо матрицы R_L поворота, также может быть рассчитан кватернион, представляющий поворот (и матрицу поворота, соответствующую кватерниону), используя то, что норма кватерниона, указывающая поворот, равна 1.

Кроме того, вычислительный модуль 160 может рассчитать смещение ΔХ системы координат локальной карты путем решения уравнения (15).

Следует отметить, что в примере по фиг.14А положение объекта В2, который не является ориентиром, на частичной глобальной карте MG (Ua) и положение (В2') на локальной карте MLa являются разными. Это означает, что объект В2 переместился в течение периода от последнего времени обновления частичной глобальной карты MG (Ua) до времени генерирования локальной карты MLa.

Второй метод

На фиг.14В показана схема для иллюстрации другого примера процесса сопоставления карты, выполняемого вычислительным модулем 160 в соответствии с вариантом осуществления.

На фиг.14В схематично показана частичная глобальная карта MG (Ua), сохраненная в модуле 132 хранения, и локальная карта MLa, генерируемая модулем 140 генерирования локальной карты. Частичная глобальная карта MG (Ua) включает в себя девять объектов, представленных кубиками. Кроме того, локальная карта MLa включает в себя четыре объекта, представленных сферами. Среди этих объектов объекты В5, В6, В7 и В8 включены как в частичную глобальную карту MG (Ua), так и в локальную карту MLa. Вычислительный модуль 160 может, таким образом, вычислить положение (смещение ΔХ в системе координат локальной карты) и ориентацию (наклон ΔΩ системы координат локальной карты) для локальной карты так, чтобы когда, например, данные о положении объектов В5-В8 преобразуют в данные в системе глобальных координат, общая сумма разностей между преобразованными данными и данными положения объектов В5-В8 (например, сумма расстояний Е5, Е6, Е7 и Е8 в примере по фиг.14А) была мала. Например, вычислительный модуль 160 может рассчитывать вероятное положение и ориентацию локальной карты, в котором описанная выше общая сумма разностей будет мала, применяя известный алгоритм согласованности случайной выборки (RANSAC).

Алгоритм RANSAC обычно представляет собой алгоритм, который, для множества точек, трехмерные положения которых известны, определяет линию или плоскость, содержащую множество точек, в пределах заданного диапазона ошибки. В данном варианте осуществления вычислительный модуль 160 вначале подготавливает множество (предпочтительно четыре или больше) пар объектов (или характерных точек на объектах), которые являются общими для частичной глобальной карты MG (Ua) и для локальной карты MLa. Затем вычислительный модуль 160 случайным образом выделяет три пары из подготовленного множества пар. Затем вычислительный модуль 160 выводит кандидатов для смещения ΔХ системы координат локальной карты и матрицы RL поворота, соответствующей наклону ΔΩ системы координат локальной карты путем решения описанных выше уравнений (15). Затем вычислительный модуль 160 выполняет оценку полученных кандидатов, используя следующую формулу оценки

Следует отметить, что в уравнении (17) j обозначает каждый из объектов (или характерных точек на объектах). Вычислительный модуль 160 подсчитывает количество j, для которых составляет значение ε_j оценки в уравнении (17), меньше заданного порога. Затем вычислительный модуль 160 принимает решение в отношении смещения ΔХ и матрицы R_L вращения, для которых результат подсчета является наибольшим, как наиболее вероятное положение и ориентация локальной карты.

Комбинация первого метода и второго метода

Кроме того, вычислительный модуль 160 может использовать как первый метод, так и второй метод, описанные выше, соответствующим образом, например, в соответствии с количеством ориентиров, включенных в локальную карту. Например, относительное положение и ориентация локальной карты могут быть вычислены с использованием метода, описанного со ссылкой на фиг.14А, когда три ориентира включены в локальную карту и вычислены с использованием технологии, описанной со ссылкой на фиг.14В, когда два или менее ориентира включены в локальную карту.

3-7. Модуль преобразования

Модуль 170 преобразования выполняет преобразование координат для данных о положении объектов, включенных в локальную карту, в данные системы координат глобальной карты в соответствии с относительным положением и ориентацией локальной карты, введенными из вычислительного модуля 160. В частности, модуль 170 преобразования поворачивает трехмерное положение объектов, включенных в локальную карту (система координат локальной карты), используя матрицу поворота, соответствующую наклону ΔΩ локальной карты, введенной из вычислительного модуля 160. Затем модуль 170 преобразования добавляет относительное положение (смещение ΔХ локальной системы координат карты относительно системы глобальных координат) локальной карты, введенной из модуля 160 расчета, к координатам после поворота. Данные о положении объектов, включенных в локальную карту, таким образом, преобразуют в данные в системе координат глобальной карты. Модуль 170 преобразования выводит данные о положении объектов, включенных в локальную карту после преобразования координат, в модуль 180 обновления.

Кроме того, модуль 170 преобразования может выполнять преобразование координат положения и ориентации камеры в системе координат локальной карты, определяемых модулем 142 определения собственного положения модуля 140 генерирования локальной карты, в данные в системе координат глобальной карты, используя относительное положение и ориентацию локальной карты, введенные из вычислительного модуля 160. Положение терминального устройства 100, которое указано модулем 120 инициирования, может быть, таким образом, обновлено с учетом движения терминального устройства 100 после инициирования. После этого модуль 130 получения глобальной карты может получить новую частичную глобальную карту от сервера 10 управления картой в соответствии с новым обновленным положением терминального устройства 100.

3-8. Модуль обновления

Модуль 180 обновления обновляет частичную глобальную карту, сохраненную в модуле 132 хранения данных, используя данные о положении объектов, включенных в локальную карту, после преобразования координат модулем 170 преобразования. Кроме того, модуль обновления 180 передает локальную карту после преобразования координат с помощью модуля 170 преобразования, или обновленную частичную глобальную карту в сервер 10 управления картой, обновляя, таким образом, глобальную карту, хранящуюся на сервере 10 управления картой. Обновление глобальной карты может быть, в конечном итоге, выполнено модулем 50 обновления сервера 10 управления картой, который принял локальную карту после преобразования координат или глобальную карту после обновления от модуля 180 обновления терминального устройства 100.

На фиг.15А показана схема для иллюстрации примера процесса обновления глобальной карты в соответствии с вариантом осуществления.

На фиг.15А схематично представлена частичная глобальная карта MG (Ua) перед обновлением и локальная карта MLa' после преобразования координат. Частичная глобальная карта MG (Ua) перед обновлением включает в себя данные о положении девяти объектов (Obj1-Obj9). Временная метка этих данных о положении указывает 2010/1/1 23:59:59 в качестве примера. Локальная карта MLa′ после преобразования координат включает в себя данные о положении пяти объектов (Obj1-Obj4). Временная метка этих данных о положении, в качестве примера, указывает 2010/1/2 12:00:00. В таком случае модуль 180 обновления обновляет данные о положении частичной глобальной карты MG (Ua) в данные о положении более поздней локальной карты MLa′ после преобразования координат для каждого из общих объектов (Obj1-Obj4). Кроме того, модуль 180 обновления вставляет данные о положении нового объекта (Obj10) в частичную глобальную карту MG (Ua). В результате генерируют новую частичную глобальную карту MG (Ua)′.

Следует отметить, что хотя данные о положении общих объектов обновляют по новым данным в примере на фиг.15А, вместо этого старые данные о положении и новые данные о положении общих объектов могут существовать одновременно. Это обеспечивает возможность извлечения в результате фильтрации не только самой последней глобальной карты, но также и предыдущей по времени глобальной карты. В этом случае старые данные положения могут быть удалены по прошествии определенного периода времени, например, с использованием периодической обработки.

На фиг.15В показана представительная схема для иллюстрации другого примера процесса обновления глобальной карты в соответствии с вариантом осуществления.

На фиг.15В схематично представлена частичная глобальная карта MG (Ua) перед обновлением и локальная карта MLa′ после преобразования координат. Частичная глобальная карта MG (Ua) перед обновлением включает в себя семь объектов, включающих в себя объекты В1-В3. С другой стороны, локальная карта MLa′ после преобразования координат включает в себя четыре объекта от В1 до В3 и В12. В этом случае модуль 180 обновления удаляет объекты на частичной глобальной карте MG (UA) перед обновлением, которые включают в себя, например, область, соответствующую локальной карте MLa′ после преобразования координат (область, обозначенную пунктирной линией на фиг.15В), и вставляет объекты на локальной карте M_La′ после преобразования координат, которые включены в эту область, в частичную глобальную карту MG (Ua). В результате генерируется новая частичная глобальная карта MG (Ua)′, как показано внизу на фиг.15В. В соответствии с таким процессом обновления становится возможным соответствующим образом отразить на глобальной карте движение множества объектов, которые трудно распознать, используя распознавание изображения, например, множество объектов, имеющих одинаковый внешний вид.

Следует отметить, что в примере на фиг.15В, также данные о старом положении и данные о новом положении могут существовать одновременно на одной карте. Кроме того, поскольку объекты, используемые как ориентиры, среди объектов, включенных в частичную глобальную карту, обычно не движутся, модуль 180 обновления может пропустить процесс обновления для данных о положениях ориентиров.

Приведенное выше описание со ссылкой на фиг.15А и 15В также применимо таким же образом для обновления глобальной карты с помощью модуля 50 обновления сервера 10 управления картой, а не только для обновления частичной глобальной карты с помощью модуля 180 обновления терминального устройства 100. В этом случае частичная глобальная карта на фиг.15А и 15В соответствует глобальной карте, сохраненной в модуле 30 хранения глобальной карты, и локальная карта после преобразования координат на фиг.15А и 15В соответствует частичной глобальной карте (или локальной карте после преобразования координат), переданной из терминального устройства 100 в сервер 10 управления картой.

3-9. Модуль управления отображением

Модуль 190 управления отображением загружает глобальную карту из сервера 10 управления картой в ответ на команду от пользователя, визуализирует глобальную карту, по меньшей мере, частично, и выводит ее на экран терминального устройства 100. В частности, когда модуль 190 управления отображением детектирует ввод команды, например, пользователя, модуль 190 управления отображением передает запрос на передачу глобальной карты в модуль 60 доставки глобальной карты сервера 10 управления картой. Затем глобальную карту, сохраненную в модуле 30 хранения глобальной карты, доставляют из модуля 60 доставки глобальной карты сервера 10 управления картой. Модуль 190 управления дисплеем принимает глобальную карту, визуализирует положение объектов в области, требуемой пользователем (которая может представлять собой область, отличающуюся от области, где пользователь расположен в данный момент времени), и выводит ее на экран.

4. Последовательность операций

На фиг.16 показана блок-схема последовательности операций, иллюстрирующая пример последовательности операций для обновления карты между сервером 10 управления картой и терминальным устройством 100 в соответствии с вариантом осуществления.

На фиг.16 модуль 120 инициирования терминального устройства 100 вначале инициализирует положение терминального устройства 100 в системе глобальных координат, используя входное изображение, вводимое из модуля 110 формирования изображения (этап S302). Процесс инициирования, выполняемый модулем 120 инициирования, может быть выполнен во время запуска терминального устройства 100, например, при запуске заданного приложения в терминальном устройстве 100 и т.п.

Затем модуль 130 получения глобальной карты терминального устройства 100 передает информацию, относящуюся к положению терминального устройства 100 в системе глобальных координат в сервер 10 управления картой (этап S304). Информация, относящаяся к положению терминального устройства 100, может представлять собой координаты терминального устройства 100 в системе глобальных координат или может, в качестве альтернативы, представлять идентификатор области для идентификации области, где расположено терминальное устройство 100.

Затем модуль 40 извлечения частичной глобальной карты сервера 10 управления картой извлекает частичную глобальную карту для терминального устройства 100, которая представляет собой поднабор глобальной карты, сохраненной модуле 30 хранения глобальной карты (этап S306).

Модуль 40 извлечения частичной глобальной карты сервера 10 управления картой затем передает эту частичную глобальную карту для терминального устройства 100 в модуль 130 получения глобальной карты терминального устройства 100 (этап S308).

Затем модуль 140 генерирования локальной карты терминального устройства 100 генерирует локальную карту, представляющую положения близлежащих объектов, на основе входного изображения и характерных данных (этап S310).

После этого вычислительный модуль 160 терминального устройства 100 вычисляет относительное положение и ориентацию локальной карты на основе системы глобальных координат на основании данных о положении объектов, включенных в частичную глобальную карту, и данных о положении объектов, включенных в локальную карту (этап S312). Затем, в соответствии с относительным положением и ориентацией локальной карты, вычисленных вычислительным модулем 160, модуль 170 преобразования выполняет преобразование координат для данных о положении объектов, включенных в локальную карту, в данные глобальной системы координат.

Затем модуль 180 обновления терминального устройства 100 обновляет частичную глобальную карту, сохраненную в модуле 132 сохранения терминального устройства 100, путем использования данных о положении объектов, включенных в локальную карту после преобразования координат. Кроме того, модуль 180 обновления обновляет положение терминального устройства 100 в системе глобальных координат (этап S314).

Затем модуль 180 обновления терминального устройства 100 передает обновленную частичную глобальную карту в модуль 50 обновления сервера 10 управления картой (этап S316). Модуль 50 обновления сервера 10 управления картой затем обновляет глобальную карту, сохраненную в модуле 30 хранения глобальной карты, используя данные о положении объектов, включенных в обновленную частичную глобальную карту (этап S318).

После этого процесс генерирования локальной карты (этап S310) для обновления глобальной карты (этап S318) повторяют на регулярной основе или в ответ на запрос. Кроме того, когда положение терминального устройства 100 становится удаленным от центра частичной глобальной карты, например на заданное расстояние или более, может быть выполнен процесс получения частичной глобальной карты (этап S304) на основе последнего положения терминального устройства 100.

Пользователь может просматривать глобальную карту, обновляемую в результате такого процесса обновления карты, на экране терминального устройства 100, используя функцию отображения, обеспечиваемую при помощи модуля 60 доставки глобальной карты сервера 10 управления картой и модуля 190 управления отображением терминального устройства 100.

5. Альтернативный пример

5-1. Суперклиент

Случай, когда процесс обновления карты выполняют между сервером 10 управления картой и терминальным устройством 100, в основном, был описан выше. Однако настоящее изобретение не ограничивается этим. Например, терминальное устройство 100, принадлежащее любому пользователю, может иметь функцию управления глобальной картой, аналогичную серверу 10 управления картой. Такое терминальное устройство называется в данном разделе суперклиентом.

На фиг.17 показана блок-схема, иллюстрирующая пример конфигурации суперклиента 200 в качестве примера. На фиг.17 суперклиент 200 включает в себя интерфейс 210 связи, серверный модуль 220 обработки, клиентский модуль 230 обработки и модуль 240 управления отображением.

Интерфейс 210 связи представляет собой интерфейс, который является посредником в соединении для осуществления связи между суперклиентом 200 и другим терминальным устройством (например, терминальным устройством 100, показанным на фиг.5). Интерфейс 210 связи может представлять собой интерфейс беспроводной связи или интерфейс проводной связи.

Серверный модуль 220 обработки представляет собой модуль, который имеет функцию управления глобальной картой, аналогичную выполняемой сервером 10 управления картой, описанным выше. Серверный модуль 220 обработки включает в себя модуль 30 хранения глобальной карты, модуль 40 извлечения частичной глобальной карты, модуль 50 обновления и модуль 60 доставки глобальной карты. Серверный модуль 220 обработки выполняет процесс обновления карты, как описано со ссылкой на фиг.16, с другим терминальным устройством и, кроме того, выполняет процесс обновления карты также с клиентским модулем 230 обработки, который будет описан ниже.

Клиентский модуль 230 обработки представляет собой модуль, который имеет функцию просмотра и обновления глобальной карты и т.п., аналогичные серверу 10 управления картой, описанному выше. Клиентский модуль 230 обработки включает в себя модуль 110 формирования изображения, модуль 120 инициирования, модуль 130 получения глобальной карты, модуль 132 хранения данных, модуль 140 генерирования локальной карты, вычислительный модуль 160, модуль 170 преобразования и модуль 180 обновления.

Модуль 240 управления отображением, в ответ на команду пользователя, по меньшей мере частично визуализирует глобальную карту, сохраненную в модуле 30 хранения глобальной карты серверного модуля 220 обработки, и выводит ее на экран. Кроме того, модуль 240 управления отображением может визуализировать частичную глобальную карту или локальную карту, сохраненные в модуле 132 хранения клиентского модуля 230 обработки, и вывести ее на экран.

Использование описанного выше суперклиента 200 и одного или более терминальных устройств 100 позволяет множеству пользователей совместно использовать одну глобальную карту, используя соединение для осуществления связи с использованием например, Р2Р (одноранговой связи).

5-2. Совместное использование дополнительной информации

Терминальное устройство 100 может передавать дополнительную информацию, такую как изображения, снятые с использованием модуля 110 формирования изображения и т.п., например, в ассоциации с данными о координатах, вместе с частичной глобальной картой, в сервер 10 управления картой. Затем дополнительную информацию делают видимой через модуль 60 доставки глобальный карты сервера 10 управления картой и модуля 190 управления отображения терминального устройства 100, обеспечивая, таким образом, возможность совместного использования несколькими пользователями дополнительной информации, ассоциированной с глобальной картой, которая обновляется динамически. Дополнительная информация может представлять собой, например, фактическое изображение, снятое в терминальном устройстве 100, или результат распознавания, такой как символы, присутствующие на изображении. Например, путем совместного использования результатов считывания количества автомобилей, припаркованных на улицах, в ассоциации с данными о положении автомобилей на глобальной карте, их можно использовать для определения нарушения правил движения в зонах с запрещенной парковкой и т.п. (см. фиг.18). Кроме того, путем совместного использования информации о цене продуктов в каждом магазине на улицах для шопинга в ассоциации с данными о положении продуктов на глобальной карте ожидается, что можно будет улучшить удобство шопинга для пользователей и способствовать продаже продуктов. Кроме того, благодаря совместному использованию данных о запасах на складах в ассоциации с данными о положении продуктов на глобальной карте можно улучшить управление запасами.

6. Резюме

Один вариант осуществления настоящего изобретения и его применение описаны выше со ссылкой на фиг.1-18. В соответствии с вариантом осуществления в устройстве обработки информации, таком как терминальное устройство 100 или суперклиент 200, получают частичную глобальную карту, которая по меньшей мере представляет собой часть глобальной карты, представляющей положения физических объектов, присутствующих в реальном пространстве, в котором действует множество пользователей, и генерируют локальную карту, представляющую положения близлежащих объектов, обнаруженных устройством. Затем частичную глобальную карту и глобальную карту, совместно используемую множеством пользователей, обновляют на основе данных о положении объектов, включенных в локальную карту. В результате становится возможным быстро распространить изменение в положении объекта в реальном пространстве среди пользователей. Кроме того, поскольку данные о положении объектов, находящихся в непосредственной близости от терминального устройства 100, которые обнаруживают в процессе генерирования локальной карты, могут быть добавлены к глобальной карте даже в пространстве, где подробная карта не предусмотрена провайдером услуги, более детальные данные о положении объектов при этом могут совместно использоваться пользователями.

В соответствии с вариантом осуществления после того как относительное положение и ориентация локальной карты на основе системы глобальных координат будут рассчитаны на основе данных о положении объектов, включенных в частичную глобальную карту, и данных о положении объектов, включенных в локальную карту, описанный выше процесс обновления выполняют, используя данные о положении локальной карты, координаты в которой были преобразованы в соответствии с результатом вычисления. Поэтому никакие ограничения не могут быть наложены на систему координат локальной карты, и поэтому пользователь может свободно перемещать устройство обработки информации и совместно использовать динамически обновляемую глобальную карту с другими пользователями.

Кроме того, в соответствии с вариантом осуществления описанную выше частичную глобальную карту получают из серверного устройства, в котором содержится глобальная карта. Частичная глобальная карта представляет собой поднабор глобальной карты, который выделяют в соответствии с информацией, относящейся к положению устройства обработки информации в реальном пространстве. Поэтому при совместном использовании глобальной карты множеством пользователей устраняется повышение затрат на связь для процесса обновления глобальной карты.

Кроме того, в соответствии с вариантом осуществления в результате применения технологии SLAM локальную карту генерируют на основе входного изображения из устройства формирования изображения и характерных данных, указывающих характерные особенности внешнего вида объектов. Поэтому даже когда в устройстве обработки информации предусмотрена только монокулярная камера, глобальную карту можно обновлять путем определения положения объектов с высокой точностью.

Кроме того, в соответствии с вариантом осуществления глобальная карта и локальная карта включают в себя данные о положении объектов в реальном пространстве и временную метку, относящуюся к данным о положении. Это позволяет, например, предотвратить конкуренцию при обновлении между множеством пользователей путем сравнения временной метки и обеспечивает возможность просмотра данных о положении в прошлом, указанных пользователем.

Последовательность процессов, выполняемая устройством 100 обработки информации, описанная в данном описании, обычно реализуется с использованием программных средств. Программа, составляющая программные средства, в которых реализованы последовательности процессов, может быть заранее сохранена, например, на носителе записи, который установлен внутри или снаружи каждого устройства. Затем каждую программу считывают в оперативное запоминающее устройство (ОЗУ) и выполняют с помощью процессора, такого как центральный процессор (ЦП).

Хотя предпочтительные варианты осуществления настоящего изобретения подробно описаны выше со ссылкой на приложенные чертежи, настоящее изобретение не ограничивается этим. Для специалистов в данной области техники должно быть понятно, что различные модификации, комбинации, подкомбинации и изменения могут возникнуть в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.

Настоящая заявка содержит предмет изобретения, относящийся к тому, что раскрыто в приоритетной заявке JP 2010-051731, поданной в японское патентное ведомство 9 марта 2010 года, полное содержание которой приведено здесь в качестве ссылочного материала.