СИСТЕМЫ И СПОСОБЫ ИСПОЛЬЗОВАНИЯ СОКРАЩЕННЫХ ТРАНЗИТНЫХ УЧАСТКОВ ДЛЯ СОЗДАНИЯ СЦЕНЫ ДОПОЛНЕННОЙ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ С ПОМОЩЬЮ УСТАНАВЛИВАЕМОЙ НА ГОЛОВЕ СИСТЕМЫ

Область техники

Настоящее изобретение относится к способам и системам для использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемой на голове системе.

Уровень техники

Для ведения игры в дополненной виртуальной реальности, главным образом, используют приставку для видеоигр. Например, для ведения игры в дополненной виртуальной реальности пользователь обычно приобретает контроллер и приставку. Приставка может быть связана с сетью Интернет. Приставку подключают к питанию, и пользователь управляет контроллером для ведения игры через приставку и Интернет. Однако число транзитных участков, например, число сетевых устройств и т.п., через которые проходят данные игры в дополненной виртуальной реальности для облегчения ведения игры, может замедлить ход игры. Например, пользователь может быть вынужден ждать игры на определенных этапах игры в дополненной виртуальной реальности.

Именно в данном контексте описаны все возникающие в настоящем изобретении варианты осуществления.

Сущность изобретения

Варианты осуществления, описанные в настоящем изобретении, создают системы и способы использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемой на голове системе.

Вообще говоря, в ряде вариантов осуществления системы и способы обеспечивают ведение игры в дополненной виртуальной реальности, в которой данные среды, передаются потоком к устанавливаемому на голове дисплею из сети, минуя маршрутизатор между устанавливаемым на голове дисплеем и сетью. Неиспользование маршрутизатора уменьшает число транзитных участков между устанавливаемым на голове дисплеем и игровым облаком, которое исполняет игровую программу, чтобы обеспечить пользователю возможность ведения игры в дополненной виртуальной реальности.

В некоторых вариантах осуществления для ведения игры через игровую облачную систему используется устанавливаемый на голове дисплей. Устанавливаемый на голове дисплей включает в себя схему связи для передачи реальной среды, связанной с игровой программой, по сети. Реальная среда обрабатывается с помощью игровой облачной системы и передается потоком напрямую от схемы связи к игровой облачной системе. Устанавливаемый на голове дисплей, кроме того содержит схему обработки данных игры, связанную со схемой связи. Схему обработки данных игры используют для декодирования машинно-генерируемой интерактивной среды, полученных из игровой облачной системы по сети. Схема обработки данных игры приводит в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.

В некоторых вариантах осуществления описан способ ведения игры через игровую облачную систему. Способ включает в себя передачу реальной среды, связанной, с игровой программой, по сети. Реальная среда обрабатывается с помощью игровой облачной системы и передается потоком напрямую в игровую облачную систему. Способ включает в себя декодирование машинно-генерируемой интерактивной среды, полученных от игрового облака через сеть. Способ включает в себя приведение в действие части интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.

В различных вариантах осуществления описан энергонезависимый машиночитаемый носитель для хранения на нем машиноисполняемых команд для ведения игры через игровую облачную систему. Машиноисполняемые команды, при выполнении процессором вычислительной машины, передают реальную среду, связанную с игровой программой, по сети. Реальную среду обрабатывают с помощью игровой облачной системы и передают потоком напрямую в игровую облачную систему. Машиноисполняемые команды, при выполнении процессором вычислительной машины декодируют машинно-генерируемую интерактивную среду, принятую из игрового облака через сеть. Машиноисполняемые команды при выполнении процессором вычислительной машины приводят в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.

Другие описанные аспекты будут вполне очевидны из следующего подробного описания, в сочетании с прилагаемыми чертежами, иллюстрирующими, в качестве примера, принципы вариантов осуществления, описанных в настоящем документе.

Краткое описание чертежей

Различные варианты осуществления, описанные в настоящем изобретении, могут быть лучше понятны со ссылкой на следующее описание вместе с прилагаемыми чертежами, на которых:

На фиг. 1А приведена схема системы для использования числа сокращенных транзитных участков между игровым облаком и устанавливаемым на голове дисплеем (head mounted display, HMD) или ручным контроллером (hand-held controller, HHC) для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 1В приведена схема системы для передачи данных между HMD или ННС и игровым облаком по сети и маршрутизатору для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 1С приведена схема системы для использования приставки для передачи данных среды, и для использования или не использования маршрутизатора для передачи входных данных и/или данных среды, и/или данных реальной окружающей среды для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 2 приведена схема системы для иллюстрирования создания входных данных на основании движения головы и/или движений рукой пользователя, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 3 приведена схема HMD, которая является примером HMD по фиг. 1А, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 4А приведена схема изображения, которое отображается на экране дисплея HMD по фиг. 3 для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 4В приведена схема изображения, которое отображается на экране дисплея вычислительной машины для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5А приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где периферийная область экрана дисплея HMD имеет низкое разрешение, а центральная область имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5В приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где верхняя область и нижняя область экрана дисплея HMD имеет низкое разрешение, а область между верхней и нижней областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 5С приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где правая область и левая область экрана дисплея HMD имеет низкое разрешение, а область между правой и левой областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 6 приведена схема, иллюстрирующая различные типы ННС, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 7А приведена схема варианта осуществления HMD, которая является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 7В приведен вид в изометрии варианта осуществления HMD, который является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 8А приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Dualshock в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 8В приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Move™ в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 9А приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Dualshock по фиг. 8А для ведения игры в сцене дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 9В приведена схема, иллюстрирующая сцену дополненной виртуальной реальности по фиг. 9А в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг 10 приведена структурная схема приставки, которая совместима для взаимодействия с ННС и HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

На фиг. 11 приведена структурная схема, иллюстрирующая вариант осуществления игровой системы, в соответствии с одним вариантом осуществления, описанным в настоящем документе.

Осуществление изобретения

Описаны системы и способы для использования сокращенных транзитных участков, чтобы создавать дополненную виртуальную реальность в устанавливаемой на голове системе. Например, сетевое устройство, например, маршрутизатор, повторитель, концентратор, вычислительная машина, приставка, и т.п., добавляет транзитный участок в данные, передаваемые через сетевое устройство. Одно или больше сетевых устройств может быть расположено между устанавливаемым на голове дисплеем (head mounted display, HMD) и сетью и/или между ручным контроллером (hand-held controller, ННС) и сетью. Транзитный участок может быть добавлен в результате приема данных сетевым устройством от другого устройства, буферизации данных сетевым устройством, анализа данных, и пересылки Данных к другому устройству сетевым устройством. Системы и способы сокращают число сетевых устройств между HMD и сетью и/или между ННС и сетью. Сокращение числа сетевых устройств уменьшает задержку, например, время запаздывания, время буферизации данных, время приема данных, время анализа данных, время пересылки данных и т.п. При уменьшении задержки HMD и/или НМС используют для отображения насыщенных графических данных, которые приняты из игрового облака по сети с минимальной задержкой. Для создания сцены дополненной виртуальной реальности используется насыщенная графика. Следует заметить, что различные варианты осуществления, описанные в настоящем документе, могут быть осуществлены без некоторых или всех указанных конкретных деталей. В других примерах хорошо известные операции обработки не описаны подробно, чтобы излишне не загромождать различные варианты осуществления, описанные в настоящем документе.

В некоторых вариантах осуществления система включает в себя вычислительную машину, ННС и HMD. В различных вариантах осуществления вычислительную машину может быть. вычислительной машиной специального назначения, игровой приставкой, мобильным телефоном, планшетом, или любым другим устройством, которое выполняет одну или больше частей интерактивной игровой программы, которая воспроизводится на дисплее. В данных вариантах осуществления любые оставшиеся части интерактивной игровой программы выполняются в игровой облачной системе, например, на одной или больше виртуальных машин (virtual machines, VM). В некоторых вариантах осуществления игровая облачная система включает в себя ряд серверов, которые выполняют игровую программу, чтобы создавать игровую среду на игровом устройстве, например, HMD, экране вычислительной машины, телевизионном экране, и т.п. Например, гипервизор выполняется в верхней части физических ресурсов, например, процессоров, устройств памяти, серверов, и т.п., для выполнения ряда операционных систем и ряда машинных программ для создания данных, которые в дальнейшем используются для создания игровой среды на HMD. Примеры игровых приставок включают те, которые изготавливает Sony Computer Entertainment™, Inc. и другие производители. Интерактивная игровая программа может быть многопользовательской игровой программой, которую использует множество пользователей, или игровой программой для одного пользователя, которую использует пользователь с помощью вычислительной машины.

В нескольких вариантах осуществления все части интерактивной игровой программы выполняются в игровой облачной системе или на вычислительной машине.

HMD представляет собой устройство, надеваемое на голову пользователя, или часть шлема, который имеет малое оптическое устройство дисплея, например, линзу, стекло, и т.п., перед одним или каждым глазом пользователя. В некоторых вариантах осуществления одна сцена, например, виртуальная сцена, сцена дополненной виртуальной реальности и т.п. отображаются на экране дисплея HMD, даже хотя два оптических устройства используются для двух глаз. Оба глаза наблюдают одну сцену.

В некоторых вариантах осуществления HMD обладает возможностью приема- и воспроизведения видеовыхода от вычислительной машины. В различных вариантах осуществления ННС и/или HMD поддерживает беспроводную связь с вычислительной машиной, поскольку это обеспечивает большую свободу перемещения ННС и/или HMD, чем проводное соединение.

ННС может включать в себя какие-либо из разнообразных функций, такие как, например, кнопки, джойстик, навигационная клавиша, пусковой механизм, сенсорная панель, жесты рукой, сенсорный экран или другие типы механизмов ввода, и т.п., для создания входного сигнала для интерактивных игровых программ. Одним из примеров ННС является контроллер Sony Dualshock 4, изготавливаемый Sony Computer Entertainment™, Inc. Другие примеры ННС включают в себя контроллеры, изготавливаемые другими предприятиями и имеющие какое-либо число моделей и любой номер версии.

Кроме того, ННС может быть контроллером движения, который дает возможность пользователю взаимодействия и обеспечивает входной сигнал для интерактивной игровой программы путем перемещения контроллера движения. Одним из примеров контроллера движения является контроллер PlayStation Move™, изготавливаемый Sony Computer Entertainment™, Inc.

Аналогично, HMD может включать в себя схему пользовательского ввода, дающую пользователю возможность взаимодействия и обеспечивающую входной сигнал для интерактивной игровой программы за счет движения HMD. Для определения положения и перемещения контроллера движения и/или HMD могут быть использованы различные методы. Например, контроллер движения и/или схема пользовательского ввода может включать в себя различные типы схем инерционных датчиков, таких как акселерометры, гироскопы и магнитометры. В некоторых вариантах осуществления акселерометр представляет собой 6-осный акселерометр с низкой задержкой. В некоторых вариантах осуществления контроллер движения и/или HMD может включать в себя один или больше неподвижных опорных объектов, например, светоизлучающие диоды (light emitting diodes, LED), окрашенные точки, отражатели света, маркеры, отражающий в обратном направлении материал, заранее заданную форму, заранее заданный цвет, заранее заданный объект, штрих-код, метки, быстродействующий (quick response, QR) код, и т.п., и изображения неподвижных опорных объектов захватываются одной или большим количеством цифровых камер. В некоторых вариантах осуществления цифровая камера включает в себя видеокамеру, которая дополнительно содержит один прибор с зарядовой связью (Charge Coupled Device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и кодирования данных в режиме реального времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG). Положение и перемещение контроллера движения и/или HMD затем можно определять путем анализа изображений, захваченных одной или большим количеством цифровых камер.

На фиг. 1А приведена схема варианта осуществления системы 100 для использования сокращенных транзитных участков между игровым облаком 102 и HMD 104 или ННС 106 для создания сцены дополненной виртуальной реальности в HMD 104. В некоторых вариантах осуществления игровое облако 102 здесь называют игровой облачной системой. В некоторых вариантах осуществления пользователь 108 располагает HMD 104 на своей голове таким образом, чтобы линзы HMD 104 располагались перед глазами таким же образом, как пользователь 108 надевал бы шлем. В некоторых вариантах осуществления HMD 104 надевают, как очки, например, корректирующие очки, защитные очки и т.п. В некоторых вариантах осуществления HMD 104 покрывает оба глаза пользователя 108. ННС 106 пользователь 106 удерживает руками.

В некоторых вариантах осуществления вместо ННС 106, пользователь 106 использует руки для выполнения жестов, например, жестов рукой, жестов пальцем и т.п. для HMD 104. Например, цифровая камера в HMD 104 захватывает изображения жестов, и процессор в HMD 104 анализирует жесты для определения того, зависит ли игра, отображаемая в HMD 104, от жестов.

Используемый здесь процессор может быть микропроцессором, программируемым логическим устройством (programmable logic device, PLD), специализированной интегральной микросхемой (application specific integrated circuit, ASIC), или их сочетанием.

Система 100 включает в себя сеть 110, которая может быть локальной сетью (local area network, LAN), глобальной сетью (wide area network, WAN), или их сочетанием. Примеры сети 110 включают в себя Интернет, Интранет или их сочетание. В некоторых вариантах осуществления сеть 110 использует протокол управления передачей (transmission control protocol, ТСР)/протокол Internet Protocol (IP) или протокол пользовательских дейтаграмм (user datagram protocol/IP, UDP/IP) для передачи данных среды, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. В различных вариантах осуществления сеть 110 использует протокол Ethernet, протокол TCP/IP, или оба протокола, для передачи данных среды, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. Игровое облако 102 включает в себя кодирующее/декодирующее устройство (кодек) 112 и потоковый буфер 114. Потоковый буфер 114 сохраняет поток данных 116 среды, который создается после выполнения игровой программы 117. Игровая программа 117 представляет собой пример интерактивной игровой программы и выполняется на одном или больше серверов игрового облака 102.

Данные 116 среды, включают в себя данные о виртуальной среде, данные виртуального игрового объекта, их сочетание и т.п. В ряде вариантов осуществления данные о виртуальной среде воспроизводятся для создания виртуальной среды игры, а данные виртуального игрового объекта воспроизводятся для создания одного или больше виртуальных игровых объектов, например, виртуальных игровых персонажей, виртуальных точек, виртуальных призов, игрового интерфейса и т.п.

В ряде вариантов осуществления виртуальная среда игры включает в себя виртуальный игровой объект. Примеры виртуальной среды включают в себя виртуальную географическую область, например, виртуальный город, виртуальную дорогу, виртуальное озеро, виртуальный океан и т.п.

Пример кодека 112 включает в себя компрессионное/декомпрессионное устройство. Например, кодек 112 кодирует/декодирует данные 116 среды. Примеры сжатия включают в себя сжатие с потерей данных, сжатие без потери данных, и т.п.

В некоторых вариантах осуществления кодек 112 выполняет пакетирование и депакетирование, и выполняет кодирование и декодирование данных. В данных вариантах осуществления кодек 112 включает в себя потоковый буфер 114.

Пользователь 108 использует HMD 104 для доступа к операционной системе (operating system, OS), которая выполняется на обрабатывающем устройстве HMD 104. Например, пользователь 108 включает посредством кнопки HMD 104, и процессор HMD 104 выполняет OS.

В некоторых вариантах осуществления OS позволяет HMD 104 получать доступ к сети 110. Например, когда пользователь 108 выбирает приложение сетевого доступа, например, значок сетевого доступа, символ сетевого доступа, и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение сетевого доступа представляет список сетей на микроконтроллере HMD 104 для показа пользователю 108. Пользователь 108 использует схему пользовательского ввода для выбора одной из сетей для доступа к сети 110. Например, пользователь 108 выполняет одно или больше движения головы, например, наклон головы, подмигивание, пристальное вглядывание, широко раскрытый взгляд, кивание, встряхивание, и т.п., которое обнаруживается схемой пользовательского ввода, для создания входного сигнала, чтобы выбрать одну из сетей. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора одной из сетей, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106. Примеры схемы связи включают в себя приемопередатчик, схему передачи/приема, контроллер сетевого интерфейса, или их сочетание и т.п. Приложение сетевого доступа также требует пароля, например, ключа с секретом, секретного кода и т.п., от пользователя 108 для доступа к сети 110. После подтверждения того, что пароль действителен, приложение сетевого доступа позволяет доступ к сети 110 пользователю 108.

После выполнения доступа к сети 110, OS позволяет HMD 104 доступ к игровой программе 117. Например, когда пользователь 108 выбирает приложение доступа к игре, например, значок доступа к игре, символ доступа к игре, и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение доступа к игре требует доступа к игровой программе 117 по сети 110. Например, пользователь 108 выполняет одно или больше движения головы, которое обнаруживается схемой пользовательского ввода, чтобы создавать входной сигнал для выбора приложения доступа к игре. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора приложения доступа к игре, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106.

После получения доступа к игровой программе 117 по сети 110, микроконтроллер HMD 104 отображает игру на экране дисплея HMD 104. В некоторых вариантах осуществления экран дисплея HMD 104 представляет собой быстродействующий экран для уменьшения размытости, когда HMD 104 перемещается быстро. Пользователь 108 выполняет одно или больше движения головы, и каждое движение головой запускает схему пользовательского ввода для создания входного сигнала, который может быть использован для ведения игры. В некоторых вариантах осуществления пользователь 108 выполняет выбор одной или больше кнопок ННС 106, используя руку, и каждое действие руки, например, нажатие пальцем, движение пальцем, вращение пальцем, сдвигание вверх пальцем, сдвигание вниз пальцем, сдвигание вправо пальцем, сдвигание влево пальцем, и т.п., запускает ННС 106, чтобы создавать входной сигнал, который может быть использован для ведения игры.

В некоторых вариантах осуществления приложение доступа к игре требует имени пользователя и/или пароля от пользователя 108 для доступа к игровой программе 117. После получения подтверждения от игрового облака 102, что имя пользователя и/или пароль действительны, приложение доступа к игре позволяет доступ к игровой программе 117 пользователю 108. В некоторых вариантах осуществления пользователь 108 предоставляет имя пользователя и/или пароль, выполняя одно или больше движений рукой и/или выполняя одно или больше движения головы.

В некоторых вариантах осуществления вместо доступа к приложению доступа к игре пользователь 108 запрашивает доступ к веб-странице после доступа к сети 110, и веб-страница Позволяет пользователю 108 доступ к игровой программе 117. Например, пользователь 108 выбирает приложение веб-браузера через схему пользовательского ввода, выполняя одно или больше движения головы, или через ННС 106, выполняя одно или больше Движений рукой для доступа к веб-странице. После доступа к веб-странице пользователь 108 ведет игру, отображаемую на веб-странице. Игра отображается, когда игровая программа 117 выполняется в игровом облаке 102.

В некоторых вариантах осуществления имя пользователя и/или пароль пользователя 108 подтверждается перед доступом к веб-странице для ведения игры, которая отображается, когда игровая программа 117 выполняется в игровом облаке 102. Имя пользователя и/или пароль подтверждаются в режиме, аналогичном описанному выше, когда пользователь 108 получает доступ к игре с помощью приложения доступа к игре.

Когда получен доступ к игровой программе 117, кодек 112 кодирует, например, сжимает и т.д. поток цифровых данных для данных 116 среды, для оправки потока закодированных данных среды, в HMD 104 по сети 110. В некоторых вариантах осуществления поток цифровых данных закодированных данных среды, находится, в виде пакетов для отправки по сети 110. HMD 104 принимает поток цифровых данных зазакодированных данных среды, по сети 110 от кодека 112, и поток цифровых данных обрабатывается, например, декодируется, депакетируется, и т.д., и воспроизводится для отображения игры на экране дисплея HMD 104.

Когда игра отображается на экране дисплея HMD 104, наружная видеокамера HMD 104 захватывает одно или больше изображений реальной окружающей среды, окружающей пользователя 108. Примеры реальной окружающей среды включают в себя помещение, в котором находится пользователь 108, географический район, в котором находится пользователь 108, реальные объекты вокруг пользователя 108 и т.п. Примеры географического района включают в себя парк, дорогу; улицу, озеро, город, ориентир, и т.п. Примеры реальных объектов включают в себя автобусную остановку, кофейную, магазин, игральную карту, колоду карт, участок, бутылку, телефон, мобильный телефон, штрих-код на игральной карте, офис, транспортное средство, помещение, пульт управления, рабочий стол, стул и т.п. Данные реальной окружающей среды, которые представляют собой данные одного или больше изображений реальной окружающей среды, пакетируются и кодируются посредством HMD 104 и отправляются в виде потока закодированных данных окружающей среды по сети 110 в кодек 112. Например, когда данные реальной окружающей среды не отправляют через маршрутизатор, их отправляют напрямую из HMD 104 по сети 110 в игровое облако 102. В некоторых вариантах осуществления данные реальной окружающей среды включают в себя аудиоданные, видеоданные или их сочетание. В различных вариантах осуществления данные реальной окружающей среды в настоящем документе называют реальной средой.

В некоторых вариантах осуществления вместо или в дополнение к внешней видеокамере HMD 104, для захвата изображений реальной среды используют цифровую камеру, являющуюся мобильной. Например, для захвата изображений реальной окружающей среды, окружающей пользователя 108, и включающей его, видеокамера связана с роботизированным устройством. Примеры роботизированного устройства включают в себя мультикоптер, роботизированную руку, робот, роботизированное транспортное средство, роботизированный автомобиль, квадрокоптер и т.п. Например, цифровая камера прикреплена относительно, например, под, над, сбоку и т.д., роботизированного устройства для захвата изображений реального окружения HMD 104, пользователя 108 и/или ННС 106.

После приема потока закодированных данных реальной окружающей среды кодек 112 декодирует закодированные данные реальной окружающей среды, и один или больше серверов игрового облака 102 депакетируют поток. В некоторых вариантах осуществления поток закодированных данных реальной окружающей среды, полученных от HMD 104, вначале депакетируется, а затем декодируется игровым облаком 102.

На основании декодированных данных реальной окружающей среды игровая программа 117 создает дополнительные данные среды, которые пакетируются одним или больше серверов игрового облака 102 для создания потока дополнительных данных среды. Например, игровая программа 117 создает виртуального игрового персонажа, отображаемого спереди на изображении реального рабочего стола. В качестве другого примера игровая программа 117 создает виртуальный экран дисплея, подлежащий отображению на изображении реального офиса пользователя 108.

В некоторых вариантах осуществления виртуальный игровой объект, который создается, основан на реальных связях между реальными объектами. Например, в реальном мире реальную машину ведут по реальной дороге. В данном примере виртуальный автомобиль создается, когда изображение реальной дороги принимается игровой программой 117. В качестве другого примера реальный телефон или реальная вычислительная машина установлены на реальном пульте управления в реальном офисе. В данном примере виртуальный телефон или виртуальный экран дисплея установлен на изображении реального рабочего стола, расположенного в реальном офисе. Дополнительные данные среды, включают в себя данные виртуального игрового объекта и/или данные виртуальной окружающей среды. Примеры виртуального игрового объекта и данных виртуальной окружающей среды включают в себя данные машинно-генерируемого объекта, данные объекта, созданные одним или больше серверов игрового облака 102 и т.п.

В некоторых вариантах осуществления дополнительные данные среды, включают в себя данные виртуального игрового объекта, которые созданы одним или больше серверами игрового облака 102, и включают в себя данные реальной окружающей среды, которые получены по сети 110 от HMD 104.

Поток дополнительных данных среды, сохраняется в потоковом буфере 114, кодируется кодеком 112, и отправляется в виде потока закодированных дополнительных данных среды, по сети 110 в HMD 104. В некоторых вариантах осуществления дополнительные данные среды, вначале кодируются, а затем пакетируются для создания потока закодированных дополнительных данных среды. HMD 104 принимает поток закодированных дополнительных данных среды, депакетирует поток и декодирует закодированные дополнительные данные среды, чтобы передавать дополнительные данные среды к микроконтроллеру HMD 104.

Микроконтроллер HMD 104 изменяет отображение игры, которое выполняется игровой программой 117, на основе дополнительных данных среды. Например, микроконтроллер HMD 104 воспроизводит данные виртуального игрового объекта для создания одного или больше изображений виртуального игрового объекта, и виртуальный игровой объект накладывается с помощью микроконтроллера на одно или больше изображений реальной окружающей среды, захваченных наружной видеокамерой HMD 104. В качестве другого примера аватар или виртуальный игровой персонаж накладывается поверх штрихкода игральной карты.

В качестве иллюстрации виртуального игрового объекта, наложенного на одно или больше изображений реальной среды, изменяется вид, например, цвет, форма, текстура и т.п., стола в реальной окружающей среде. В качестве другой иллюстрации все реальные объекты в реальном помещении, кроме некоторых реальных объектов, удаляются.

Во время ведения игры, например, перед наложением виртуального игрового объекта или после его наложения на одно или больше изображений реальной окружающей среды один или больше входных сигналов принимаются от HMD 104 и/или ННС 106. Например, пользователь 108 выполняет одно или больше движения головы после надевания HMD 104. Одно или больше движения головы выполняют, чтобы управлять, например, изменять местоположение, изменять позу, изменять вид, изменять движение и т.п. виртуального игрового объекта или наложения виртуальной окружающей среды на одно или больше изображений реальной окружающей среды. В качестве другого примера, пользователь 108 выполняет одно или больше движений рукой, например, нажимает кнопку, перемещает джойстик, жест рукой, жест пальцем, их сочетание, и т.п. для управления виртуальным игровым объектом или наложением виртуальной среды на одно или больше изображений реальной среды, и, когда выполнено одно или больше движений рукой, ННС 106 создает входные данные, которые преобразуются во входные сигналы с помощью схемы связи ННС 106 для отправки в схему связи HMD 104. В ряде вариантов осуществления пользователь 108 выполняет движение головой и/или движение рукой, чтобы изменять местоположение и/или ориентацию виртуального объекта, наложенного на одно или больше изображений реальной окружающей среды. Входные сигналы преобразуются из аналоговой формы в цифровую форму с помощью схемы связи HMD 104 для создания входных данных, и входные данные пакетируются и кодируются с помощью HMD 104 и отправляются по сети 110 к кодеку 112.

В некоторых вариантах осуществления игровая программа 117 устанавливает соответствие входных данных, созданных на основе одного или больше движения головы с входными данными, созданными на основе одного или больше движений рукой для определения того, изменилось ли состояние игры, которое отображается на HMD 104. Например, когда входной сигнал, указывающий наклон головы, принят по сети 110 с входным сигналом, указывающим нажатие кнопки на ННС 106, игровая программа 117 определяет изменение состояния игры. В противном случае игровая программа 117 определяет отсутствие изменения состояния игры.

Входные данные входных сигналов, созданные на основе одного или больше движения головы и/или одного или больше движений рукой, пакетируются и кодируются с помощью HMD 104, и отправляются в виде потока закодированных входных данных по сети 110 к кодеку 112. Например, когда входные данные не отправляют через маршрутизатор, входные данные отправляют напрямую из HMD 104 по сети 110 в игровое облако 102. Маршрутизатор может быть расположен между HMD 104 и сетью 110, чтобы направлять, например, направлять, отправлять и т.п., к адресуемому устройству, и т.п., данные между HMD 104 и сетью 110.

Кодек 112 декодирует, например, разворачивает, и т.д., поток закодированных входных данных, полученных по сети 110 от HMD 104, и декодированные входные данные буферизируются в потоковом буфере 114 для депакетирования и отправки в игровую программу 117. Одно или больше игровых облаков 102 депакетирует поток декодированных входных данных и отправляет входные данные в игровую программу 117. В некоторых вариантах осуществления игровое облако 102 вначале выполняет депакетирование, а затем выполняет декодирование.

На основании входных данных игровая программа 117 создает следующие данные среды, которые пакетируются одним или больше серверов игрового облака 102 для создания потока следующих данных среды. Поток следующих данных среды, сохраняется в потоковом буфере 114, кодируется кодеком 112, и отправляется в виде потока закодированных дополнительных данных среды, по сети 110 в HMD 104. В некоторых вариантах осуществления дополнительные данные среды, вначале кодируются, а затем пакетируются перед отправкой дополнительных данных среды, по сети 110 в HMD 104. HMD 104 принимает поток закодированных следующих данных среды, депакетирует поток и декодирует закодированные следующие данные среды, чтобы передавать следующие данные среды, к микроконтроллеру HMD 104.

В некоторых вариантах осуществления игровая среда включает в себя данные 116 среды или дополнительные данные среды, или следующие данные среды, или их сочетание.

Микроконтроллер HMD 104 изменяет отображение игры, которая выполняется игровой программой 117, на основе следующих данных среды. Например, микроконтроллер изменяет вид, положение и/или ориентацию виртуального игрового объекта, который накладывается на одно или больше изображений реальной окружающей среды. В качестве другого примера, когда пользователь 108 кивает, аватар пользователя 108 также кивает в виртуальном мире игры, который создается путем выполнения игровой программы 117. В данном примере аватар наложен на одно или больше изображений реальной окружающей среды. В еще одном примере, когда пользователь 108 качает головой в знак отрицания, аватар пользователя 108 также качает головой в знак отрицания в виртуальном мире игры, который создается путем выполнения игровой программы 117. В данном примере аватар наложен на одно или больше изображений реальной окружающей среды. В другом примере, когда пользователь 108 смотрит на виртуальный игровой персонаж, отображаемый на экране дисплея HMD 104, виртуальный игровой персонаж оглядывается на пользователя 108. Когда пользователь 108 отводит взгляд от виртуального игрового персонажа, виртуальный игровой персонаж отводит взгляд от пользователя 108. В данном примере аватар наложен на одно или больше изображений реальной среды. Кроме того, в данном примере, наружная видеокамера HMD 104 захватывает изображение глаз или расположение головы пользователя 108. На основе взгляда глаз или положения головы игровая программа 117 изменяет положение глаз виртуального игрового персонажа.

Следует заметить, что входные данные входных сигналов, создаваемых на основе одного или больше движения головы и/или одного или больше движений рукой, изменяют состояние игры. В некоторых вариантах осуществления отображение игры упоминается в настоящем документе как часть интерактивности, связанная с игровой программой 117.

В различных вариантах осуществления, вместо передачи входных данных, которые созданы на основе одного или больше движений рукой, от ННС 106 к HMD 104, входные данные передаются напрямую от ННС 106 по сети 110 к кодеку 112. Например, входные данные передаются Напрямую от ННС 106 по сети 110 к кодеку 112, когда входные данные не передаются через маршрутизатор (не показано) между ННС 106 и сетью 110. Входные данные, которые создаются на основе одного или больше движений рукой, из HMD 104 передаются с помощью ННС 106 способом, аналогичным тому, которым входные данные передаются с помощью HMD 104. Например, входные данные, которые созданы на основе одного или больше движений рукой, из HMD 104, кодируются и пакетируются с помощью ННС 106, и отправляются в виде потока закодированных входных данных по сети 110 к кодеку 112.

Следует заметить, что отсутствие маршрутизатора (не показано) между HMD 104 и сетью 110 уменьшает число транзитных участков между сетью 110 и HMD 104. В вариантах осуществления, в которых маршрутизатор отсутствует, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., передаются потоком напрямую к карте беспроводного доступа (wireless access card, WAC) HMD 104 с помощью кодека 112 игрового облака 102 по сети 110. Кроме того, в данных вариантах осуществления данные, например, входные данные, данные реальной окружающей среды и т.п., передаются потоком напрямую посредством WAC HMD 104 к кодеку 112 игрового облака 102 по сети 110. Сокращение числа транзитных участков экономит время, связанное с маршрутизатором. Например, маршрутизатор принимает данные от другого сетевого устройства, буферизирует данные, анализирует данные и пересылает данные к другому сетевому устройству. Время приема данных, буферизации данных, анализа данных и пересылки данных экономится, если данные передаются между HMD 104 и игровым облаком 102 по сети 110, минуя маршрутизатор. Кроме того, время приема данных, буферизации данных, анализа данных и пересылки данных экономится, если данные передаются между ННС 106 и игровым облаком 102 по сети 110, минуя маршрутизатор.

Аналогично, когда между HMD 104 или ННС 104 и сетью 110 не используется вычислительная машина, например, приставка, мобильное устройство и т.п., время, связанное с приемом, сохранением, анализом и пересылкой данных, экономится.

На фиг. 1В приведена схема варианта осуществления системы 150 для передачи данных между HMD 104 или ННС 106 и игровым облаком 102 по сети 110 и маршрутизатору 152. Система 150 похожа на систему 100 (фиг. 1А), за исключением того, что система 150 содержит маршрутизатор 152 между HMD 104 и сетью 110. Маршрутизатор 152 также расположен между ННС 106 и сетью 110.

HMD 104 связан с маршрутизатором 152 посредством беспроводного подключения, например, соединения Bluetooth, соединения Wi-Fi, и т.п. Кроме того, ННС 106 связано с маршрутизатором 152 посредством беспроводного соединения, например соединения Bluetooth, подключения Wi-Fi и т.п. В некоторых вариантах осуществления маршрутизатор 152 связан с сетью 110 посредством проводного соединения.

Система 150 работает аналогично системе 100 (фиг. 1А), за исключением того, что поток закодированных данных отправляется от HMD 104 или ННС 106 к маршрутизатору 152. Маршрутизатор. 152 направляет, например, направляет и т.п., поток закодированных данных в канал в сети 110 для облегчения отправки потока к кодеку 112. Маршрутизатор 152 использует IP-адрес и/или адрес уровня доступа к среде (media access layer, МАС-адрес) кодека 112, чтобы направлять поток закодированных данных к кодеку 112. В некоторых вариантах осуществления маршрутизатор 152 определяет сетевой канал сети 110 на основании одного или больше показателей сетевого трафика, например, пакетного трафика в сетевом канале, затора в сетевом канале, и т.п.

Маршрутизатор 152 принимает поток закодированных данных из игрового облака 102 по сети 110 и направляет поток закодированных данных к HMD 104. Например, маршрутизатор 152 направляет поток закодированных данных, принятых из игрового облака 102 по сети 110, к HMD 104 на основе IP-адреса и/или МАС-адреса HMD 104.

На фиг. 1С приведена схема варианта осуществления системы 170 для использования вычислительной машины 172 для передачи данных среды, и для использования маршрутизатора 152 для передачи входных данных и/или данных среды и/или данных реальной окружающей среды.

В некоторых вариантах осуществления вместо HMD 104, на экране дисплея представляется список беспроводных сетей, которые подключены к вычислительной машине 172 или установлены на вычислительной машине 172. Например, когда вычислительная машина 172 представляет собой мобильный телефон, вычислительная машина 172 включает в себя экран дисплея для отображения списка беспроводных сетей. В другом примере, когда вычислительная машина 172 подключена к экрану телевизионного дисплея, список беспроводных сетей отображается на экране дисплея. В данных вариантах осуществления список беспроводных сетей доступен, когда процессор 176 вычислительной машины 172 выполняет приложение с беспроводным доступом, сохраняемое в запоминающем устройстве вычислительной машины 172. Процессор 176 выполняет приложение с беспроводным доступом, когда пользователь 108 получает доступ к приложению с беспроводным доступом через HMD 104 или ННС 106, путем выполнения одного или больше движения головы и/или одного или больше движений рукой. Входные данные, созданные на основе одного или больше движения головы и/или одного или больше движений рукой, отправляются из схемы связи HMD 104 или ННС 106 к вычислительной машине 172. Когда процессор 176 вычислительной машины 172 принимает входные данные, приложение с беспроводным доступом выполняется для создания списка беспроводных сетей.

Вычислительная машина 172 включает в себя контроллер 174 сетевого интерфейса (network interface controller, NIC), который запрашивает часть игровой программы 117 у игрового облака 102. Примеры NIC включают в себя сетевую интерфейсную плату и сетевой адаптер. Часть игровой программы 117 кодируется кодеком 112 и передается потоком по сети 110 к NIC 174 вычислительной машины 172. Процессор 176 вычислительной машины 172 выполняет часть игровой программы 117 для создания данных среды, которые отправляются из схемы связи 178, например, приемопередатчика, схемы приема/передачи, контроллера сетевого интерфейса, и т.п., в HMD 104 для отображения на экране дисплея HMD 104. Схема связи HMD 104 принимает данные среды, от вычислительной машины 172 и оправляет данные среды, к микроконтроллеру HMD 104 для отображения на экране дисплея HMD 104.

Кроме того, схема 178 связи вычислительной машины 172 принимает данные реальной окружающей среды от схемы связи HMD 104. В ответ на данные реальной окружающей среды процессор 176 выполняет часть игровой программы 117, которая хранится на вычислительной машине 172, чтобы создавать дополнительные данные среды, которые отправляются из схемы 178 связи в схему связи HMD 104.

Перед приемом дополнительных данных среды, или после него входные данные от HMD 104 и/или ННС 106, которые созданы на основе одного или больше движения головы и/или одного или больше движений рукой, и отправляются схемой связи HMD 104 к процессору 176 с помощью схемы 178 связи. В ответ на входные данные процессор 176 выполняет часть игровой программы 117, которая хранится на вычислительной машине 172, чтобы создавать следующие данные среды, которые отправляются из схемы 178 связи в схему связи HMD 104. Следующие данные среды, отправляют в схему связи HMD 104 для изменения виртуальных игровых объектов и/или виртуальной среды игры, отображаемой при выполнении игровой программы 117. Когда игровые объекты, например, реальные игровые объекты, виртуальные игровые объекты и т.п. и/или вреда, например, реальная окружающая среда, виртуальная окружающая Среда и т.п. изменяет игровое состояние игры, отображаемое при выполнении изменений игровой программы 117.

В некоторых вариантах осуществления состояние игры отправляется с помощью NIC 174 вычислительной машины 172 через маршрутизатор 152 и сеть 110 в игровое облако 102, чтобы информировать один или больше серверов игрового облака 102 о состоянии игры.

В различных вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., отправляются из кодека 112 по сети 110 и маршрутизатору 152 к HMD 104, пока часть игровой программы 117 не будет- загружена в вычислительную машину 172 из игрового облака 102. Например, вначале пользователь 108 использует приложение доступа к игре для доступа к игровой программе 117. Во время доступа к части игровой программы 117, данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п. отправляются из кодека 112 по сети 110 и маршрутизатору 152 в HMD 104 для отображения на экране дисплея HMD 104. Во время доступа к данным среды, из игрового облака 102 для отображения на HMD 104, NIC 174 вычислительной машины 172 загружает часть игровой программы 117 из игрового облака 102 через сеть 110 и маршрутизатор 152.

В некоторых вариантах осуществления, когда часть игровой программы 117 доступна с помощью приставки 172, данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., направляются из кодека 112 через сеть 110 к HMD 104 для отображения на экране дисплея HMD 104. В данных вариантах осуществления маршрутизатор 152 обходят для сокращения числа транзитных участков. Во время доступа к данным среды, например, данным 116 среды, дополнительным данным среды, следующим данным среды, и т.п., из игрового облака 102 для отображения на HMD 104, после обхода маршрутизатора 152, NIC 174 вычислительной машины 172 загружает часть игровой программы 117 из игрового облака 102 через сеть 110 и маршрутизатор 152.

В ряде вариантов осуществления часть входных данных, созданных на основе одного или больше движения головы и/или одного или больше движений рукой, и/или часть данных реальной окружающей среды отправляется из HMD 104 через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, и остальная часть входных данных и/или остальная часть данных реальной окружающей среды отправляется из схемы связи HMD 104 в схему 178 связи вычислительной машины 172.

В различных вариантах осуществления часть входных данных, созданных на основе одного или больше движений рукой, отправляется из схемы связи ННС 106 через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, а остальная часть входных данных отправляется из схемы связи ННС 106 в схему 178 связи вычислительной машины 172.

В некоторых вариантах осуществления часть входных данных, созданных на основе одного или больше движения головы и/или одного или больше движений рукой, и/или часть данных реальной окружающей среды отправляется из HMD 104 через сеть 110 к кодеку 112 игрового облака 102, и остальная часть входных данных и/или остальная часть данных реальной окружающей среды отправляется из схемы связи HMD 104 в схему 178 связи вычислительной машины 172. В данных вариантах осуществления маршрутизатор 152 обходится.

В некоторых вариантах осуществления часть входных данных, созданных на основе одного или больше движений рукой, отправляется из схемы связи ННС 106 через сеть 110 к кодеку 112 игрового облака 102, а остальная часть входных данных отправляется из схемы связи ННС 106 в схему 178 связи вычислительной машины 172. В данных вариантах осуществления маршрутизатор 152 обходится.

В различных вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, отправляются из кодека 112 игрового облака 102 через сеть 110 и маршрутизатор 152 к HMD 104 для воспроизведения данных среды, чтобы отображать игру на экране дисплея HMD 104, и данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172, отправляются из схемы 178 связи вычислительной машины 172 в HMD 104 для отображения игры на экране дисплея. В данных вариантах осуществления игровое облако 102 и вычислительная машина 172 имеют синхронизированные состояния игры. Например, кодек 112 отправляет состояние игры, созданное путем выполнения игровой программы 117, через сеть 110 и маршрутизатор 152 к NIC 174 вычислительной машины 172, чтобы информировать вычислительную машину 172 о состоянии игры. В другом варианте осуществления NIC 174 вычислительной машины 172 отправляет состояние игры, созданное путем выполнения части игровой программы 117 на вычислительной машине 172, через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, чтобы информировать один или больше серверов игрового облака о состоянии игры.

В различных вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, отправляются из кодека 112 игрового облака 102 через сеть 110 к HMD 104 для воспроизведения данных среды, чтобы отображать игру на экране дисплея HMD 104, и данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172, отправляются из схемы 178 связи вычислительной машины 172 в HMD 104 для отображения игры на экране дисплея. В данных вариантах осуществления маршрутизатор 152 обходится, когда данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., отправляются из кодека 112 в HMD 104. В данных вариантах осуществления игровое облако 102 и вычислительная машина 172 имеют синхронизированные состояния игры, как описано выше.

В некоторых вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, и которые отправляются из кодека 112 игрового облака 102 через сеть 110 и маршрутизатор 152 к HMD 104 для воспроизведения данных среды, на экране дисплея HMD 104, имеют больший объем графики, чем данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172.

В некоторых вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, и которые отправляются из кодека 112 игрового облака 102 через сеть 110 к HMD 104 для воспроизведения данных среды, на экране дисплея HMD 104, имеют больший объем графики, чем данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172. В данных вариантах осуществления маршрутизатор 152 обходят, когда данные среды, отправляют из кодека 112 игрового облака 102 через сеть 110 к HMD 104.

В различных вариантах осуществления HMD 104 (фиг. 1А-1С, 2) используют для отображения двумерного или трехмерного изображения.

На фиг. 2 приведена схема варианта осуществления системы 200 для иллюстрации создания входных данных на основе одного или больше движения головы и/или одного или больше движений рукой. Пользователь 108 надевает HMD 202 и удерживает ННС 204. HMD 202 представляет собой пример HMD 104 (фиг. 1А-1С), и ННС 204 представляет собой пример ННС 106 (фиг. 1А-1С).

HMD 202 включает в себя один или больше маркеров, например, маркер M1, маркер М2, и маркер М3, и т.п. Аналогично, ННС 204 включает в себя один или больше маркеров, например, маркер М4, маркер М5, и маркер М6 , и т.п. Каждый маркер может быть светоизлучающим диодом, источником света, цветом, отражающим материалом и т.п.

Видеокамера 206 захватывает изображение HMD 202. Когда голова пользователя 108 наклоняется или движется, положение и местонахождение маркеров М1-М3 изменяется в системе координат xyz. Видеокамера 206 захватывает изображение маркеров М1-М3 и отправляет изображение в вычислительную машину 172. Изображение маркеров М1-М3 представляет собой пример входных данных. Положение HMD 202 в трехмерном пространстве (X, Y, Z) может быть определено с помощью процессора 176 (фиг. 1С) вычислительной машины 172 на основе положений маркеров М1-М3 в изображении. Кроме того, движение по инерции, например, отклонение, наклон, и качание, и т.п., HMD 202 определяется с помощью процессора 176 (фиг. 1С) вычислительной машины 172 на основании перемещения маркеров М1-М3.

В различных вариантах осуществления видеокамера 206 является мобильной. Например, видеокамера 206 прикреплена к роботизированному устройству, например, мультикоптеру, роботизированной руке, роботу, роботизированному транспортному средству, роботизированному автомобилю, квадрокоптеру и т.п. Например, видеокамера 206 прикреплена относительно, например, под, над, сбоку и т.д., роботизированного устройства для захвата изображений пользователя 108 и/или HMD 202 и/или ННС 204. HMD 202 движется при движении головы пользователя 108. В некоторых вариантах осуществления вместо видеокамеры 206 используют цифровую камеру.

В некоторых вариантах осуществления видеокамера 206 захватывает изображение ННС 204. Когда рука пользователя 108 движется, положение и местонахождение маркеров М4-М6 изменяется в системе координат. Видеокамера 206 захватывает изображение маркеров М4-М6 и отправляет изображение в вычислительную машину 172. Изображение маркеров М4-М6 представляет собой пример входных данных. Положение ННС 204 в трехмерном пространстве (X, Y, Z) может быть определено с помощью процессора 176 вычислительной машины 172 на основе положений маркеров М4-М6 в изображении. Кроме того, движение по инерции, например, отклонение, наклон, и качание, и т.п., ННС 204 определяется с помощью процессора 176 вычислительной машины 172 на основании перемещения маркеров М4-М6.

В некоторых вариантах осуществления вместо ННС 204, рука пользователя 108 помечена маркерами М4-М6.

На фиг. 3 приведена схема варианта осуществления HMD 250, который является примером HMD 104 (фиг. 1А-1С). HMD 250 включает в себя видео-аудиоразделитель 254, видеодекодер 255, WAC 258, потоковый буфер 259, один или больше динамиков 260, схему 262 пользовательского ввода, экран 266 дисплея, микроконтроллер 268, аудиобуфер 272, наружную видеокамеру 274, аудиокодек 276, внутреннюю цифровую камеру 278, видеобуфер 280, видео- аудиосинхронизирующее устройство 282, микрофон 284 и схему 287 связи контроллера/вычислительной машины. Наружная видеокамера 274 обращена к реальной среде пользователя 108, а внутренняя цифровая камера 278 обращена к пользователю 108, например, глазам, голове и т.д. пользователя 108.

В ряде вариантов осуществления динамики 260 представляют собой звуковую схему. В различных вариантах осуществления аудиокодек 276, аудиобуфер 272 и/или динамики 260 представляют собой звуковую схему. В некоторых вариантах осуществления комбинация видеодекодера 255 и микроконтроллера 268 называется в настоящем документе схемой обработки данных игры. В различных вариантах осуществления микроконтроллер 268 представляет собой схему дисплея. Примеры экрана дисплея включают в себя экран на светодиодах, жидкокристаллический (liquid crystal display, LCD) экран, жидкие кристаллы на экране из кристаллического кремния, органический (organic LED, OLED) экран, плазменный экран и т.п. Пример наружной цифровой камеры 274 включает в себя Playstation Eye®, изготавливаемую Sony Computer Entertainment, Inc.

Микроконтроллер 268 сохраняет программу 286 воспроизведения и операционную систему 288. Программа 286 воспроизведения и операционная система 288 сохраняются в запоминающем устройстве микроконтроллера 286 и выполняются микропроцессором микроконтроллера 268. Пример микроконтроллера 268 включает в себя недорогой микроконтроллер, который содержит привод, например, LCD привод, который приводит в действие, например, создает сигнал для обеспечения, создает сигнал для активации и т.п., элементов, например, жидкокристаллических, экрана 266 дисплея для отображения игры на экране 266 дисплея. Другой пример микроконтроллера 268 включает в себя графический процессор (graphical processing unit, GPU) и запоминающее устройство.

В некоторых вариантах осуществления запоминающее устройство микроконтроллера 268 является иным, чем флэш-память или оперативное запоминающее устройство (random access memory, RAM). Например, запоминающее устройство микроконтроллера представляет собой буфер. В различных вариантах осуществления запоминающее устройство микроконтроллера 268 представляет собой флэш-память или RAM. Примеры схемы 262 пользовательского ввода включают в себя гироскоп, магнитометр и акселерометр. Пример WAC 258 включает в себя NIC. В некоторых вариантах осуществления WAC 258 называют в настоящем документе схемой связи.

Поток закодированных данных среды, принимается в потоковом буфере 259 из сети 110 или маршрутизатора 152 (фиг. 1В-1С, 2). Примеры закодированных данных среды, которые приняты потоковым буфером 259, включают в себя данные 116 среды, (фиг. 1А-1С, 2), которые закодированы, дополнительные данные среды, которые закодированы, следующие данные среды, которые закодированы, и т.п. Следует заметить, что, когда маршрутизатор 152 связан с вычислительной машиной 172 (фиг. 2), данные, полученные от вычислительной машины 172, сохраняются в буфере (не показано) HMD 250, а не в потоковом буфере 259.

WAC 258 получает доступ к потоку закодированных данных среды, из потокового буфера 259 и депакетирует поток. Кроме того, WAC 258 также включает в себя декодер для декодирования закодированных данных среды.

В вариантах осуществления, в которых поток закодированных данных среды, принимается вычислительной машиной 172 (фиг. 1С) через маршрутизатор 152 (фиг. 1С), NIC 174 (фиг. 1С) вычислительной машины 172 депакетирует и декодирует поток закодированных данных среды, чтобы создавать декодированные данные, которые отправляются маршрутизатором 152 в буфер (не показано) HMD 250 для хранения.

Декодированные данные доступны с помощью видео-аудиоразделителя 254 от WAC 258 или от буфера (не показан) HMD 250. Видео-аудиоразделитель 254 отделяет аудиоданные в декодированных данных от видеоданных.

Видео-аудиоразделитель 254 отправляет аудиоданные в аудиобуфер 272 и видеоданные в видеобуфер 280. Видео-аудиосинхронизирующее устройство 282 синхронизирует видеоданные, сохраненные в видеобуфере 280 и аудиоданными, сохраненными в аудиобуфере 272. Например, видео-аудиосинхронизирующее устройство 282 использует время воспроизведения видеоданных и аудиоданных для синхронизации видеоданных с аудиоданными.

Аудиокодек 276 преобразует синхронизированные аудиоданные из цифрового формата в аналоговый формат, чтобы создавать аудиосигналы, и аудиосигналы воспроизводятся динамиками 260 для создания звука. Видеодекодер 255 декодирует, например, изменяет из цифровой формы в аналоговую форму и т.д., синхронизированные видеоданные для создания аналоговых видеосигналов. Микроконтроллер 268 выполняет программу 286 воспроизведения для отображения игры на экране 266 дисплея на основе синхронизированных аналоговых видеосигналов, которые создаются видеодекодером 255. В некоторых вариантах осуществления игра, отображаемая на экране 266 дисплея, отображается синхронно с воспроизведением аудиосигналов.

Кроме того, пользователь 108 (фиг. 1А-1С, 2) говорит в микрофон 284, который преобразует звуковые, например, голосовые и т.п. сигналы в электрические сигналы, например, аудиосигналы. Аудиокодек 276 преобразует аудиосигналы из аналогового формата в цифровой формат для создания аудиоданных, которые сохраняются в аудиобуфере 276. Аудиоданные, сохраняемые в аудиобуфере 276, представляют собой пример входных данных, созданных на основе звука пользователя 108. Аудиоданные доступны через WAC 258 из аудиобуфера 276 для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует аудиоданные, доступные из аудиобуфера 276, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления аудиоданные доступны через WAC 258 из аудиобуфера 276 для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует аудиоданные, доступные из аудиобуфера 276, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

Внутренняя цифровая камера 278 захватывает одно или больше изображений одного или больше движения головы пользователя 108 (фиг. 1А-1С, 2), чтобы создавать данные изображения, которые представляют собой пример входных данных, которые созданы на основе одного или больше движения головы. Аналогично, наружная видеокамера 274 захватывает одно или больше изображений реальной окружающей среды и/или маркеров, расположенных на HMD 250, или на руке пользователя 108, и/или на руках пользователя 108, чтобы создавать данные изображения, которые представляют собой пример входных данных. Данные изображения, созданные на основе маркеров, расположенных на руке пользователя 108, или на основе движения рукой пользователя 108, представляют собой пример входных данных, которые созданы на основе движений рукой. Данные изображения, захваченного камерами 274 и 278, сохраняются в видеобуфере 280.

В некоторых вариантах осуществления данные изображения, захваченного камерами 274 и 278, сохраняются в буфере HMD 250, и буферы, являются другими, кроме видеобуфера 280. В различных вариантах осуществления данные изображения, захваченного камерами 274 и 278, декодируются видеодекодером 255 и отправляются в микроконтроллер 268 для отображения изображений на экране дисплея 266.

В некоторых вариантах осуществления данные изображения, захваченного камерами 274 и 278, доступны через WAC 258 из видеобуфера 280 для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует данные изображения, доступные из аудиобуфера 280, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления видеоданные доступны через WAC 258 Из видеобуфера 280 для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует видеоданные, доступные из видеобуфера 280, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

Схема 287 связи контроллера/вычислительной машины принимает данные среды, от вычислительной машины 172 для сохранения в буфере (не показан) HMD 250. Кроме того, схема 287 связи контроллера/вычислительной машины принимает входные сигналы от ННС 106 (фиг. 1А-1С, 2), преобразует входные сигналы из аналоговой формы в цифровую форму для создания входных данных, которые доступны через WAC 258, для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует входные данные, доступные из схемы 287 связи контроллера/вычислительной машины, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления входные данные доступны через WAC 258 из схемы 287 связи контроллера/вычислительной машины для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует видеоданные, доступные из видеобуфера 280, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

В некоторых вариантах осуществления схема 287 связи контроллера/вычислительной машины принимает данные реальной окружающей среды от ННС 106 (фиг. 1А-1С, 2), доступные через WAC 258, для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует данные реальной окружающей среды, принятые из схемы 287 связи контроллера/вычислительной машины ННС 106, для отправки по сети 110 в кодек 112.

В некоторых вариантах осуществления данные реальной окружающей среды доступны через WAC 258 из схемы 287 связи контроллера/вычислительной машины для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует данные реальной окружающей среды, доступные из схемы 287 связи контроллера/вычислительной машины, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.

Следует заметить, что вместо схемы 287 связи контроллера/вычислительной машины могут быть использованы две отдельные схемы связи, одна для связи, например, приема, отправки и т.д. данных с помощью вычислительной машины 172 (фиг 1B), а другая для обмена данными с ННС 106 (фиг. 1А-1С, 2).

В ряде вариантов осуществления декодер WAC 258 расположен за пределами WAC 258. В различных вариантах осуществления потоковый буфер 259 расположен в WAC 258.

В некоторых вариантах осуществления HMD 250 включает в себя какое-либо число микроконтроллеров, какое-либо число буферов, и/или какое-либо число запоминающих устройств.

В различных вариантах осуществления HMD 250 включает в себя одну или больше аккумуляторных батарей, обеспечивающих питание компонентов, например, видео- аудиоразделителя 254, карты 258 беспроводного доступа, потокового буфера 259, одного или больше динамиков 260, схемы 262 пользовательского ввода, экрана 266 дисплея микроконтроллера 268, аудиобуфера 272, наружной видеокамеры 274, аудиокодека 276, внутренней цифровой камеры 278, видеобуфера 280, видео-аудиосинхронизирующего устройства 282, микрофона 284 и схемы 287 связи контроллера/вычислительной машины. Одну или больше аккумуляторных батарей заряжают с помощью зарядного устройства (не показано), которое может быть включено в розетку переменного тока.

В некоторых вариантах осуществления HMD 250 включает в себя схему связи (не показано) для облегчения пиринговой многоканальной связи между локальными пользователями путем составления пар. Например, HMD 250 включает в себя приемопередатчик, который модулирует звуковые сигналы, полученные от микрофона 284, и отправляет модулированные сигналы по каналу в приемопередатчик другого HMD (не показано). Приемопередатчик другого HMD демодулирует сигналы для доставки к динамикам другого HMD, чтобы облегчать связь между пользователями.

В различных вариантах осуществления приемопередатчиком HMD 250 используются различные каналы для связи с различными другими HMD. Например, канал, по которому отправляются модулированные сигналы к первому другому HMD, является иным, чем канал, по которому отправляются модулированные сигналы ко второму другому HMD.

В некоторых вариантах осуществления WAC 258, схема 262 пользовательского ввода, микроконтроллер 268 и видеодекодер 255 интегрированы в одну или больше отдельных интегральных микросхем. Например, WAC 258, видеодекодер 255 и микроконтроллер 268 интегрированы в одну интегральную микросхему, а схема 262 пользовательского ввода интегрирована в другую интегральную микросхему. В качестве другого примера, каждый из элементов, WAC 258, схема 262 пользовательского ввода, микроконтроллер 268 и видеодекодер 255, интегрирован в отдельную интегральную микросхему.

В некоторых вариантах осуществления HMD 250 лишен наружной цифровой камеры 274 и/или лишен внутренней цифровой камеры 278. В данных вариантах осуществления положение и движение HMD 250 определяется одним или больше серверов игрового облака 102 и/или процессором 176 (фиг. 1С) вычислительной машины 172 (фиг. 1С) на основе входных данных, созданных схемой 262 пользовательского ввода и отправленных по сети 110 (фиг. 1А-1С, 2), или отправленных через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110, или отправленных через маршрутизатор 152, вычислительную машину 172 и сеть 110.

В некоторых вариантах осуществления, если внутренняя цифровая камера 278 не имеет возможности «видеть» глаза или голову пользователя 108, и/или если видеокамера 206 (фиг. 2) не имеет возможности «видеть» глаза или голову пользователя 108, схема 262 пользовательского ввода создает входные данные. В данных вариантах осуществления положение и движение HMD 250 определяется одним или больше серверов игрового облака 102 и/или процессором 176 (фиг. 1С) вычислительной машины 172 (фиг. 1С) на основе входных данных, отправленных к игровому облаку 102 по сети 110 (фиг. 1А-1С, 2), или отправленных через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110, или отправленных через маршрутизатор 152, вычислительную машину 172 и сеть 110.

В некоторых вариантах осуществления HMD 250, например, WAC 258 HMD 250 и т.п., переключается между двумя или больше режимами. Первый режим включает в себя использование маршрутизатора 152 (фиг. 1В-1С, 2) и вычислительной машины 172 (фиг. 1С и 2) в обмене данными между HMD 250 и игровым облаком 102 (фиг. 1А-1С, 2) по сети 110 (фиг. 1А-1С, 2). Второй режим включает в себя использование маршрутизатора 152 в обмене данными между HMD 250 и игровым облаком 102 по сети 110. Во втором режиме при обмене данными вычислительную машину 172 обходят. Третий режим включает в себя использование сети 110 в обмене данными между HMD 250 и игровым облаком 102 по сети 110. В третьем режиме при обмене данными маршрутизатор 152 и вычислительную машину 172 обходят.

В некоторых вариантах осуществления пользователь 108 использует HMD 104 с ННС 106, и положение и движение HMD 104, и положение и движение ННС 106 представляются в одной игровой сцене дополненной виртуальной реальности. Например, ННС 106 представляется как меч в игре, например, игре в дополненной виртуальной реальности, которая создается путем выполнения игровой программы 117, и которая отображается в HMD 104. В данном примере игра имеет игровую сцену дополненной виртуальной реальности, в которой меч Накладывается на изображение реального леса. Когда пользователь 108 поворачивает голову влево, пользователю 108 показывается левая часть леса, а когда пользователь 108 поворачивает голову вправо, пользователю 108 показывается правая часть леса. Отображение части леса основано на положении и движении HMD 104. Кроме того, когда пользователь 108 перемещает ННС 106 влево, и перемещает HMD 104 влево, пользователю показывается меч, направленный влево в левой части леса. Когда пользователь 108 перемещает ННС 106 влево, и перемещает HMD 104 вправо, пользователю показывается правая часть леса, и меч не отображается в правой части. Кроме того, когда пользователь 108 перемещает ННС 106 вправо, и перемещает HMD 104 вправо, пользователю показывается меч; направленный вправо в правой части леса. Когда пользователь 108 перемещает ННС 106 вправо, и перемещает HMD 104 влево, пользователю показывается левая часть леса, и меч не отображается в левой части. Отображение или отсутствие отображения меча в части-леса Основано на положении и движении ННС 106.

На фиг. 4А приведена схема варианта осуществления изображения 300, которое отображается на экране дисплея 266 HMD 250 (фиг. 3) для доступа к беспроводной сети. Изображение 300 создается с помощью микроконтроллера 268 (фиг. 3), когда приложение сетевого доступа выполняется микроконтроллером 268 (фиг. 3). Изображение 300 включает в себя список сетей, например, беспроводной сети А, беспроводной сети В, беспроводной сети С, и т.д., с которыми HMD 250 может связываться для доступа к игровой программе 117 из игрового облака 102. Пользователь 108 выбирает, путем выполнения одного или больше движения головы и/или одного или больше движений рукой, одну из беспроводных сетей А, В и С для связи HMD 250 с беспроводной сетью.

В ряде вариантов осуществления изображение 300 включает в себя какое-либо число беспроводных сетей в списке.

На фиг. 4В приведена схема варианта осуществления изображения 310, которое отображается на экране дисплея 312 HMD вычислительной машины 172 (фиг. 2) для доступа к беспроводной сети. Изображение 310 создается с помощью GPU вычислительной машины 172, когда приложение сетевого доступа выполняется процессором 176 (фиг. 2) вычислительной машины 172. Изображение 310 включает в себя список сетей, например, беспроводной сети А, беспроводной сети В, беспроводной сети С, и т.д., с которыми HMD 250 может связываться через маршрутизатор 152 и вычислительную машину 172, для доступа к игровой программе 117 из игрового облака 102. Пользователь 108 выбирает, путем выполнения одного или больше движения головы и/или одного или больше движений рукой, одну из беспроводных сетей А, В и С для связи HMD 250 с беспроводной сетью через маршрутизатор 152 и вычислительную машину 172.

В ряде вариантов осуществления изображение 310 включает в себя какое-либо число беспроводных сетей в списке.

На фиг. 5А приведена схема варианта осуществления изображения 320 игры, отображаемого на экране дисплея 321, который является примером экрана дисплея 266 (фиг. 3). Периферийная область 322 изображения 320 отображается при низком разрешении с помощью микроконтроллера 268 (фиг. 3), а центральная область 324 отображается при высоком разрешении с помощью микроконтроллера 268. Высокое разрешение больше, чем низкое разрешение. Периферийная область 322 находится рядом с краями Е1-Е4 экрана дисплея 321.

В некоторых вариантах осуществления край Е1 является перпендикулярным к краю Е2 и к краю Е4. Край Е3 является перпендикулярным к краям Е2 и Е4 и параллельным к краю Е1. В различных вариантах осуществления края Е1 по существу перпендикулярны, например, находятся под углом от 87 градусов до 93 градусов, и т.д., к краю Е2 и к краю Е4. Край Е3 является по существу перпендикулярным к краям Е2 и Е4 и по существу параллельным к краю Е1.

Следует заметить, что в некоторых вариантах осуществления экран дисплея 321 имеет любую форму, например, напрямуюугольную, квадратную, круглую, овальную, многоугольную, криволинейную и т.п.

На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 322 и 324. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на центральную область 324, микроконтроллер 268 определяет, что центральная область 324 имеет высокое разрешение, определяет, что периферийная область 322 имеет низкое разрешение, и выполняет программу 286 воспроизведения для отображения центральной области 324 с высоким разрешением и для отображения периферийной области 322 с низким разрешением.

На фиг. 5В приведена схема варианта осуществления изображения 330, которое отображается на экране дисплея 321. Изображение 330 имеет верхнюю периферийную область 332 и нижнюю периферийную область 334. Верхняя периферийная область 332 находится рядом с краем Е1, а нижняя периферийная область 334 находится рядом с краем Е3. Периферийные области 332 и 334 имеют низкое разрешение, а промежуточная зона 336 имеет высокое разрешение. Промежуточная зона 336 расположена рядом с краями Е2 и Е4 и расположена между областями 332 и 334.

На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 332, 334 и 336. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на промежуточную область 336, микроконтроллер 268 определяет, что промежуточная область 336 имеет высокое разрешение, определяет, что периферийные области 332 и 334 имеют низкое разрешение, и выполняет программу 286 воспроизведения для отображения промежуточной области 336 с высоким разрешением и для отображения периферийных областей 332 и 334 с низким разрешением.

В некоторых вариантах осуществления периферийная область 332 имеет разрешение, отличающееся от разрешения периферийной области 334. Например, периферийная область 332 имеет среднее разрешение, которое находится между низким и высоким разрешениями, а периферийная область 334 имеет низкое разрешение. В другом примере периферийная область 334 имеет среднее разрешение, а периферийная область 332 имеет низкое разрешение.

На фиг. 5С приведена схема варианта осуществления изображения 340, которое отображается на экране дисплея 321. Изображение 340 имеет правую периферийную область 342 и левую периферийную область 344. Правая периферийная область 342 находится рядом с краем Е2, а левая периферийная область 344 находится рядом с краем Е4. Периферийные области 342 и 344 имеют низкое разрешение, а промежуточная зона 346 имеет высокое разрешение. Промежуточная зона 346 расположена рядом с краями Е1 и Е3, и расположена между областями 342 и 344.

На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 342, 344 и 346. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на промежуточную область 346, микроконтроллер 268 определяет, что промежуточная область 346 имеет высокое разрешение, определяет, что периферийные области 342 и 344 имеют низкое разрешение, и выполняет программу 286 воспроизведения для отображения промежуточной области 346 с высоким разрешением и для отображения периферийных областей 342 и 344 с низким разрешением.

В некоторых вариантах осуществления периферийная область 342 имеет разрешение, отличающееся от разрешения периферийной области 344. Например, периферийная область 342 имеет среднее разрешение, которое находится между низким и высоким разрешениями, а периферийная область 344 имеет низкое разрешение. В другом примере периферийная область 344 имеет среднее разрешение, а периферийная область 342 имеет низкое разрешение.

В различных вариантах осуществления для Определения одной или больше областей экрана 321 дисплея, имеющих высокое разрешение и для определения одной или больше областей экрана 321 дисплея, имеющих низкое разрешение, вместо взгляда используется какое-либо движение головой.

В некоторых вариантах осуществления периферийная область экрана дисплея имеет любую форму, например, криволинейную, полукруглую, многоугольную и т.п., и центральная или промежуточная область экрана дисплея имеет любую форму, например, напрямуюугольную, круглую, многоугольную, эллиптическую, криволинейную и т.п.

На фиг. 6 приведена схема, иллюстрирующая различные типы ННС 350, 352, 354, 356, 358 и 360. Каждый ННС 350, 352, 354, 356, 358 и 360 является примером ННС 106 (фиг. 1А-1С, 2). Как показано, ННС 350 имеет форму бумеранга, ННС 352 имеет форму микрофона, а ННС 354 имеет форму штурвала. Кроме того, ННС 356 представляет собой перчатку, надеваемую пользователем 108 на руки, ННС 358 представляет собой куртку, костюм для верхней части тела или рубашку, и т.д., надеваемую пользователем 108 на верхнюю часть тела, а ННС 360 представляет собой штаны, надеваемые пользователем 108 на нижнюю часть тела.

Каждый из элементов, ННС 350, 352, 354, 356, 358 и 360 содержит один или больше механизмов обратной связи, например, датчиков, механических компрессоров, механических усилителей массы, механических преобразователей массы, механических декомпрессоров, вибрационных механизмов, механизмов тактильной обратной связи, нагревателей, охладителей, электрошокеров, и т.п., для обеспечения обратной связи пользователю 108 во время ведения игры в игре дополненной виртуальной реальности, отображаемой при выполнении игровой программы 117 (фиг. 1А-1С, 2).

В различных вариантах осуществления пользователь 108 надевает ННС 356 на руки и гладит виртуальную собаку по время ведения игры в игре дополненной виртуальной реальности, отображаемой при выполнении игровой программы 117. Виртуальная собака накладывается на изображение реального общественного парка. Механизмы, тактильной обратной связи обеспечивают тактильную обратную связь пользователю 108 для обеспечения пользователю 108 возможности чувствовать, будто бы пользователь 108 гладит реальную собаку. Когда пользователь 108 поднимает виртуальную собаку, функция усиления массы дает пользователю 108 возможность чувствовать, будто бы пользователь 108 поднимает реальную собаку.

В ряде вариантов осуществления пользователь 108 надевает ННС 356 на руки в дополнение к надеванию HMD 104, и HMD 104 создает сцену реального места, например, Токио, Нью-Йорка и т.д. Когда пользователь 108 протягивает руки, чтобы схватить виртуальную чашку кофе, выполняется игровая программа 117 для отображения виртуальных рук пользователя 108 в сцене для создания сцены дополненной виртуальной реальности. Когда пользователь 108 поднимает чашку, усилители массы прилагают массу к реальным рукам пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто пользователь 108 поднимает реальную чашку. Когда пользователь 108 ставит чашку на изображение реального стола в сцене, преобразователи массы уменьшают массу, воздействующую на реальные руки пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто пользователь 108 ставит реальную чашку.

В некоторых вариантах осуществления пользователь 108 надевает ННС 358 в дополнение к надеванию HMD 104 и приступает к виртуальному плаванию с аквалангом в качестве виртуального персонажа в видео реального океана. Механические усилители массы увеличивают массу, действующую на пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто бы пользователь 108 плавает с аквалангом в реальном океане, и чувствовать массу воды над пользователем 108. Аналогично, если пользователь 108 приближается к поверхности океана, механические преобразователи массы уменьшают массу, действующую на пользователя 108.

В некоторых вариантах осуществления каждый из ННС 350, 352, 354, 356, 358 и 360 включает в себя один или больше неподвижных опорных объектов, примеры которых приведены выше, для определения положения и движения ННС.

В различных вариантах осуществления ННС 106 имеет любую форму, например, напрямуюугольную, круглую, овальную, многоугольную криволинейную, спиральную и т.п.

На фиг. 7А приведена схема варианта осуществления HMD 370. HMD 370 является примером HMD 250 (фиг. 3). HMD 370 включает в себя бандажи 372 и 374, которые проходят позади головы пользователя 108 (фиг. 1А-1С, 2), когда надеты пользователем 108. Кроме того, HMD 370 содержит головные телефоны 376А и 376В, например, динамики, и т.п., которые излучают звук, связанный с игрой, которую проводят при выполнении игровой программы 117 (фиг. 1А-1С). HMD 370 содержит линзы 378А и 378В, которые позволяют пользователю 108 видеть игру, которую проводят при выполнении игровой программы 117, и которая отображается на экране 266 дисплея (фиг. 3). Вырез 380 расположен на носе пользователя 108, чтобы поддерживать HMD 370 на носе.

В некоторых вариантах осуществления HMD 370 надевается пользователем 108 таким же образом, как пользователь 108 надевает солнцезащитные очки, очки, или очки для чтения.

На фиг. 7В приведен вид в изометрии варианта осуществления HMD 400, который является примером HMD 250 (фиг. 3). В некоторых вариантах осуществления HMD 400 представляет собой продукт исследований и разработок Sony Computer Entertainment America LLC. HMD 400 содержит подголовник 402. HMD 400, кроме того, содержит маркеры, например, светодиоды 404А и 404В, излучатели 406А, 406В, 406C, 406D, 406Е, 406F, 406G и 406Н инфракрасного света. Примеры излучателей инфракрасного света включают светодиод. HMD 400 включает в себя включатель/выключатель 408, который обеспечивает включение или выключение HMD 400.

Маркеры используют для определения положения и движения HMD 400. Например, при движении головы пользователя 108 (фиг. 1А-1С, 2), размер изображения светодиодов 404А и 404 В, захваченного наружной видеокамерой 274 (фиг. 3), изменяется. На основе размера процессор вычислительной машины 172 (фиг. 3) или один или больше серверов игрового облака 102 (фиг. 1А-1С, 2) определяет положение и движение HMD 400 в системе координат.

На фиг. 8А приведена схема, иллюстрирующая использование HMD 400 по фиг. 7В с контроллером 450 Dualshock в соответствии с одним вариантом осуществления, описанным в настоящем документе. Пользователь 108 управляет контроллером 450 Dualshock, чтобы изменять положение и/или движение виртуального объекта, например, виртуального автомобиля, виртуального персонажа и т.п., накладываемого на реальную сцену. Наложение виртуального объекта на реальную сцену отображается в HMD 400.

На фиг. 8В приведена схема, иллюстрирующая использование HMD 400 (фиг. 7В) с контроллером Move™, например, ННС 352, в соответствии с одним вариантом осуществления, описанным в настоящем документе. Пользователь 108 управляет движением контроллера, чтобы изменять положение и/или движение виртуального объекта, например, меча, пера и т.п., накладываемого на реальную сцену. Наложение виртуального объекта на реальную сцену отображается в HMD 400.

На фиг. 9А приведена схема, иллюстрирующая использование HMD 400 по фиг. 7В с контроллером 450 Dualshock для ведения игры в сцене дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе. Пользователь 108 управляет контроллером 450 Dualshock и HMD 400 для ведения игры в сцене дополненной виртуальной реальности. Положение и местоположение контроллера 450 Dualshock и HMD 400 определяется по изображениям, захваченным видеокамерой 208.

На фиг. 9В приведена схема, иллюстрирующая сцену 410 дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе. Сцена 410 дополненной виртуальной реальности отображается в HMD 400, которую надевает пользователь 108. Когда пользователь 108 выполняет одно или больше действий рукой для управления контроллером 450 Dualshock (фиг. 9А), выполняется игровая программа 117 (фиг. 1А-1С, 2) для отображения виртуального штурвала 411 в сцене 410 дополненной виртуальной реальности. Кроме того, игровая программа 117 выполняется для отображения изображения реальной окружающей среды, например, реальной улицы, реальных рук, пользователя 108, и т.п. Изображения 412А и 412В реальных рук пользователя 108 накладывается на виртуальный штурвал 411. В некоторых вариантах осуществления игровая программа 117 выполняется, чтобы накладывать изображение реальной окружающей среды на виртуальную окружающую среду.

В различных вариантах осуществления вместо изображений 412А и 412В в сцене 410 дополненной виртуальной реальности отображаются виртуальные руки в перчатках, цветные руки и т.п. В ряде вариантов осуществления вместо изображений 413 реальной улицы в сцене 410 дополненной виртуальной реальности используют изображение виртуальной улицы.

На фиг. 10 приведена структурная схема варианта осуществления приставки 500, которая совместима для взаимодействия с ННС 106 и HMD 104 (фиг. 1А-1С, 2). Приставка 500 может быть использована для выполнения и воспроизведения части игровой программы 117. Приставка 500 является совместимой для взаимодействия ННС 106 и HMD 104 (фиг. 1А-1С, 2) с игровой программой 117. Приставка 500 поставляется с различными периферийными устройствами, выполненными с возможностью соединения с приставкой 500. Приставка 500 имеет cell-процессор 528, блок 526 динамического запоминающего устройства с произвольной выборкой Rambus® (dynamic random access memory, XDRAM), блок 530 графического процессора синтезатора реальности с блоком 532 выделенной видеопамяти с произвольной выборкой (video random access memory, VRAM), и мостом 534 ввода/вывода (input/output, I/O). Приставка 500 также имеет считывающее устройство 540 компактного оптического диска Blu Ray® (Disk read-only memory, BD-ROM) для считывания данных с диска 540а и съемный вставляемый накопитель на жестком диске (hard disk drive, HDD) 536, с доступом через мост 534 ввода/вывода. Дополнительно приставка 500 также включает в себя устройство 538 считывания карты памяти для считывания компактных карт флэш-памяти, карты памяти Memory Stick® и другие, которые также доступны через мост 534 ввода/вывода.

Мост 534 ввода/вывода также соединен с портами 524 универсальной последовательной шины (Universal Serial Bus, USB) 2.0, портом 522 gigabit Ethernet, портом 520 беспроводной сети (Wi-Fi) IEEE 802.1 lb/g и портом 518 линии радиосвязи Bluetooth, способным поддерживать соединения Bluetooth.

Во время действия мост 534 ввода/вывода обрабатывает все данные беспроводной связи, универсальной последовательной шины (USB) и сети Ethernet, в том числе, данные от одного или больше игровых контроллеров 502 и 503 и от HMD 505, который является примером HMD 250 (фиг. 3). Например, когда пользователь 108 (фиг. 1А-1С, 2) ведет игру, создаваемую при выполнении части игровой программы 117 (фиг. 1А), мост 534 ввода/вывода получает входные данные от игрового контроллера 502 или 503, или от HMD 505 через соединение Bluetooth, и направляет входные данные к cell-процессору 528, который обновляет текущее состояние игры, соответственно. Каждый игровой контроллер 502 и 503 представляет собой пример ННС 106 (фиг. 1А-1С, 2).

Беспроводные, USB и Ethernet порты также предоставляют возможность соединения для других периферийных устройств в дополнение к игровым контроллерам 502 и 503, и HMD 505, как, например, дистанционное управление 504, клавиатура 506, мышь 508, переносное развлекательное устройство 510, такое как развлекательное устройство Sony Playstation Portable®, видеокамера, такая как видеокамера 512 ЕуеТоу®, микрофон с головным телефоном 514, и микрофон 515. Данные периферийные устройства, таким образом, могут быть в принципе соединены с приставкой 500 посредством беспроводной связи, например, переносное развлекательное устройство 510 может быть связано через специальное соединение Wi-Fi, тогда как микрофон с головным телефоном 514 может быть связан через соединение Bluetooth.

Предоставление этих интерфейсов означает, что приставка 500 также потенциально совместима с другими периферийными устройствами, такими как цифровые видеомагнитофоны (digital video recorders, DVR), цифровые телевизионные приставки, цифровые камеры, портативные медиаплееры, телефоны с передачей голоса по IP-протоколу, мобильные телефоны, принтеры и сканеры.

Кроме того, устройство 516 считывания стандартных карт памяти может быть соединено с приставкой 500 через USB-порт 524, обеспечивая возможность считывания карт памяти 548 типа, используемого приставкой 500.

Игровые контроллеры 502 и 503 и HMD 505 выполнены с возможностью поддержания беспроводной связи с приставкой 500 посредством связи, или подключения к USB-порту, тем самым обеспечивая питание, с помощью которого заряжают батареи игрового контроллера 502 и 503, и HMD 505. В некоторых вариантах осуществления каждый из игровых контроллеров 502 и 503, и HMD 505 может также включать в себя память, процессор, устройство считывания карт памяти, постоянную память, такую как флэш-память, излучатели света, такие как освещенные сферические секции, светодиоды, или инфракрасный свет, микрофон и динамик для ультразвуковой связи, сурдокамеру, цифровую камеру, внутренний генератор тактовых импульсов, распознаваемую форму, такую как сферическая секция, обращенная к игровой приставке и беспроводную связь, использующую протоколы, такие как, например, Bluetooth, Wi-Fi и т.п.

Игровой контроллер 502 представляет собой контроллер, предназначенный для использования двумя руками пользователя 108, а игровой контроллер 503 представляет собой контроллер для одной руки с дополнительным приспособлением. HMD 505 предназначен для установки поверх головы и/или перед глазами пользователя 108. В дополнение к одному или больше аналоговым джойстикам и обычным кнопкам управления, каждый игровой контроллер 502 и 503 восприимчив к определению трехмерного положения. Аналогично, HMD 505 восприимчив к определению трехмерного положения. Соответственно, жесты и движения, сделанные пользователем 108 игрового контроллера 502 и 503, и HMD 505 могут быть преобразованы как входные сигналы для игры в дополнение или вместо обычных команд кнопки или джойстика. При необходимости в качестве контроллера могут быть использованы другие периферийные устройства, выполненные с возможностью беспроводной связи, такие как переносное устройство Playstation™. В случае переносного устройства Playstation™ дополнительная игровая или управляющая информация (например, управляющие команды или число жизней) может выводиться на экран дисплея устройства. Могут также использоваться другие альтернативные или дополнительные устройства управления, такие как танцевальный коврик (не показан), световой пистолет (не показан), и штурвал и педали (не показаны) или специальные контроллеры, такие как одна или несколько больших кнопок для тестовых игр на быстроту реакции (также не показаны).

Дистанционное управление 504 также выполнено с возможностью работы с беспроводной связью с приставкой 500 посредством связи Bluetooth. Дистанционное управление 504 содержит устройства управления, подходящие для работы считывающего устройства 540 Blu Ray™ Disk BD-ROM и для навигации по содержимому диска.

Считывающее устройство 540 Blu Ray™ Disk BD-ROM выполнено с возможность работы для считывания компакт-дисков, совместимых с приставкой 500, в дополнение к обычным предварительно записанным и перезаписываемым компакт-дискам, и так называемым супераудиодискам. Считывающее устройство 540 выполнено с возможностью считывания цифровых видеодисков ПЗУ (digital video disk-ROM, DVD-ROM) совместимых с приставкой 500, в дополнение к обычным предварительно записанным и перезаписываемым компакт-дискам. Считывающее устройство 540, кроме того, выполнено с возможностью считывания дисков BD-ROM, совместимых с приставкой 500, и также обычных предварительно записанных и перезаписываемых дисков Blu-Ray.

Приставка 500 выполнена с возможностью подачи аудио- и видеосигналов, либо созданных, либо декодированных с помощью блока. 530 графического процессора синтезатора реальности, через аудиосоединительные устройства 550 и видеосоединительные устройства 552, к устройству 542 вывода отображения и звука, такому как монитор или телевизор, имеющий экран 544 дисплея и один или больше громкоговорителей 546. Аудиосоединительные устройства 550 могут включать в себя обычные аналоговые и цифровые выходы, тогда как видеосоединительные устройства 552 могут по-разному включать в себя компонент видеосигнала, стерео видеосигнала, полного видеосигнала и один или больше выходов универсального интерфейса высокой четкости (High Definition Multimedia Interface, HDMI). Соответственно, видеовыход может быть в таких форматах, как PAL или NTSC, или в 520р, 1080i или 1080р высокой четкости.

Обработка аудиосигнала (создание, декодирование и т.д.) выполняется cell-процессором 528. Операционная система приставки 500 поддерживает пространственное звучание Dolby® 5.1, театральное звучание Dolby® (DTS), и декодирование пространственного звучания 7.1 с дисков Blu-Ray®.

В некоторых вариантах осуществления видеокамера, например, видеокамера 512 включает в себя один прибор с зарядовой связью (charge coupled device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и кодирования данных в режиме реального. времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG) для декодирования с помощью приставки 500. Светодиодный индикатор видеокамеры 512 выполнен с возможностью освещения в зависимости от соответствующих управляющих данных от приставки 500, например, для обозначения неблагоприятных условий освещения. Варианты осуществления видеокамеры 512 могут быть по-разному связаны с приставкой 500 через порт связи USB, Bluetooth или Wi-Fi. Варианты осуществления видеокамеры могут включать в себя один или больше связанных микрофонов, а также могут обладать возможностью передачи аудиоданных. В вариантах осуществления видеокамеры CCD может иметь разрешение, подходящее для захвата видео с высокой четкостью. При использовании изображения, захваченные видеокамерой, могут, например, быть включены в игру или интерпретированы, как игровые управляющие входные сигналы. В другом варианте осуществления видеокамера представляет собой инфракрасную камеру, подходящую для обнаружения инфракрасного света.

В различных вариантах осуществления, для успешной передачи данных, происходящих в периферийном устройстве, таком как, например, видеокамера или дистанционное управление, через один из портов связи приставки 500, предоставлена соответствующая часть программы, такая как привод устройства.

В некоторых вариантах осуществления вышеупомянутые устройства системы, включая устройство приставки, переносной ННС, и переносной HMD дают возможность ННС и переносному HMD отображать и захватывать видео интерактивной сессии игровой программы 117 (фиг. 1А-1С). Устройство приставки инициирует интерактивный сеанс игровой программы 117, причем интерактивный сеанс определяет интерактивность между пользователем 108 и игровой программой 117. Устройства системы определяют начальное положение и ориентацию ННС и/или HMD, управляемых пользователем 108. Устройство приставки определяет текущее состояние игровой программы 117, на основе интерактивности между пользователем 108 и игровой программой 117. Устройства системы отслеживают положение и ориентацию ННС и/или HMD во время интерактивного сеанса пользователя 108 в игровой программе 117. Устройства системы создают видеопоток наблюдателя интерактивного сеанса на основе текущего состояния игровой программы 117 и отслеженного положения и ориентации ННС и/или HMD. В некоторых вариантах осуществления ННС воспроизводит видеопоток наблюдателя на экране дисплея ННС. В некоторых вариантах осуществления HMD воспроизведения видеопоток наблюдателя на экране дисплея HMD.

На фиг. 11 приведена структурная схема игровой системы 600, в соответствии с различными вариантами осуществления, описанными в настоящем документе. В некоторых вариантах осуществления игровая система 600 представляет собой облачную игровую систему, в которой виртуальные машины (VM), например, операционные системы, программные приложения и т.п., выполняются, используя один или больше ресурсов, например, серверы, запоминающие устройства и т.п., после установления связи между ресурсами и виртуальными машинами с помощью гипервизора. Игровая система 600 используется для создания видеопотока к одному или больше клиентов 610 через сеть 615, которая является примером сети 110 (фиг. 1А-1С, 2). Игровая система 600 включает в себя видеосерверную систему 620 и дополнительный игровой сервер 625. Видеосерверная система 620 используется для создания видеопотока к одному или больше клиентов 610 с качеством обслуживания. Например, видеосерверная система 620 может получать игровую команду, которая изменяет состояние или точку зрения в видеоигре, например, игре, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., и представляет клиенту 610 обновленный видеопоток, отображающий данные изменения в состоянии при минимальном времени задержки. Видеосерверная система 620 может быть использована для создания видеопотока в широком диапазоне альтернативных форматов видео, включая еще определяемые форматы. Кроме того, видеопоток может включать в себя видеокадры, используемые для представления пользователю 108 (фиг. 1А-1С, 2) в широком диапазоне частоты кадров. Типичная частота кадров составляет 30 кадров в секунду, 60 кадров в секунду и 620 кадров в секунду. Хотя более высокие или более низкие частоты кадров входят в различные варианты осуществления, описанные в настоящем документе.

Клиенты 610, упоминаемые в настоящем документе отдельно как 610A, 610В и т.д., могут включать в себя HMD 104 (фиг. 1А-1С, 2), ННС 104 (фиг. 1А-1С, 2), оконечные устройства, Персональные вычислительные машины, игровые приставки, планшетные вычислительные машины, телефоны, телевизионные приставки, киоски, беспроводные устройства, цифровые панели, автономные устройства и/или другие. Клиенты 610 используются для приема закодированных видеопотоков, декодирования видеопотоков и представления полученного видео пользователю 108, например, ведущему игру. Процессы получения закодированных видеопотоков и/или декодирования видеопотоков включают в себя сохранение отдельных видеокадров в приемном буфере клиента. Видеопотоки могут быть представлены пользователю 108 на дисплее, объединенным с клиентом 610, или на отдельном устройстве, таком как монитор или телевизор.

Клиенты 610 при необходимости используются для поддержки более чем одного игрока. Например, игровая приставка может быть использована для поддержки двух, трех, четырех или больше одновременно играющих. Каждый из этих игроков может принимать отдельный видеопоток, или один видеопоток может включать в себя области кадров, созданных специально для каждого игрока, например, созданных на основе точки зрения каждого игрока.

Клиенты 610 при необходимости территориально рассредоточены. Число клиентов, включенных в игровую систему 600, может колебаться в широких пределах, от одного или двух до тысяч, десятков тысяч или больше. Используемый здесь термин «игрок» используется для обозначения человека, который ведет игру, а термин «устройство ведения игры» используется для обозначения устройства, используемого для ведения игры, например, ведения игры при выполнении игровой программы 116 (фиг. 1А-1С), и т.д. В некоторых вариантах осуществления устройство ведения игры может упоминаться для нескольких вычислительных устройств, которые действуют совместно Для получения игрового опыта пользователем 108. Например, игровая приставка и HMD 104 (фиг. 1А-1С, 2) могут действовать совместно с видеосерверной системой 620 для доставки игры, наблюдаемой посредством HMD 104. В одном варианте осуществления игровая приставка получает видеопоток от видеосерверной системы 620, и игровая приставка направляет видеопоток или обновляет видеопоток к HMD 104 для воспроизведения.

Клиент 610 используется для приема видеопотоков по сети 615. Сеть 615 может быть сетью связи любого типа, включая телефонную сеть, Интернет, беспроводные сети, сети линий электропередачи, локальные сети, глобальные сети, частные сети и/или другие. В некоторых вариантах осуществления видеопотоки связаны посредством стандартных протоколов, таких как TCP/IP или UDP/IP. В ряде вариантов осуществления видеопотоки связаны посредством частных стандартов.

Типичным примером одного из клиентов 610 служит персональный компьютер, включающий в себя процессор, энергонезависимую память, дисплей, логическую схему декодирования, средства сетевой связи и одно или больше устройств ввода данных. Логическая схема декодирования может включать в себя аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом Машиночитаемом носителе данных.

Клиенты 610 могут, но не обязательно, дополнительно включать в себя системы, используемые для модификации принятой видеоинформации. Например, клиент может быть использован для выполнения дальнейшего воспроизведения, чтобы накладывать одно видеоизображение на другое видеоизображение, чтобы обрезать видеоизображение и/или т.п. В качестве другого примера клиент накладывает виртуальную окружающую среду поверх изображения реальной окружающей среды, чтобы создавать сцену дополненной виртуальной реальности на экране дисплея. В качестве другого примера клиенты 610 могут быть использованы для приема видеокадров, таких как изображение с внутренним кодированием (intra-coded picture, I-кадры), кадры, сжатые с использованием ссылки на одно изображение (predicted frames, Р-кадры) и видеокадры, формируемые способом предсказания вперед/назад (bi-predictive picture frames, В-кадры), и для обработки этих кадров в изображения для отображения игры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., для пользователя 108. В некоторых вариантах осуществления Компонент клиента 610 используется для выполнения дальнейшего воспроизведения, затенения, преобразования в 3-D, или подобных операций над видеопотоком. Компонент клиентов 610 при необходимости используют для приема больше, чем одного аудио- или видеопотока данных.

Устройства ввода клиентов 610 могут включать в себя, например, игровой контроллер для одной руки, игровой контроллер для двух рук, систему распознавания жестов, систему распознавания взгляда, систему распознавания голоса, клавиатуру, джойстик, указывающее устройство, устройство обратной связи по усилию, чувствительный элемент движения и/или местоположения, мышь, сенсорный экран, нейронный интерфейс, камеру, устройства ввода, еще подлежащие разработке и/или другие.

Видеопоток и, при необходимости, аудиопоток, принятый клиентами 610, создается и передается видеосерверной системой 620. Данный видеопоток включает в себя видеокадры, а аудиопоток включает в себя аудиокадры. Видеокадры, которые включают в себя пиксельную информацию в соответствующей структуре данных, способствуют выразительности изображений, отображаемых для пользователя 108. Используемый здесь термин «видеокадры» используется для обозначения кадров, содержащих, преимущественно, информацию, которая используется, чтобы способствовать, например, получению эффектов и т.п. изображений игры, например игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.д., проводимой пользователем 108. Большинство принципов, приведенных здесь в отношении «видеокадров» также могут применяться в отношении «аудиокадров».

В различных вариантах осуществления клиенты 610 используются для приема входных данных от пользователя 108. Эти входные данные могут включать в себя игровые команды, используемые для изменения состояния видеоигры, например игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С) и т.п., или иначе зависящие от проводимой игры. Игровые команды могут быть приняты с использованием устройств ввода, например, схемы 262 пользовательского ввода (фиг. 4), и т.п., и/или могут быть автоматически созданы с помощью вычислительных инструкций на клиентах 610. Принятые игровые команды передаются от клиентов 610 по сети 615 к видеосерверной системе 620 и/или к игровому серверу 625. Например, игровые команды передаются к игровому серверу 625 через видеосерверную систему 620.

В некоторых вариантах осуществления отдельные копии игровых команд передаются от клиентов 610 к игровому серверу 625 и видеосерверной системе 620.

Передача игровых команд при необходимости зависит от идентичности команды. Игровые команды при необходимости передаются от клиента 610А через другой маршрутизатор или канал связи, чем тот, который используют для передачи аудио- или видеопотоков к клиенту 610А.

Игровым сервером 625 при необходимости управляют с помощью других объектов, чем видеосерверная система 620. Например, видеосервером 625 можно управлять с помощью сервера публикаций игры. В данном примере видеосерверная система 620 при необходимости рассматривается игровым сервером 625 в качестве клиента, и при необходимости используется, чтобы фигурировать с точки зрения игрового сервера 625, как клиент, выполняющий игровой движок. Связь между видеосерверной системой 620 и игровым сервером 625 при необходимости происходит по сети 615. Таким образом, игровой сервер 625 может быть многопользовательским игровым сервером, который отправляет информацию о состоянии игры многим клиентам, одним из которых является игровая серверная система 620.

Видеосерверная система 620 может быть использована для связи с многими экземплярами игрового сервера 625 одновременно. Например, видеосерверная система 620 может быть использована для доставки множества различных видеоигр различным пользователям. Каждая из этих различных видеоигр может поддерживаться с помощью различных игровых серверов 625 и/или публиковаться с помощью различных объектов.

В некоторых вариантах осуществления несколько территориально рассредоточенных экземпляров видеосерверной системы 620 используют для доставки игровых видеоданных множеству различных пользователей. Каждый из этих экземпляров видеосерверной системы 620 может поддерживать связь с одним экземпляром игрового сервера 625.

Связь между видеосерверной системой 620 и одним или больше игровых серверов 625 при необходимости осуществляется по выделенному каналу связи. Например, видеосерверная система 620 может быть связана с игровым сервером 625 посредством канала с высокой пропускной способностью, который выделен для связи между данными двумя системами.

Видеосерверная система 620 включает в себя по меньшей мере источник 630 видеосигнала, устройство 645 ввода/вывода, процессор 650, и запоминающее устройство 655. Видеосерверная система 620 может включать в себя одно вычислительное устройство или может быть распределена среди множества вычислительных устройств. Данные вычислительные устройства при необходимости связаны посредством системы связи, такой как локальная сеть.

Источник 630 видеосигнала используют для доставки видеопотока, например, потокового видео или ряда видеокадров, которые формируют движущееся изображение. В некоторых вариантах осуществления источник 630 видеосигнала включает в себя движок видеоигры и логическую схему воспроизведения.

Движок видеоигры используют для приема игровых команд от игрока и для поддержания копии состояния видеоигры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., на основе принятых команд. Данное состояние игры включает в себя положение объекта в игровой среде, а также точку зрения. Состояние игры может также включать в себя свойства, изображения, цвета и/или текстуры объектов. Состояние игры поддерживается на основании правил игры, а также игровых команд, таких как движение, поворот, атака, фокусировка, взаимодействие, использование и/или другие. Часть игрового движка при необходимости расположена в игровом сервере 625. Игровой сервер 625 может поддерживать копию состояния игры на основе игровых команд, принятых от множества игроков, использующих территориально рассредоточенные клиенты. В данных случаях состояние игры доставляется с помощью игрового сервера 625 к источнику 630 видеосигнала, где выполняется сохранение и воспроизведение копии состояния игры. Игровой сервер 625 может принимать игровые команды напрямую от клиентов 610 по сети 615, и/или может принимать игровые команды по видеосерверной системе 620.

Источник 630 видеосигнала включает в себя логическую схему воспроизведения, например, аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом машиночитаемом носителе данных, таком как запоминающее устройство 655. Логическую схему воспроизведения используют для создания видеокадров видеопотока на основе состояния игры. Вся логическая схема воспроизведения или ее часть при необходимости расположена в GPU. Логическая схема воспроизведения включает в себя этапы обработки, используемые для определения трехмерных пространственных связей между объектами и/или применения соответствующих текстур и т.п.на основе состояния игры и точки зрения. Логическая схема воспроизведения производит необработанный видеосигнал, который обычно кодируется перед передачей к клиентам 610. Например, необработанный видеосигнал может быть закодирован в соответствии со стандартом Adobe Flash®,.wav, Н.264, Н.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x. Xvid. FFmpeg, x264, VP6-8, realvideo, mp3, или т.п. Процесс кодирования обеспечивает видеопоток, который при необходимости пакетируется для доставки к декодеру на удаленном устройстве.

Видеопоток характеризуется размером кадра и частотой кадров. Типичные размеры кадров включают в себя 800×600, 1280×720 (например, 720 р), 1024×768, хотя могут быть использованы любые другие размеры кадра. Частота кадров представляет собой число видеокадров в секунду. Видеопоток может включать в себя разные типы видеокадров. Например, стандарт Н.264 включает в себя Р-кадр и I-кадр. I-кадры содержат информацию для обновления всех макро блоков/пикселей на устройстве отображения, тогда как Р-кадры содержат информацию для обновления их подмножества. Р-кадры меньше по размеру данных, чем I-кадры. Используемый здесь термин «размер кадра» означает число пикселей в кадре. Термин «размер данных кадра» используется здесь для обозначения числа байтов, необходимого для сохранения кадра.

В некоторых вариантах осуществления источник 630 видеоданных содержит устройство видеозаписи, такое как камера. Данная камера может быть использована для создания запаздывающего видео или видео в реальном времени, которое может быть включено в видеопоток компьютерной игры. Полученный видеопоток при необходимости включает в себя как воспроизведенные изображения, так и изображения, записанные с использованием фото или видеокамеры. Источник 630 видеосигнала может также содержать запоминающие устройства, используемые для сохранения ранее записанного видео, подлежащего включению в видеопоток. Источник 630 видеосигнала может также включать в себя чувствительные элементы движения или позиционирования для обнаружения движения или положения HMD 104, ННС 106, или пользователя 108 (фиг. 1А-1С, 2), и логическую схему, используемую для определения состояния игры или создания видео на основе обнаруженного движения и/или положения.

Источник 630 видеосигнала при необходимости используют для создания наложений, используемых для помещения на другое видео. Например, данные наложения могут включать в себя командный интерфейс, команды входа, сообщения игроку, изображения других игроков, источники видеосигнала других игроков (например, видео веб-камеры). В некоторых вариантах осуществления клиента 610А, включающего в себя интерфейс сенсорного экрана или интерфейс обнаружения взгляда, наложение может включать в себя виртуальную клавиатуру, джойстик, сенсорную панель и/или т.п. В одном примере наложения голос игрока накладывается на аудиопоток. Источник 630 видеосигнала при необходимости дополнительно содержит один или больше источников аудиосигнала.

В вариантах осуществления, где видеосерверная система 620 используется для поддержания состояния игры на основе входного сигнала от более чем одного игрока, каждый игрок может иметь другую точку зрения, включающую положение и направление обзора. Источник 630 видеосигнала при необходимости используется для создания отдельного видеопотока для каждого игрока на основании его точки зрения. Кроме того, источник 630 видеосигнала может быть использован для создания разных размеров кадра, размера данных кадра и/или кодирования для каждого из клиентов 610. Источник 630 видеосигнала при необходимости используется для создания объемного видео.

Устройство 645 ввода/вывода используют для видеосерверной системы 620 для отправки и/или приема информации, такой как видео, команды, запросы информации, состояние игры, информация о взгляде, движение устройства, местоположение устройства, движение пользователя, идентичность клиента, идентичность игрока, игровые команды, информация о безопасности, аудиосигнал и/или т.п. Устройство 645 ввода/вывода включает в себя аппаратные средства связи, такие как сетевая интерфейсная плата или модем. Устройство 645 ввода/вывода используют для связи с игровым сервером 625, сетью 615 и/или клиентами 610.

Процессор 650 используют для выполнения логической схемы, например, программы, включенной в различные компоненты видеосерверной системы 620, описанной в настоящем документе. Например, процессор 650 может быть запрограммирован с помощью инструкций программы для выполнения функций источника 630 видеосигнала, игрового сервера 625 и/или классификатора 660 клиента. Видеосерверная система 620 при необходимости включает в себя больше, чем один экземпляр процессора 650. Процессор 650 также может быть запрограммирован с помощью инструкций программы для выполнения команд, принятых видеосерверной системой 620, или для координации действий различных элементов игровой системы 600, описанной в настоящем документе. Процессор 650 может включать в себя одно или больше аппаратных устройств. Процессор 650 представляет собой электронный процессор.

Запоминающее устройство 655 содержит энергонезависимые аналоговые и/или цифровые запоминающие устройства. Например, запоминающее устройство 655 может включать в себя аналоговое запоминающее устройство, используемое для сохранения видеокадров. Запоминающее устройство 655 может включать в себя энергонезависимое машиночитаемое цифровое запоминающее устройство, например, жесткий диск, оптический диск, или твердотельное запоминающее устройство. Запоминающее устройство 615 используют (например, с помощью соответствующей структуры данных или файловой системы) для хранения видеокадров, искусственных кадров, видеопотока, включающего как видеокадры, так и искусственные кадры, аудиокадры, аудиопоток и/или т.п.Запоминающее устройство 655 при необходимости распределено среди множества устройств. В некоторых вариантах осуществления запоминающее устройство 655 используют для сохранения компонентов программного обеспечения источника 630 видеосигнала, описываемого в настоящем документе. Данные компоненты могут быть сохранены в формате, готовом к доставке, при необходимости.

Видеосерверная система 620 при необходимости дополнительно включает в себя классификатор 660 клиента. Классификатор 660 клиента используют для удаленного определения возможностей клиента, такого как клиенты 610A или 610В. Данные возможности могут включать в себя как возможности самого клиента 610А, так и возможности одного или больше каналов связи между клиентом 610А и видеосерверной системой 620. Например, классификатор 660 клиента может быть использован для испытаний канала связи через сеть 615.

Классификатор 660 клиента может определять (например, обнаруживать) возможности клиента 610А в ручном или автоматическом режиме. Определение вручную включает в себя связь с пользователем 108 клиента 610А и запрос пользователя 108 для предоставления возможностей. Например, в некоторых вариантах осуществления классификатор 660 клиента используется для отображения изображений, текста и/или т.п. в веб-браузере клиента 610А. В одном варианте осуществления клиент 610А представляет собой HMD, например, HMD 104, и т.п., который включает в себя веб-браузер. В другом варианте осуществления клиент 610А представляет собой игровую приставку, имеющую веб-браузер, который может быть отображен на HMD. Отображаемые объекты запрашивают, чтобы пользователь 108 ввел информацию, такую как операционная система, процессор, тип видеодекодера, тип сетевого соединения, разрешение дисплея и т.п. клиента 610А. Информация, введенная пользователем 108, передается обратно в классификатор 660 клиента.

Автоматическое определение может происходить, например, при выполнении агента на клиенте 610А и/или при отправке испытательного видеосигнала к клиенту 610А. Агент может включать в себя команды для вычисления, такие как java script, встроенные в веб-страницу или установленные в качестве дополнения. Агент при необходимости снабжен классификатором 660 клиента. В различных вариантах осуществления агент может выяснять вычислительную мощность клиента 610A, возможности декодирования и отображения клиента 610A, достоверность времени запаздывания и полосу пропускания каналов связи между клиентом 610A и видеосерверной системой 620, тип дисплея клиента 610A, наличие брандмауэра на клиенте 610A, аппаратные средства клиента 610A, программное обеспечение, выполняемое на клиенте 610A, записи реестра в клиенте 610A и/или т.п.

Классификатор 660 клиента включает в себя аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом машиночитаемом носителе данных. Классификатор 660 клиента при необходимости расположен на вычислительном устройстве, отдельно от одного или больше других элементов видеосерверной системы 620. Например, в некоторых вариантах осуществления классификатор 660 клиента используют для определения характеристик каналов связи между клиентами 610 и более чем одним экземпляром видеосерверной системы 620. В некоторых вариантах осуществления информация, обнаруженная классификатором клиента, может быть использована для определения того, какой экземпляр видеосерверной системы 620 лучше подходит для доставки потокового видео к одному из клиентов 610.

В некоторых вариантах осуществления данные среды, включают в себя данные реальной среды, данные о виртуальной среде или их сочетание. Данные о реальной среде включают в себя данные, созданные по одному или больше изображений реальной среды, например, реальные автомобили, реальные люди, реальные географические местоположения, реальные структуры, реальные здания, реальные деревья, реальные объекты, реальные живые существа, неживые существа и т.п. Данные реальной среды создаются с помощью камеры, например, видеокамеры, аудиокамеры и др., когда камера захватывает изображения реальной среды. Данные виртуальной среды представляют собой данные, созданные с помощью вычислительной машины, например, процессора, который выполняет игровую программу 117, и т.п.

В ряде вариантов осуществления один или больше пользователей, например, пользователь 108, другой пользователь и др. могут взаимодействовать с миром дополненной виртуальной реальности. Используемый здесь термин «мир дополненной виртуальной реальности» включает в себя реальную окружающую среду и виртуальную окружающую среду, которая представляет собой вымышленную, например, созданную на вычислительной машине и т.п., среду. Вымышленная окружающая среда имеет правила взаимодействия, имитируемые одним или больше процессоров, которые реальный пользователь может воспринимать через один или больше экранов дисплея и/или может взаимодействовать с ними через одно или больше устройств пользовательского интерфейса. Используемый здесь термин «устройство пользовательского интерфейса» относится к реальному устройству, например, HMD 104, ННС 106 (фиг. 1А-1С, 2) и т.п., с помощью которых пользователь 108 может отправлять входные сигналы в мир дополненной виртуальной реальности или принимать от него выходные сигналы. Мир дополненной виртуальной реальности может быть имитирован с помощью одного или больше процессорных модулей, например, одного или больше серверов игрового облака 102 (фиг. 1А-1С, 2), микроконтроллера 268 (фиг. 3), процессора 176 (фиг. 1С), и т.п. Один или больше процессорных модулей могут быть связаны вместе посредством сети 110 (фиг. 1А-1С, 2). Пользователь 108 может взаимодействовать с миром дополненной виртуальной реальности через устройство пользовательского интерфейса, которое может быть связано с процессорными модулями и другими устройствами пользовательского интерфейса через сеть 110. Некоторые аспекты мира дополненной виртуальной реальности могут быть представлены пользователю 108 в графической форме на экране графического дисплея, таком как, например, монитор вычислительной машины, телевизионный монитор, экран дисплея 266, экран дисплея ННС 106 или аналогичный дисплей. Некоторые другие аспекты мира дополненной виртуальной реальности могут быть представлены пользователю в звуковой форме на динамике, например, динамиках 260 (фиг. 3) динамиках вычислительной машины 172 (фиг. 1С), динамиках ННС 106 (фиг. 1А-1С) и т.п., которые могут быть связаны с графическим дисплеем.

В мире дополненной виртуальной реальности пользователи могут быть представлены аватарами. Каждый аватар в мире дополненной виртуальной реальности может быть однозначно связан с другим пользователем. Имя или псевдоним пользователя 108 может отображаться рядом с аватаром, так что пользователь 108 с легкостью идентифицируется другим пользователем. Взаимодействие пользователя 108 с миром дополненной виртуальной реальности может быть представлено с помощью одного или больше соответствующих действий аватара. Например, когда пользователь 108 выполняет движения головой, аватар выполняет такое же движение головой. В качестве другого примера, когда пользователь 108 выполняет движение рукой, аватар выполняет такое же движение рукой в мире дополненной виртуальной реальности. Разные пользователи могут взаимодействовать друг с другом в общественном пространстве дополненной виртуальной реальности, например, географическом регионе дополненной виртуальной реальности и т.п., с помощью своих аватаров. Аватар, представляющий пользователя 108, может иметь внешний вид, похожий на человека, животное или объект. Аватар в виде человека, может иметь тот же пол, что пользователь 108, или другой пол. Аватар может быть отображен на экране дисплея, например, экране дисплея 266 (фиг. 3), экране дисплея 544 (фиг. 10), экране дисплея ННС 106 (фиг. 1А-1С), экране дисплея вычислительной машины 172 (фиг. 1С) и т.п., так что пользователь 108 может видеть аватар вместе с другими объектами в мире дополненной виртуальной реальности.

В различных вариантах осуществления экран дисплея, например, экран дисплея 266 (фиг. 3), экран дисплея 544 (фиг. 10), экран дисплея ННС 106 (фиг. 1А-1С), экран дисплея вычислительной машины 172 (фиг. 1С) и т.п., может отображать мир дополненной виртуальной реальности с точки зрения аватара, без отображения аватара. Перспектива аватара в мире дополненной виртуальной реальности может рассматриваться как вид виртуальной камеры. Используемый здесь термин «виртуальная камера» относится к точке зрения в мире дополненной виртуальной реальности, которая может быть использована для воспроизведения двумерных изображений трехмерной сцены в мире дополненной виртуальной реальности. Пользователи могут взаимодействовать друг с другом в мире дополненной виртуальной реальности с помощью своих аватаров посредством каналов чата, связанных с каждым «залом ожидания». Пользователи могут вводить текст для беседы с другими пользователями через пользовательский интерфейс. Текст может появляться поверх или рядом с аватаром пользователя, например, в форме диалоговых кружков в стиле комиксов, иногда называемых кружками чата. Такой чат может быть облегчен путем использования стандартной системы фраз чата, иногда называемой «быстрый чат». При «быстром чате» пользователь 108 может выбрать одну или больше фраз чата из меню.

В некоторых вариантах осуществления общественное пространство представляет собой публику в сцене, в которой общественное пространство не однозначно связано с каким-либо конкретным пользователем или группой пользователей, и никакой пользователь или группа пользователей не может исключать другого пользователя из общественного пространства. Частное пространство, напротив, связано с конкретным пользователем среди множества пользователей. Частное пространство является частным в сцене, в которой конкретный пользователь, связанный с частным пространством, может ограничивать доступ в частное пространство других пользователей. Частное пространство может принимать вид привычного частного недвижимого имущества. В других вариантах осуществления пользователям не нужно контролировать аватары, видимые на экране дисплея, например, экране 266 дисплея (фиг. 3), экране 544 дисплея (фиг. 10), экране дисплея ННС 106 (фиг. 1А-1С), экране дисплея вычислительной машины 172 (фиг. 1С), и т.п. Аватары, отображаемые в виртуально пространстве, могут быть ботами, контролируемыми машиной, например, процессором и т.п. Боты аватаров, таким образом, могут двигаться по миру дополненной виртуальной реальности таким же образом, как это делают аватары, контролируемые пользователем 108, однако никакие реальные пользователи фактически не контролируют боты аватаров. Во многих случаях боты аватаров бродят по пространству, принимают меры, отправляют сообщения, назначают права для определенных сообщений, взаимодействуют с другими ботами аватаров или аватарами, контролируемыми реальными пользователями, и т.д. Кроме того, ботам может быть назначено взаимодействие определенным образом, изменение среды, отправка рекламы, отправка сообщений, построение виртуальных пространств, виртуальных задний или создание виртуальных объектов, графическое представление объектов, обмен реальными или виртуальными деньгами и т.п.

В некоторых вариантах осуществления наложение или совмещение является прозрачным, полупрозрачным или непрозрачным. Например, виртуальный объект, который наложен на реальный объект, является прозрачным, полупрозрачным или непрозрачным. В качестве другого примера виртуальная окружающая среда, которая наложена на реальную окружающую среду, является прозрачной, полупрозрачной или непрозрачной.

Описанные в настоящем документе варианты осуществления могут быть осуществлены с помощью различных конфигураций вычислительной системы, включая ручные устройства, микропроцессорные системы, микропроцессорные или программируемые бытовые электронные устройства, миникомпьютеры, универсальные вычислительные машины и т.п. Некоторые описанные в настоящем документе варианты осуществления также могут быть осуществлены в распределенной вычислительной среде, где задачи выполняются с помощью удаленных процессоров, которые связаны с помощью проводной или беспроводной сети.

Имея в виду вышеописанные варианты осуществления, должно быть понятно, что многие варианты осуществления, описанные в настоящем документе, могут использовать различные реализуемые на вычислительной машине операции, включающие данные, сохраняемые в вычислительных системах. Эти операций являются такими, которые требуют физических манипуляций физическими величинами. Какие-либо операции, описанные в настоящем документе, составляющие часть различных вариантов осуществления, описанных в настоящем документе, представляют собой полезные машинные операции. Некоторые варианты осуществления, описанные в настоящем документе, также относятся к устройствам или аппаратам для выполнения данных операций. Устройство может быть специально сконструировано для требуемой цели, или устройство может быть вычислительной машиной, избирательно активированной или настроенной с помощью машинной программы, сохраняемой в вычислительной машине. В частности, различные вычислительные машины могут быть использованы с машинными программами, написанными в соответствии с изложенными здесь принципами, или может быть более удобно создать более специализированное устройство для выполнения требуемых операций.

Различные варианты осуществления, описанные в настоящем документе, также могут быть встроены в качестве машиночитаемого кода на энергонезависимом машиночитаемом носителе данных. Энергонезависимый машиночитаемый носитель данных представляет собой какое-либо устройство для хранения данных, которое может сохранять данные, например, RAM, ROM, флэш-память, диск, и т.п., которые впоследствии могут быть считаны с помощью вычислительной системы. Примеры машиночитаемых носителей включают в себя жесткие диски, устройство хранения данных, подключаемое к сети (network attached storage, NAS), ROM, RAM, компакт диски ROM (CD-ROMs), записываемые компакт-диски (CD-recordables, CD-Rs), перезаписываемые компакт-диски (CD-rewritables, RWs), магнитные ленты и другие оптические и не оптические запоминающие устройства. Энергонезависимый машиночитаемый носитель данных может включать в себя машиночитаемый материальный носитель, распределенный в системе вычислительных машин, соединенной сетью, так что машиночитаемый код сохраняется и выполняется в распределенном виде.

Хотя операции способа были описаны в определенном порядке, должно быть понятно, что другие вспомогательные операции могут быть выполнены между операциями, или операции могут быть скорректированы таким образом, чтобы они происходили в немного разное время, или могли быть распределены в системе, что обеспечивает события операций обработки с различными интервалами, связанными с обработкой, или операции могут быть выполнены в другом порядке, при условии, что обработка операций наложения выполняется желаемым способом.

Хотя вышеуказанные варианты осуществления были описаны довольно подробно с целью ясности понимания, должно быть очевидно, что могут быть осуществлены определенные изменения и модификации в пределах объема прилагаемых пунктов формулы. Соответственно, настоящие варианты осуществления следует рассматривать как иллюстративные, а не ограничивающие, и различные варианты осуществления, описанные настоящем документе, не должны быть ограничены параметрами, указанными у настоящем документе, но могут быть модифицированы в пределах объема и эквивалентов прилагаемых пунктов формулы.