СИСТЕМА БЕСПРОВОДНОЙ СТЫКОВКИ ДЛЯ АУДИО-ВИДЕО

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к хост-устройству для беспроводной стыковки со стыкуемым устройством, при этом хост-устройство выполнено с возможностью рендеринга аудио или видео (AV) данных. Изобретение дополнительно относится к стыкуемому устройству для беспроводной стыковки с хост-устройством, способу и компьютерному программному продукту для беспроводной стыковки между хост-устройством и стыкуемым устройством.

Хост-устройство содержит блок связи хоста для обеспечения беспроводной связи, блок удаленного клиента для предоставления по меньшей мере одной функции AV рендеринга удаленному клиенту для обеспечения рендеринга аудио данных через звуковое устройство или видео данных через экран, и по меньшей мере один блок переноса, выполненный с возможностью обеспечения передачи нисходящего потока первых AV данных к стыкуемому устройству, и приема восходящего потока вторых AV данных, в отношении которых должен быть осуществлен рендеринг, от стыкуемого устройства. Стыкуемое устройство содержит блок связи стыкуемого объекта для обеспечения беспроводной связи, блок удаленного сервера для взаимодействия с блоком удаленного клиента для обеспечения упомянутой функции AV рендеринга, и блок приложения для приема нисходящего потока AV данных и для генерирования восходящего потока AV данных.

Изобретение относится к области беспроводной связи, например, Wi-Fi, и в частности к установке для системы беспроводной стыковки с возможностями рендеринга аудио и/или видео.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Проводные станции стыковки для портативных электронных устройств, как правило, имеют только один физический разъем стыковки для одновременной стыковки одного устройства. Станция стыковки может предоставлять портативному устройству питание и функции периферийного оборудования, которые не обеспечиваются самим устройством, например, (более) большой экран, (более) высокого качества громкоговорители, манипулятор типа мышь и клавиатуру.

Известна беспроводная стыковка, например, из WO 2012/117306 A1. Беспроводная станция стыковки (именуемая хостом) предоставляет мобильному устройству (именуемому стыкуемым объектом) возможность осуществления доступа к его периферийному оборудованию через беспроводную связь между стыкуемым устройством и хост-устройством. Беспроводная станция стыковки позволяет приложениям в стыкуемом устройстве принимать аудио и/или видео (AV) данные. AV данные могут происходить из периферийного оборудования или внешних источников хоста, и пересылаться в направлении стыкуемого устройства в потоке данных, обычно именуемом нисходящим потоком. Приложение в стыкуемом устройстве может добавлять или обрабатывать AV данные, и/или генерировать AV данные, и отправлять поток AV данных хост-устройству, обычно именуемый восходящим потоком.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Из-за беспроводной природы связи системы беспроводной стыковки, доступная полоса пропускания ограничена. Тем не менее, в известных системах беспроводной стыковки, восходящий и нисходящий потоки, содержащие аудио и/или видео данные, переносятся одновременно между хостом и стыкуемым объектом.

Задача изобретения состоит в предоставлении системы для беспроводной стыковки, которая уменьшает требуемую полосу пропускания для AV функций при беспроводной стыковке.

С этой целью система беспроводной стыковки содержит хост-устройство и стыкуемое устройство, как описано в первом абзаце. В соответствии с первым аспектом изобретения, хост-устройство содержит AV маршрутизатор, выполненный с возможностью обработки нисходящего потока и восходящего потока с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока стыкуемому устройству, и замещать по меньшей мере часть вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга. AV маршрутизатор выполнен с возможностью распознавания предварительно определенного шаблона во вторых AV данных, и замещения вторых AV данных, соответствующих упомянутому распознанному шаблону по меньшей мере частью первых AV данных.

С этой целью, в соответствии с дополнительным аспектом изобретения, стыкуемое устройство выполнено с возможностью включения, как части восходящего потока, предварительно определенного шаблона во вторые AV данные. Предварительно определенный шаблон является частью восходящего потока, в силу чего стыкуемое устройство включает предварительно определенный шаблон во вторые AV данные, и AV маршрутизатор выполнен с возможностью распознавания предварительно определенного шаблона во вторых AV данных, и замещения вторых AV данных, соответствующих упомянутому распознанному шаблону по меньшей мере частью первых AV данных. Преимущественно, AV маршрутизатор может вставлять предварительно определенный шаблон в нисходящий поток и замещать возвращаемый шаблон в восходящем потоке исходно предназначенными AV данными.

Упомянутые меры обладают следующим эффектом. Посредством замещения исходных AV данных в первых AV данных нисходящего потока предварительно определенным шаблоном, требуемая полоса пропускания нисходящего потока уменьшается, так как предварительно определенный шаблон переносится, используя меньше видео данных. Также, полоса пропускания, требуемая для восходящего потока, уменьшается, так как предварительно определенный шаблон, который вставляется приложением во вторые AV данные восходящего потока, переносится, используя меньше видео данных. В хост-устройстве, вставленный шаблон замещается исходным видео контентом как предполагается, и результирующие вторые AV данные используются для рендеринга. Преимущественно, объем данных, который требуется перенести через беспроводную связь, уменьшается.

Опционально, AV маршрутизатор выполнен с возможностью приема команд рендеринга от стыкуемого устройства, при этом команды рендеринга указывающие упомянутое замещение по меньшей мере части вторых AV данных по меньшей мере частью первых AV данных. Преимущественно, подсистема AV маршрутизатора может использовать информацию, принимаемую от стыкуемого объекта, в отношении предполагаемого использования контента периферийного оборудования ввода и вывода AV, соединенного со вторым беспроводным устройством, для определения пути маршрутизации, который обладает минимальным дублированием контента, при его отправке туда и обратно между первым и вторым беспроводным устройством.

Опционально, стыкуемое устройство содержит маршрутизатор стыкуемого объекта для маршрутизации и обработки восходящего потока и нисходящего потока в стыкуемом устройстве и для осуществления связи с AV маршрутизатором с тем, чтобы осуществлять обмен командами управления маршрутизацией с тем, чтобы определять AV маршрутизацию, как поддерживаемую хост-устройством.

Опционально, предварительно определенный шаблон включает в себя по меньшей мере одно из следующего:

- видео шаблон с одним цветом фона;

- видео шаблон с одним или более геометрическими объектами;

- видео шаблон с одним цветом переднего плана;

- аудио шаблон в виде тишины;

- аудио шаблон в виде последовательности предварительно определенных звуков;

- временную информацию, и AV маршрутизатор, выполненный с возможностью использования временной информации для определения задержки между отправкой первых данных в нисходящем потоке и приемом вторых AV данных в восходящем потоке, и обеспечения задержки AV контента от устройства ввода AV в соответствии с определенной задержкой перед упомянутым замещением с тем, чтобы синхронизировать AV данные, в отношении которых должен быть осуществлен рендеринг. Преимущественно, посредством выбора шаблона, используя соответствующие вышеприведенные элементы, требуемая полоса пропускания уменьшается и шаблон обеспечивает распознавание AV маршрутизатором.

Дополнительные предпочтительные варианты осуществления устройства и способа в соответствии с изобретением предоставлены в прилагаемой формуле изобретения, раскрытие которой включено в настоящее описание посредством ссылки.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и прочие аспекты изобретения станут очевидны из и дополнительно разъяснены со ссылкой на варианты осуществления, описываемые в качестве примера в нижеследующем описании и со ссылкой на сопроводительные чертежи, на которых

Фигура 1 показывает систему беспроводной стыковки,

Фигура 2 показывает системы стыковки, осуществляющую рендеринг AV данных, как предоставляемых приложением в стыкуемом объекте,

Фигура 3 показывает систему стыковки, осуществляющую рендеринг AV данных через AV маршрутизатор, и

Фигура 4 показывает пример системы беспроводной стыковки с блоком маршрутизатора стыкуемого объекта.

Фигуры являются исключительно схематичными и отрисованы не в масштабе. На Фигурах элементы, которые соответствуют элементам, которые уже описаны, могут иметь те же самые позиционные обозначения.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Теперь рассматривается подробный пример реализации для системы беспроводной стыковки. Беспроводная стыковка является предоставлением возможности портативным или мобильным устройствам (так называемым беспроводным стыкуемым объектам или WD) беспроводного соединения с группой периферийного оборудования таким образом, что приложения на стыкуемом устройстве могут использовать это периферийное оборудование для улучшения восприятия и производительности работы/взаимодействия с этими приложениями. Обеспечение сопряжения с периферийным оборудованием осуществляется посредством так называемого хоста беспроводной стыковки (WDH).

Возможные стыкуемые объекты включают в себя (но не ограничиваются перечисленным) мобильные телефоны, компьютеры класса лэптоп, планшеты, портативные мультимедийные проигрыватели, камеры, электронные часы. Возможные WHS включают в себя (но не ограничиваются перечисленным) назначенные устройства беспроводной станции стыковки, дисплейные устройства, аудио устройства, принтеры, PC. Возможное периферийное оборудование включает в себя (но не ограничивается перечисленным) беспроводные манипуляторы типа мышь, клавиатуры, дисплейные устройства, аудио устройства, веб-камеры, принтеры, запоминающие устройства, USB концентраторы.

Фигура 1 показывает систему беспроводной стыковки. Система известного уровня техники включает в себя хост-устройство 100 для беспроводной связи со стыкуемым устройством 120, например, мобильным телефоном, лэптопом или планшетным компьютером. Стыкуемое устройство 120 подробно описывается ниже. Хост-устройство связано с некоторым количеством периферийного оборудования 110, 111, 112 для рендеринга аудио или видео (AV) данных. Следует отметить, что в данном документе AV данные используются применительно к любому типу видео данных, аудио данных или сочетанию видео и аудио данных. Периферийное оборудование может включать в себя: устройства вывода видео подобные проектору или дисплейному экрану 111; устройства ввода видео подобные камере или веб-камере 110; графические интерактивные устройства подобные сенсорному экрану; устройства ввода/вывода аудио, подобные системе 112 громкоговорителей, головным телефонам и/или микрофону; устройства управления пользователя подобные манипулятору типа мышь, устройству детектирования 3D жеста или блоку управления комнатой; устройства обработки данных, подобные блоку хранения данных и принтеру.

Хост-устройство 100 имеет блок 102 связи хоста для обеспечения упомянутой беспроводной связи, например, блок WiFi, как таковой хорошо известный. Хост-устройство дополнительно имеет процессор 101 стыковки выполненный с возможностью осуществления стыковки по меньшей мере одного стыкуемого устройства. Процесс стыковки беспроводного устройства с хостом беспроводной стыковки (WDH) является процессом создания линии передачи данных через доступный радиоканал такой как WiFi, Беспроводная Последовательная Шина или Bluetooth, как таковой известный как рассматриваемый выше со ссылкой на WO 2012/117306A1. Описание Bluetooth может быть найдено, например, в Техническом Описании Bluetooth, Базовый Пакет версия 2.1 + EDR, изданном: 26 июля 2007 г. Процесс стыковки включает в себя предоставление доступа к одному или более периферийному оборудованию для стыкуемого устройства.

Стыкуемое устройство 120 имеет блок 121 связи стыкуемого объекта для обеспечения упомянутой беспроводной связи с хостом. Стыкуемое устройство дополнительно имеет процессор 122 стыкуемого объекта, выполненный с возможностью осуществления стыковки, в качестве стыкуемого устройства, с хост-устройством для получения доступа к по меньшей мере одному периферийному оборудованию.

При беспроводной стыковке, стыкуемое устройство беспроводным образом соединяется со станцией стыковки (также известной как хост беспроводной стыковки или WDH), для того чтобы подключиться к периферийному оборудованию (например, экрану, клавиатуре), предоставляемому станцией стыковки. Ожидается что устройства поддерживают WiFi, например, версию ‘n’ (как задано в IEEE 802.11n). Тем не менее стандарт WiFi ‘n’ обладает недостатком, который связан с тем, что поддерживаемая скорость передачи данных не достаточно высока для поддержки некоторых случаев использования беспроводной стыковки. Например, для обеспечения плавной игры в видео игры в пристыкованной ситуации на экране высокого разрешения станции стыковки, требуется обеспечение частоты обновления экрана, например, 1280х1920 пикселей с 24 битами на пиксель при 60 Гц: это составляет скорость передачи данных в 3375 Мбит/с, далеко за пределами 300 Мбит/с, обещанных в большинстве усовершенствованных настроек WiFi ‘n’. Кроме того, доступная полоса пропускания, как правило, должна будет совместно использоваться между несколькими экземплярами периферийного оборудования, соединенными с беспроводной станцией стыковки (такими как USB веб-камера, запоминающие устройства или аудио устройства). Одним способом решения проблемы полосы пропускания является использование сжатия (такого как H.264 для сжатия вывода на дисплей). Тем не менее, это увеличивает ресурсы, требуемые в стыкуемом объекте и станции стыковки, увеличивает время ожидания взаимодействия пользователя с периферийным оборудованием I/O, предоставляемым станцией стыковки. Это также уменьшает качество, например, вывода на дисплей. Из-за ограничений на величину сжатия, которая может быть применена, таким образом важно максимально возможно уменьшить объем трафика, требуемого между стыкуемым объектом и хостом стыковки.

Фигура 2 показывает систему стыковки, осуществляющую рендеринг AV данных, как предоставляемых приложением в стыкуемом объекте. Хост 200 беспроводной стыковки известного уровня техники выполнен с возможностью осуществления беспроводной связи со стыкуемым устройством 250, и рендеринга аудио или видео (AV) данных, подобно Фигуре 1 выше. Хост-устройство имеет блок связи хоста для обеспечения упомянутой беспроводной связи, и блок 210 удаленного клиента для предоставления по меньшей мере одной функции AV рендеринга удаленному клиенту, как указывается стрелкой 241. Следует отметить, что блок удаленного клиента и блок удаленного сервера осуществляют связь для обмена данными управления, но предполагается, что видео данные должны передаваться посредством потоковой передачи от стыкуемого объекта к хосту, так называемый восходящий поток. Потоковая передача данных от хоста к стыкуемому объекту именуется нисходящим потоком. Хост-устройство имеет по меньшей мере один блок 211, 212, 213, 214 переноса, выполненный с возможностью обеспечения передачи нисходящего потока первых AV данных к стыкуемому устройству. По меньшей мере один из блоков переноса дополнительно выполнен с возможностью приема восходящего потока вторых AV данных, в отношении которых должен быть осуществлен рендеринг, от стыкуемого устройства.

В примере на фигуре первый блок переноса является блоком 211 вывода видео, связанным с дисплейным экраном 204, который является принимающим восходящий поток видео данных, как указывается стрелкой 242. Второй блок переноса является блоком 212 сетевого ввода/вывода, осуществляющим сопряжение с сетью 230, подобной Интернет, переносящей дополнительный восходящий поток и/или нисходящий поток AV данных. Третий блок переноса является блоком 213 ввода видео, связанным с камерой 201, который передает восходящий поток видео данных, как указывается стрелкой 245. Четвертый блок переноса является блоком аудио, осуществляющим сопряжение с микрофоном 202 для ввода аудио, который передает нисходящий поток аудио данных, как указывается стрелкой 246, и также связан с системой 203 громкоговорителей для вывода аудио для приема восходящего потока аудио данных как указывается стрелкой 244.

Стыкуемое устройство имеет блок 251 удаленного сервера для взаимодействия с блоком 210 удаленного клиента для обеспечения упомянутой функции AV рендеринга. Стыкуемое устройство также имеет блок 252 приложения для приема первого потока AV данных и для генерирования второго потока AV данных на основании первого потока AV данных. На практике блок приложения может быть процессором, выполняющим приложение или так называемую прикладную программу, которая принимает и/или передает аудио и/или видео данные.

Потоковая передача видео высокого разрешения через сетевое соединение может потребовать очень большой полосы пропускания. Как иллюстрируется Фигурой 2, для вывода на дисплей видео контент отправляется от стыкуемого объекта к станции стыковки с тем, чтобы позволить станции стыковки осуществить рендеринг его на соединенном периферийном оборудовании дисплея. Если периферийное оборудование камеры соединено со станцией стыковки, видео контент может быть отправлен от станции стыковки к стыкуемому объекту. Обычно, вывод веб-камеры вставляется приложением стыкуемого объекта в вывод видео как часть интерфейса пользователя без дальнейшей обработки. Если дисплей, соединенный со станицей стыковки, используется для рендеринга интерфейса пользователя, это означает, что видео контент от веб-камеры, должен передаваться в восходящем и нисходящем потоке от станции стыковки к стыкуемому объекту и обратно, с тем чтобы обеспечить отображение его на мониторе, тем самым используя излишнюю полосу пропускания.

Система, описываемая ниже, может быть использована в устройствах беспроводной стыковки для уменьшения используемой полосы пропускания, посредством уменьшения полосы пропускания восходящей линии связи, и уменьшения полосы пропускания нисходящей линии связи для данной ситуации, и возможно также других ситуаций.

Фигура 3 показывает систему стыковки, осуществляющую рендеринг AV данных через AV маршрутизатор. Подобно Фигуре 2 хост 300 беспроводной стыковки выполнен с возможностью осуществления беспроводной связи со стыкуемым устройством 250. Хост-устройство имеет AV маршрутизатор 300, выполненный с возможностью обработки восходящего потока и нисходящего потока с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока стыкуемому устройству, и замещения по меньшей мере части вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга.

В примере на фигуре хост имеет точно такой же блок переноса как и хост-устройство 200 на Фигуре 2. Хост-устройство 300 дополнительно имеет AV маршрутизатор 300, выполненный с возможностью обработки нисходящего потока и восходящего потока с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока к стыкуемому устройству, и замещать по меньшей мере часть вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга. Теперь блок 211 вывода видео является принимающим обработанный поток видео данных через AV маршрутизатор, как указывается стрелкой 342. Блок 212 сетевого ввода/вывода является переносящим дополнительный восходящий поток и/или нисходящий поток 343 AV данных после обработки через AV маршрутизатор. Блок 213 ввода видео является передающим, через AV маршрутизатор, нисходящий поток видео данных, как указывается стрелкой 345. Блок 214 аудио является передающим, через AV маршрутизатор, нисходящий поток аудио данных, как указывается стрелкой 345, и является принимающим, через AV маршрутизатор, восходящий поток аудио данных, как указывается стрелкой 344.

Главным элементом изобретения является система, состоящая из первого беспроводного устройства, исполняющего одно или более приложения, при этом беспроводное устройство соединенное со вторым беспроводным устройством, которое соединено с одним или более периферийным оборудованием ввода AV, и одним или более периферийным оборудованием вывода AV, посредством чего система может автоматически определять путь маршрутизации на основании контента, исходящего от периферийного оборудования ввода AV, и контента, доставляемого к периферийному оборудованию вывода AV, с минимальным дублированием контента, при его отправке туда и обратно между первым и вторым беспроводным устройством.

В варианте осуществления система состоит из первого беспроводного устройства, обычно стыкуемого объекта, и второго беспроводного устройства, обычно стационарного, подобного PC. Второе беспроводное устройство соединено с по меньшей мере одним периферийный оборудованием аудиовизуального ввода и периферийным оборудованием аудиовизуального вывода и имеет подсистему AV маршрутизатора с блоком обработки, с которой связано периферийное оборудование ввода и вывода. Подсистема управляет рендерингом аудиовизуального контента, принимаемого непосредственно от периферийного оборудования ввода AV или внешнего источника (например, домашней сети/Интернет), на периферийном оборудовании вывода AV, соединенном со вторым беспроводным устройством.

Опционально, AV маршрутизатор может использовать инструкции рендеринга (например, зону экрана), предоставляемые стыкуемым устройством. Подсистема AV маршрутизатора может использовать информацию, принимаемую от стыкуемого объекта, в отношении предполагаемого использования контента периферийного оборудования ввода и вывода AV, соединенного со вторым беспроводным устройством, для определения пути маршрутизации, который обладает минимальным дублированием контента, при его отправке туда и обратно между первым и вторым беспроводным устройством.

Опционально, AV маршрутизатор выполнен с возможностью приема команд рендеринга от стыкуемого устройства, например, от блока удаленного сервера. Команды рендеринга могут быть указывающими замещение по меньшей мере части вторых AV данных по меньшей мере частью первых AV данных. Команды рендеринга могут включать в себя команды видео рендеринга, такие как

- команду, указывающую зону экрана для рендеринга первых AV данных;

- команду, указывающую зону первых AV данных, в отношении которых должен быть осуществлен рендеринг на экране;

- команду, указывающую AV шаблон во вторых AV данных, указывающий зону рендеринга;

- команду, указывающую опорную точку для рендеринга первых AV данных;

- команду, указывающую визуальный маркер, который должен быть детектирован во вторых AV данных для позиционирования первых AV данных;

- команду, указывающую индикатор для выбора предварительно заданного местоположения для рендеринга первых AV данных.

Опционально, инструкции рендеринга, как предоставляемые стыкуемым устройством, включают в себя одно или более из следующего: кодек сжатия для применения, набор фильтров для применения, параметры уменьшения качества для применения, трансформацию для применения, параметры синхронизации/ хронометража для применения.

Кроме того, команды рендеринга могут включать в себя команды графического рендеринга, такие как

- команду, указывающую графический элемент, в отношении которого должен быть осуществлен рендеринг;

- команду, указывающую местоположение рендеринга графического элемента;

- команду, указывающую указание времени для начала, остановки или временного отображения графического элемента;

- команду, указывающую графический интерфейс пользователя для обеспечения взаимодействия с пользователем;

- команду, указывающую графический элемент управления для обеспечения управления через действие пользователя.

Такие команды графического рендеринга могут относиться к выводу на дисплей, т.е. выводу на дисплей, показывающему интерфейс пользователя приложения(й), исполняемого на стыкуемом объекте. Такой вывод на дисплей отправляется от стыкуемого устройства к хост-устройству, чтобы быть отображенным на устройстве вывода A/V одновременно с A/V контентом с измененным маршрутом от устройства ввода A/V.

Кроме того, команды рендеринга могут включать в себя команды аудио рендеринга, такие как

- команду, указывающую коэффициент усиления для рендеринга аудио данных первых AV данных;

- команду, указывающую коэффициент микширования для рендеринга сочетания аудио данных первых AV данных и аудио данных вторых AV данных.

На практике, инструкции рендеринга могут дополнительно включать в себя одно или более из следующего: набор координат, маску, цветовой ключ, назначенные команды (например, в рамках протокола удаленного дисплея), опорную точку, визуальный маркер, предварительно определенное местоположение, пиктограмму, громкость аудио, и т.д. Кроме того, инструкции рендеринга могут быть даны в отношении структуры вывода на дисплей, т.е. вывода на дисплей, показывающего интерфейс пользователя приложения(й), работающего на первом беспроводном устройстве. Структура отображения отправляется от стыкуемого объекта к хосту, чтобы быть отображенной на устройстве вывода A/V одновременно с A/V контентом от устройства ввода A/V, как перехваченным AV маршрутизатором.

Опционально, инструкции рендеринга включают в себя инструкции распознавания, и хост-устройство обрабатывает аудиовизуальный контент, предоставляемый периферийный оборудованием ввода A/V на основании инструкций распознавания, предоставляемых первым беспроводным устройством, и может отправлять результаты обработки стыкуемому объекту. Инструкции распознавания могут включать в себя одно или более из следующего: распознавание изображения, распознавание текста, распознавание речи, распознавание движения. Опционально, результаты обработки, предоставляемые хостом, включают в себя одно или более из следующего: письменный текст (распознанный как часть контента, исходящего от периферийного оборудования ввода A/V), URL/URI, строку идентификатора, пиктограмму, идентификацию действия.

Опционально, система состоит из беспроводного стыкуемого устройства и беспроводного хост-устройства. Хост может быть соединен, через Wi-Fi или Ethernet, с одним или более внешними источниками (например, домашней сетью/Интернет). AV маршрутизатор управляет рендерингом аудиовизуального контента, принимаемого от внешнего источника, например, на периферийном оборудовании вывода A/V.

Опционально, AV маршрутизатор выполнен с возможностью распознавания предварительно определенного шаблона только в структурированной зоне полноэкранного вывода на дисплей, и замещения вторых AV данных в структурированной зоне на соответствующий объем первых AV данных. Кроме того, AV маршрутизатор может быть выполнен с возможностью распознавания в структурированной зоне, масштабирования и/или обрезки предварительно определенного шаблона, обработки первых AV данных, соответствующих масштабированию и/или обрезке, и замещения вторых AV данных в структурированной зоне соответствующим объемом обработанных первых AV данных.

На практике, аудиовизуальный шаблон также может указывать зону рендеринга, в то время как генерируется стыкуемым устройством известным образом, так что может быть распознана хост-устройством. Шаблон может быть сгенерирован хост-устройством и вставлен в качестве видео данных в нисходящий поток. В силу того, что стыкуемое устройство также включает тот шаблон в вывод на дисплей, шаблон становится частью восходящего потока и может быть распознан хост-устройством.

Опционально, хост-устройство генерирует шаблон, который отправляется стыкуемому устройству как часть A/V контента; в сущности, хост-устройство использует шаблон, как возвращаемый в восходящем потоке, в качестве части инструкции рендеринга, отправленной от стыкуемого устройства в отношении того, каким образом отображать исходный контент от устройства ввода A/V хоста. Использование такого шаблона является преимущественным поскольку система достигает оптимизации пропускной способности A/V без модификации стыкуемого устройства. Традиционные системы удаленного рабочего стола потребуют приложения для отправки дополнительных координат и информации масштабирования устройству рендеринга. Приложение стыкуемого объекта реплицирует принятый шаблон, как это было бы при приеме видео потока. Кроме того, выбор подходящего шаблона обеспечивает возможность высокого сжатия A/V потока при его отправке туда и обратно между первым и вторым беспроводным устройством. Например, шаблон содержит по меньшей мере одно из следующего: черный фон; один или более белые квадраты или прямоугольники, возможно разных размеров для детектирования масштабирования и/или обрезки шаблона. Следовательно, шаблон может указывать позицию A/V контента, и то, масштабируется и/или обрезается или нет видео посредством сравнения шаблона исходно отправленного от устройства рендеринга отправляющему устройству, и шаблона, принимаемого обратно от стыкуемого устройства во вторых видео данных.

Опционально, шаблон, генерируемый вторым беспроводным устройством, включает в себя временную информацию, которую второе беспроводное устройство использует для определения задержки, с которой требуется чтобы в отношении A/V контента от устройства ввода A/V был осуществлен рендеринг на устройстве вывода A/V с тем, чтобы он был синхронизирован с выводом на дисплей, который отправляется от первого беспроводного устройства на второе беспроводное устройство.

В дополнительном варианте осуществления система является системой беспроводной стыковки, при этом второе беспроводное устройство является беспроводной станцией стыковки, а первое беспроводное устройство является портативным устройством (именуемым беспроводным стыкуемым объектом), стыкуемым с беспроводной станцией стыковки.

Опционально, команды рендеринга, как отправляемые стыкуемым устройством, включают в себя информацию о дополнительных потоках, с которыми AV данные в восходящем потоке должны быть мультиплексированы, или указание внешнего источника или места назначения для первых и/или вторых AV данных. Инструкции могут включать в себя одно или более из следующего: URL, URI, идентификатор USB устройства, место назначения SAMBA/CIFS/NFS/ WEBDAV, адрес Skype, адрес электронной почты, адрес IMS/SIP, место назначения потоковой передачи (RTP). Опционально, хост-устройство может переносить вторые AV данные в место назначения через сеть, подобную Интернет. Аудиовизуальный контент, предоставляемый периферийным оборудованием ввода A/V, может быть обработан перед отправкой его в место назначения, указываемое первым беспроводным устройством, используя инструкции, предоставляемые первым беспроводным устройством, например, кодек сжатия для применения. Например, аудиовизуальный контент, который отправляется в место назначения, используя инструкции, предоставляемые стыкуемым объектом, и аудиовизуальный контент, который принимается от внешнего источника, например, сервера Интернет, хостом может быть упакован в безопасный протокол, такой как Skype. Хост может реализовывать безопасный протокол. Стыкуемый объект будет предоставлять необходимую информацию, такую как URL места назначения, хосту для настройки протокольного соединения. Хост может осуществлять маршрутизацию аудиовизуального контента на основании информации сетевого соединения, доступной в стыкуемом объекте, например, порта TCP/IP и типа протокола.

Опционально, хост-устройство реализует сервер безопасного протокола, состоящий из двух приемопередатчиков безопасного протокола, и при этом стыкуемый объект отвечает за настройку соединения с требуемым местом назначения, например, сервером в Интернет. В среде беспроводной стыковки, как правило, весь сетевой трафик, происходящий от стыкуемого устройства, будет проходить через хост-устройство, так что стыкуемое устройство имеет возможность перехвата настройки соединения и осуществления маршрутизации соединения к первому приемопередатчику безопасного протокола для настройки безопасного соединения с первым беспроводным устройством. Информация соединения, принимаемая первым приемником безопасного протокола, используется хостом для настройки нового соединения с помощью второго приемопередатчика безопасного протокола с исходным местом назначения, которое было принято от стыкуемого объекта. Первый приемопередатчик безопасного протокола может быть соединен со вторым приемопередатчиком безопасного протокола посредством внешней шины, по которой аудиовизуальный контент не шифруется. По приему аудиовизуального контента через одно из соединений безопасного протокола, второе беспроводное устройство замещает аудиовизуальный контент контентом из соединенного периферийного оборудования аудиовизуального ввода перед повторной передачей посредством дополняющего приемопередатчика безопасного протокола.

Опционально, хост-устройство реализует общий безопасный протокол, управление которым может осуществляться стыкуемым объектом, такой как HTTPS. Стыкуемый объект отвечает за настройку соединения с требуемым местом назначения. После создания соединения с требуемым местом назначения первое беспроводное устройство отправляет информацию безопасного соединения (например, ключ шифрования) второму беспроводному устройству, совместно с инструкциями (например, дескриптором SDP) в отношении того, каким образом настраивать аудиовизуальный поток (например, RTP), который может быть сделан безопасным, используя информацию безопасного соединения, принятую от стыкуемого объекта.

Опционально, стыкуемое устройство имеет подсистему, которая осуществляет связь в отношении информации с беспроводным хост-устройством, например, с AV маршрутизатором, касательно периферийного оборудования ввода и вывода AV и внешних источников, соединенных с беспроводным хост-устройством, для определения пути маршрутизации стыкуемого объекта, который обладает минимальным дублированием контента при его отправке туда и обратно между беспроводным хост-устройством и стыкуемым устройством. Такая подсистема стыкуемого объекта именуется маршрутизатором стыкуемого объекта.

Фигура 4 показывает пример системы беспроводной стыковки с блоком маршрутизатора стыкуемого объекта. На фигуре хост имеет те же самые блоки 211, 212, 213, 214 переноса и периферийное оборудование 201, 202, 203, 204 как хост-устройство 200 на Фигуре 2, и стыкуемый объект имеет точно такой же блок 251 удаленного сервера для взаимодействия с блоком 210 удаленного клиента и блок 252 приложения как и стыкуемое устройство 250 на Фигуре 2. Подобно Фигуре 3 хост 400 беспроводной стыковки выполнен с возможностью осуществления беспроводной связи со стыкуемым устройством 450. Хост-устройство имеет AV маршрутизатор 410, выполненный с возможностью обработки восходящего потока 442 и нисходящего потока 441 с тем, чтобы замещать первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока, как модифицированного стыкуемому устройству. Стыкуемое устройство имеет маршрутизатор 460 стыкуемого объекта для осуществления маршрутизации и обработки восходящего потока и нисходящего потока в стыкуемом устройстве. AV маршрутизатор 410 дополнительно выполнен с возможностью обработки нисходящего потока и восходящего потока с тем, чтобы замещать по меньшей мере часть вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга.

В практическом примере, приложение в блоке 252 приложения стыкуемого объекта может желать использовать веб-камеру 201, микрофон 202, дисплей 204 и громкоговоритель(и) 203 и Интернет соединение 230 хоста 400 стыковки для настройки видео-конференции. На Фигуре 4, стыкуемый объект 400 стыкуется с хостом 400 стыковки. Как часть процедуры стыковки стыкуемый объект и хост стыковки осуществляют обмен упакованными в xml данными возможности/запроса услуги, которые могут включать в себя команды управления маршрутизацией, по которым AV маршрутизатор 410 и/или маршрутизатор 460 стыкуемого объекта может определять возможности оптимизации AV пропускной способности, поддерживаемые хостом стыковки. После того как стыкуемый объект определил, что хост стыковки поддерживает требуемые возможности периферийного оборудования, стыкуемый объект в данном примере будет запрашивать у хоста стыковки предоставление дисплея 204 для воспроизведения видео, веб-камеры 201 для записи видео, микрофона 202 для записи аудио и громкоговорителя(ей) 203 для воспроизведения аудио. Маршрутизатор стыкуемого объекта может осуществлять связь с AV маршрутизатором стыковки для создания маршрутизации аудио и видео от устройств ввода AV непосредственно к устройствам вывода AV, и взамен вставку предварительно определенного шаблона в нисходящий поток. Маршрутизация может быть основана на приеме, посредством маршрутизатора стыкуемого объекта, событий системы, которые указывают на то, что приложение желает использовать доступные аудио и видео ресурсы. По приему, AV маршрутизатором, запроса от маршрутизатора стыкуемого объекта хост стыковки будет выделять запрошенное периферийное оборудование стыкуемому объекту и конфигурировать A/V маршрутизатор для осуществления маршрутизации видео от веб-камеры и/или видео из интернет соединения непосредственно на дисплей, и осуществлять маршрутизацию аудио от микрофона непосредственно в интернет соединение, а аудио, происходящее из интернет соединения, непосредственно на громкоговоритель(и). Маршрутизатор стыкуемого объекта может предоставлять виртуальный драйвер 461 веб-камеры приложению стыкуемого объекта с тем, чтобы предоставлять первый видео шаблон 444 и/или виртуальный внешний AV драйвер для генерирования потока со вторым видео шаблоном 445, оба из которых могут использоваться в приложении. Видео шаблоны могут быть предоставлены и/или управление ими может осуществляться через предварительно определенный шаблон как указывается в нисходящем потоке 441 в первых AV данных, которые замещают исходные видео данные, как вставленные AV маршрутизатором 410.

Когда, в примере, приложение запускается на стыкуемом объекте, интернет соединение может быть создано с удаленным сайтом, также выполняющим приложение видео-конференции. AV маршрутизатором осуществляется маршрутизация AV потока, происходящий от удаленного интернет ресурса, например, захватывается в аудио видео мультиплексор и мультиплексируется с Выводом 443 Удаленного Рабочего Стола, происходящим от стыкуемого объекта. Интерфейс пользователя приложения, содержащий видео данные 447 и/или аудио данные 446, и еще содержащий упомянутые предварительно определенные видео или аудио шаблоны из вышеупомянутых виртуальных драйверов, является, совместно с дополнительным контентом рабочего стола, который переносится через восходящий поток к хосту стыковки, например, восходящим потоком 443 через блок 251 сервера удаленного рабочего стола и блок 210 клиента удаленного рабочего стола, или в качестве отдельного AV восходящего потока 442.

Любые видео данные от блока 213 ввода видео переадресовываются AV маршрутизатору. AV маршрутизатор определяет местоположение первого видео шаблона и/или второго видео шаблона во вторых AV данных, например, используя детектор 411 видео шаблона. Местоположение одного или более видео шаблонов, как детектировано, обрабатывается для вставки соответствующего видео контента, происходящего от веб-камеры и/или видео контента, происходящего от внешнего A/V источника, в видео контент для дисплея 204 в местоположения, принимаемые от детектора 411 видео шаблона, например, через аудио видео мультиплексор. Результирующий мультиплексированный видео контент затем переадресовывается дисплею 204. Аудио, происходящее от внешнего AV источника, через сеть 230 переадресовывается через аудио блок 214 громкоговорителю(ям) 203 для воспроизведения. В заключении, осуществляется рендеринг ввод аудио от блока 213 ввода аудио и микрофона во внешний A/V поток.

В вышеприведенном примере, видео контент от веб-камеры, внешний видео контент, аудио от микрофона и внешнее аудио более не переносятся к стыкуемому объекту, а вместо этого непосредственно обрабатываются хостом стыковки через AV маршрутизатор, тем самым экономя полосу пропускания по беспроводному соединению. Вместо этого, по беспроводному соединению, переносится предварительно определенный шаблон. Даже используя стыкуемый объект и приложения, которые не осведомлены о маршрутизации и замещении AV данных, система достигает улучшения полосы пропускания посредством надлежащего выбора предварительно определенного шаблона для видео и/или аудио. Упомянутый шаблон, где присутствует в восходящем потоке, замещается исходным видео и/или аудио. В дополнение, может быть осуществлен обмен дополнительными командами маршрутизации и/или рендеринга со стыкуемым объектом, содержащим маршрутизатор стыкуемого объекта, с тем, чтобы дополнительно улучшить процесс замещения, и/или уменьшить объем данных предварительно определенного шаблона в нисходящем потоке.

В практических вариантах осуществления, предварительно определенный шаблон может включать в себя различные элементы. В основном, шаблон выбирается с тем, чтобы требовать небольшой полосы пропускания при передаче, обычно сжимаемый функцией видео сжатия. Подходящий пример шаблона может иметь один цвет фона, например, черные или с нулевой интенсивностью пиксели. Данный фон может составлять предварительно определенный шаблон. Тем не менее, например, чтобы избежать того, что приложение ведет себя так, как если бы отсутствовало соединенное видео, предварительно определенный видео шаблон может иметь один или более объекты, например, геометрические объекты, подобные диску, квадрату или прямоугольнику. Несколько объектов могут быть показаны в предварительно определенной компоновке, например, с разными размерами. Такие объекты или компоновки позволяют AV маршрутизатору детектировать то, были ли и где вставлены части исходного видео, и было ли оно отмасштабировано или обрезано, так как шаблон будет отмасштабирован/обрезан приложением перед вставкой во вторые AV данные с тем, чтобы позволить AV маршрутизатору в хосте детектировать как зону, охватываемую шаблоном, так и масштабирование и/или обрезку. Также, шаблон может иметь элементы с одним цветом переднего плана, или компоновку элементов с разными предварительно определенными цветами. Следует отметить, что словосочетание предварительно определенный в данном контексте означает лишь то, что AV маршрутизатор осведомлен о шаблоне, который вставляется в первые AV данные, с тем чтобы иметь возможность детектирования возвращаемого шаблона во вторых AV данных. Также предварительно определенный шаблон может включать в себя аудио шаблон в виде тишины, который легко замещается, поскольку он может быть проигнорирован и вытеснен вставкой исходного аудио. Также, шаблон может включать в себя аудио шаблон в виде последовательности предварительно определенных звуков. Это может быть, например, синусоидальной волной или шаблоном в виде щелчков, которые могут быть удалены посредством согласованного фильтра в AV маршрутизаторе перед добавлением исходного звука. Также, может быть детектирована сила звуковых элементов с тем, чтобы обеспечить управление уровнем звука при микшировании исходного звука от микрофона 202 и звука, генерируемого приложением в стыкуемом устройстве. Некоторый предварительно определенный звуковой элемент также может быть вставлен на основании фактического ввода звука с тем, чтобы обеспечить зависимые от звука функции приложения, подобные детектированию речи и управлению уровнем звука.

Опционально, предварительно определенный шаблон может включать в себя временную информацию, такую как постепенное или ступенчатое изменение шаблона, размера, цвета или количества элементов, и т.д. AV маршрутизатор может быть выполнен с возможностью использования временной информации для определения задержки между отправкой первых данных в нисходящем потоке и приемом вторых AV данных в восходящем потоке, и обеспечения задержки AV контента от устройства ввода AV в соответствии с определенной задержкой перед упомянутым замещением с тем, чтобы синхронизировать AV данные в отношении которых должен быть осуществлен рендеринг.

Способ беспроводной стыковки между хост-устройством и стыкуемым устройством основан на беспроводной связи между хост-устройством и одним или более стыкуемыми устройствами. Хост-устройство и мобильное устройства являются такими, как описаны выше. Способ включает в себя этапы, на которых: обрабатывают нисходящий поток и восходящий поток с тем, чтобы заместить первые AV данные предварительно определенным шаблоном перед передачей нисходящего потока стыкуемому устройству, и заместить по меньшей мере часть вторых AV данных по меньшей мере частью первых AV данных после приема восходящего потока от стыкуемого устройства и перед рендерингом через упомянутую функцию AV рендеринга.

Несмотря на то, что изобретение главным образом было объяснено посредством вариантов осуществления, использующих беспроводную стыковку, изобретение также пригодно для любой беспроводной системы, в которой беспроводным устройствам требуется соединяться с, или совместно использовать, одно или более аудио и/или видео периферийное оборудование. Следует отметить, что изобретение может быть реализовано в аппаратном обеспечении и/или в программном обеспечении, используя программируемые компоненты.

Следует иметь в виду, что вышеприведенное описание для ясности описывало варианты осуществления изобретения со ссылкой на разные функциональные блоки и процессоры. Тем не менее, будет очевидно, что любое подходящее распределение функциональных возможностей между разными функциональными блоками или процессорами может быть использовано, не отклоняясь от изобретения. Например, функциональные возможности, иллюстрируемые как выполняемые отдельными блоками, процессорами или контроллерами, могут быть выполнены одним и тем же процессором или контроллерами. Следовательно, ссылки на конкретные функциональные блоки, должны рассматриваться только как ссылки на подходящие средства для обеспечения описываемых функциональных возможностей, нежели как указывающие строгую логическую или физическую структуру или организацию. Изобретение может быть реализовано в любой приемлемой форме, включая аппаратное обеспечение, программное обеспечение, встроенное программное обеспечение или любое сочетание этого.

Следует отметить, что в данном документе слово ‘содержащий’ не исключает присутствия элементов или этапов отличных от тех, что перечислены и формы единственного числа относящиеся к элементу, не исключают присутствия множества таких элементов, что любые ссылочные знаки не ограничивают объем формулы изобретения, что изобретение может быть реализовано посредством как аппаратного, так и программного обеспечения, и что несколько ‘средств’ или ‘блоков’ могут быть представлены одним и тем же элементом аппаратного или программного обеспечения, и процессор может исполнять функцию одного или более блоков, возможно при взаимодействии с элементами аппаратного обеспечения. Кроме того, изобретение не ограничивается вариантами осуществления, и изобретение заключено в каждом новом признаке или сочетании признаков, описанных выше, или сформулированных во взаимно различных зависимых пунктах формулы изобретения.