Результат интеллектуальной деятельности: Способ и устройство для выполнения синхронизации мультимедийных данных

Настоящая заявка ссылается на приоритет заявки на патент Китайской Народной Республики №201510717967.6, на которой она основана и которая была зарегистрирована 29 октября 2015 года. При этом содержимое упомянутой заявки полностью включено в настоящий документ путем ссылки.

Область техники

[0001] Настоящее изобретение относится к области связи, а именно к способу и устройству для выполнения синхронизации мультимедийных данных.

Предпосылки создания изобретения

[0002] Под составным телевизором в общем случае понимают систему, которая разделена на независимые друг от друга подсистему отображения, подсистему обработки сигналов и звуковую систему, что идет вразрез со структурой и стилем проектирования традиционных телевизоров, в которых эти три подсистемы объединены в единое целое. К примеру, составной телевизор может состоять из дисплейного терминала телевизора, хост-машины телевизора и громкоговорителя телевизора. Однако вследствие особенностей конструкции составного телевизора, когда при помощи телевизора воспроизводят мультимедийный файл, может возникать проблема рассинхронизации мультимедийных данных по причине нестабильной беспроводной передачи.

Сущность изобретения

[0003] В целях преодоления недостатков, имеющихся на существующем уровне техники, в настоящем изобретении предложены способ и устройство для выполнения синхронизации мультимедийных данных.

[0004] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предложен способ выполнения синхронизации мультимедийных данных. Способ включает:

[0005] извлечение первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;

[0006] динамический контроль задержки беспроводной передачи первого мультимедийного файла; и

[0007] адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[0008] Опционально, динамический контроль задержки беспроводной передачи первого мультимедийного файла включает:

[0009] выбор ключевого кадра из первого мультимедийного файла;

[0010] передачу выбранного ключевого кадра на сторону беспроводного вывода согласно последовательности кадров и запись момента времени передачи ключевого кадра; и

[0011] прием момента времени приема ключевого кадра, отчет о котором передан со стороны беспроводного вывода, и вычисление задержки беспроводной передачи ключевого кадра на основе упомянутых момента времени приема и момента времени передачи, с целью динамического контроля задержки передачи первого мультимедийного файла.

[0012] Опционально, выбор ключевого кадра из первого мультимедийного файла включает:

[0013] выбор ключевого кадра из первого мультимедийного файла на основе заранее заданного интервала кадров.

[0014] Опционально, в выбранный ключевой кадр заранее добавляют заранее заданную метку, при этом заранее заданная метка сконфигурирована для обеспечения передачи отчета, со стороны беспроводного вывода, о моменте времени приема ключевого кадра.

[0015] Опционально, адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на основе контролируемой задержки беспроводной передачи первого мультимедийного файла включает:

[0016] передачу второго мультимедийного файла, с задержкой, на сторону локального вывода на основе вычисленной задержки беспроводной передачи первого мультимедийного файла с целью адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода.

[0017] Опционально, способ дополнительно включает:

[0018] периодическое выполнение тактовой синхронизации со стороной беспроводного вывода.

[0019] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения предложено устройство для выполнения синхронизации мультимедийных данных. Устройство включает:

[0020] модуль извлечения, сконфигурированный для извлечения первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;

[0021] модуль контроля, сконфигурированный для динамического контроля задержки беспроводной передачи первого мультимедийного файла; и

[0022] модуль регулирования, сконфигурированный для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе задержки беспроводной передачи первого мультимедийного файла, контролируемой при помощи модуля контроля, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[0023] Опционально, модуль контроля включает:

[0024] подмодуль выбора, сконфигурированный для выбора ключевого кадра из первого мультимедийного файла;

[0025] подмодуль передачи, сконфигурированный для передачи выбранного ключевого кадра на сторону беспроводного вывода согласно последовательности кадров, и для записи момента времени передачи ключевого кадра; и

[0026] подмодуль приема, сконфигурированный для приема момента времени приема ключевого кадра, отчет о котором был передан со стороны беспроводного вывода; и

[0027] вычислительный подмодуль, сконфигурированный для вычисления задержки беспроводной передачи ключевого кадра на основе момента времени приема, принятого подмодулем приема, и упомянутого момента времени передачи, с целью динамического контроля задержки передачи первого мультимедийного файла.

[0028] Опционально, подмодуль выбора включает:

[0029] блок выбора, сконфигурированный для выбора ключевого кадра из первого мультимедийного файла на основе заранее заданного интервала кадров.

[0030] Опционально, в выбранный ключевой кадр заранее добавляют заранее заданную метку, при этом заранее заданная метка сконфигурирована для обеспечения передачи отчета, со стороны беспроводного вывода, о моменте времени приема ключевого кадра.

[0031] Опционально, модуль регулирования включает:

[0032] подмодуль передачи, сконфигурированный для передачи второго мультимедийного файла, с задержкой, на сторону локального вывода на основе вычисленной задержки беспроводной передачи первого мультимедийного файла, вычисленной при помощи вычислительного подмодуля, с целью адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода.

[0033] Опционально, модуль контроля дополнительно включает:

[0034] подмодуль синхронизации, сконфигурированный для периодического выполнения тактовой синхронизации со стороной беспроводного вывода.

[0035] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предложено устройство, которое применяют при синхронизации мультимедийных данных. Устройство включает:

[0036] процессор; и

[0037] память для хранения инструкций, исполняемых процессором;

[0038] при этом процессор сконфигурирован:

[0039] для извлечения первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;

[0040] для динамического контроля задержки беспроводной передачи первого мультимедийного файла; и

[0041] для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[0042] Технические решения, предложенные в вариантах осуществления настоящего изобретения, позволяют получить следующие полезные результаты:

[0043] В соответствии с вариантами осуществления настоящего изобретения первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, извлекают из воспроизводимого мультимедийного файла, динамически контролируют задержку беспроводной передачи первого мультимедийного файла, и адаптивно регулируют временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла. Таким образом, может быть исключена проблема рассинхронизации при воспроизведении мультимедийных файлов на стороне беспроводного вывода и на стороне локального вывода вследствие задержек беспроводной передачи, формируемых на стороне беспроводного вывода в ходе воспроизведения мультимедийного файла на устройстве составного типа, что позволяет улучшить пользовательское восприятие.

[0044] Нужно понимать, что приведенное выше общее описание и подробное описание, приведенное ниже, являются исключительно иллюстративными и пояснительными, и не ограничивают настоящее изобретение.

Краткое описание чертежей

[0045] На приложенных чертежах, которые входят в состав настоящего описания и являются его неотъемлемой частью, проиллюстрированы варианты осуществления, соответствующие настоящему изобретению. Приложенные чертежи, вместе с описанием, служат для разъяснения замысла настоящего изобретения.

[0046] Фиг. 1 представляет собой пример эскизной блок-схемы алгоритма, иллюстрирующей способ выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0047] Фиг. 2 представляет собой пример эскизной блок-схемы алгоритма, иллюстрирующей другой способ выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0048] Фиг. 3 представляет собой эскизную блок-схему, иллюстрирующую устройство для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0049] Фиг. 4 представляет собой эскизную блок-схему, иллюстрирующую другое устройство для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0050] Фиг. 5 представляет собой эскизную блок-схему, иллюстрирующую еще одно устройство для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0051] Фиг. 6 представляет собой эскизную блок-схему, иллюстрирующую еще одно устройство для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0052] Фиг. 7 представляет собой эскизную блок-схему, иллюстрирующую еще одно устройство для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[0053] Фиг. 8 представляет собой структурную блок-схему, иллюстрирующую устройство, которое используют при синхронизации мультимедийных данных в соответствии с одним из примеров осуществления настоящего изобретения.

Подробное описание изобретения

[0054] Далее настоящее изобретение будет описано более подробно с помощью конкретных примеров его осуществления, которые проиллюстрированы на приложенных чертежах. В приведенном ниже описании осуществляются ссылки на приложенные чертежи, где, если не указано обратное, аналогичными обозначениями на различных чертежах обозначены одинаковые или аналогичные элементы. Реализации примеров осуществления настоящего изобретения, рассмотренные в приведенном ниже описании, не являются всеми возможными реализациями, соответствующими настоящему изобретению. Напротив, они являются исключительно примерами устройств и способов, соответствующих настоящему изобретению, которое определено приложенной формулой изобретения.

[0055] Используемая в настоящем документе терминология предназначена исключительно для разъяснения конкретных вариантов осуществления изобретения и не должна рассматриваться как ограничивающая настоящее изобретение. В настоящем описании, а также в приложенной формуле изобретения, такие выражения, как «один», «один из» и «упомянутый» в единственном числе подразумевают также включение означаемых во множественном числе, если только из контекста очевидно не следует обратное. Нужно также понимать, что выражение «и/или» в настоящем документе понимается как обозначающее и включающие любые, или все возможные, комбинации из одного или более соответствующих элементов, перечисленных таким образом.

[0056] В настоящем документе для описания различной информации могут использоваться выражения «первый», «второй», «третий» и т.п. Однако следует понимать, что описываемая информация не ограничена этими терминами. Данные термины используются исключительно в целях различения одних типов информации от других. К примеру, в пределах объема настоящего изобретения, первая информация может быть также названа второй информацией, и наоборот, вторая информация может быть также названа первой информацией. В зависимости от контекста, выражение «если» в настоящем документе может интерпретироваться как «когда» или «после того, как», или как «в ответ на определение того, что».

[0057] При воспроизведении составным телевизором мультимедийного файла, если этот мультимедийный файл является смешанным мультимедийным файлом, составной телевизор, в общем случае, может извлекать различные мультимедийные файлы из одного смешанного, и соответственно, воспроизводить извлеченные мультимедийные файлы на стороне беспроводного вывода и на стороне локального вывода, благодаря чему достигается высокое качество воспроизведения.

[0058] Однако поскольку мультимедийный файл, который воспроизводят на стороне беспроводного вывода, как правило, передают при помощи беспроводной связи, в высокой степени подверженной помехам от окружающей среды, то во время воспроизведения мультимедийного файла составным телевизором мультимедийный файл, воспроизводимый на стороне беспроводного вывода, и мультимедийный файл, воспроизводимый на стороне локального вывода, могут воспроизводиться с рассинхронизацией, из-за задержек, возникающих при передаче мультимедийного файла на сторону беспроводного вывода.

[0059] На примере сценария, когда составной телевизор воспроизводит смешанный аудиофайл, стороной беспроводного вывода может быть сабвуфер, установивший беспроводное соединение с составным телевизором, а громкоговоритель, размещенный в самом телевизоре, может быть при этом стороной локального вывода. При воспроизведении смешанного аудиофайла составной телевизор может извлекать низкочастотные аудиоданные (аудиоданные «басов») и стандартные аудиоданные из смешанного аудиофайла при помощи встроенного модуля аудиокодека (Audio Codec).

[0060] После извлечения низкочастотных аудиоданных и стандартных аудиоданных из смешанного аудиофайла составной телевизор может передавать извлеченные стандартные аудиоданные напрямую в локальный громкоговоритель. Громкоговоритель будет воспроизводитель стандартные аудиоданные. Составной телевизор передает извлеченные низкочастотные аудиоданные в сабвуфер при помощи встроенного модуля беспроводной связи (например, WiFi-модуля). Сабвуфер воспроизводит низкочастотные аудиоданные.

[0061] Однако поскольку беспроводная связь в высокой степени подвержена помехам из окружающей среды при беспроводной передаче данных из составного телевизора в сабвуфер, может формироваться задержка передачи. Задержка передачи может динамически меняться в зависимости от уровня помех окружающей среды. Соответственно, низкочастотные аудиоданные, воспроизводимые беспроводным сабвуфером, могут быть рассинхронизированы со стандартными аудиоданными, воспроизводимыми локальным громкоговорителем, что значительно ухудшает пользовательское восприятие.

[0062] Соответственно, в реализациях, известных на существующем уровне техники, когда составной телевизор воспроизводит мультимедийный файл, задержка беспроводной передачи, формируемая на стороне беспроводного вывода, может создавать проблему рассинхронизации воспроизведения мультимедийных файлов на стороне беспроводного вывода и на стороне локального вывода.

[0063] В целях решения этой проблемы в данном варианте осуществления настоящего изобретения предложено решение для синхронизации мультимедийных данных. В соответствии с этим решением первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, извлекают из воспроизводимого мультимедийного файла, динамически контролируют задержку беспроводной передачи первого мультимедийного файла, и адаптивно регулируют временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла. Таким образом, может быть исключена проблема рассинхронизации при воспроизведении мультимедийных файлов на стороне беспроводного вывода и на стороне локального вывода вследствие задержек беспроводной передачи, формируемых на стороне беспроводного вывода в ходе воспроизведения мультимедийного файла на устройстве составного типа, что позволяет улучшить пользовательское восприятие.

[0064] Обратимся к фиг. 1, где проиллюстрирован способ выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения. Данный способ выполнения синхронизации мультимедийных данных применяют в составном терминале, при этом способ включает шаги, описанные ниже.

[0065] На шаге 101 первый мультимедийный файл и второй мультимедийный файл извлекают из мультимедийного файла, подлежащего воспроизведению, и при этом первый мультимедийный файл подлежит воспроизведению на стороне беспроводного вывода, а второй мультимедийный файл подлежит воспроизведению на стороне локального вывода.

[0066] На шаге 102 выполняют динамический контроль задержки беспроводной передачи первого мультимедийного файла.

[0067] На шаге 103 адаптивно регулируют временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[0068] В данном варианте осуществления настоящего изобретения составной терминал может включать составной телевизор, составной терминал конференц-связи, составную камеру или любое другое составное устройство, способное воспроизводить мультимедийные файлы. К примеру, при реализации настоящего изобретения, помимо составных телевизоров, составных терминалов конференц-связи и составных камер, составным терминалом может также являться терминал на базе персонального компьютера или мобильный терминал, оснащенный стороной беспроводного вывода (например, беспроводным сабвуфером) и стороной локального вывода (например, громкоговорителем или экраном дисплея). Упомянутый мультимедийный файл может являться смешанным мультимедийным файлом. К примеру, смешанный мультимедийный файл может быть аудиофайлом, состоящим из низкочастотных аудиоданных и стандартных аудиоданных, или может быть видеофайлом, состоящим из аудиоданных и видеоданных.

[0069] Далее будет приведено подробное описание, выполненное на примере случая, в котором составным терминалом является составной телевизор.

[0070] В данном варианте осуществления настоящего изобретения, при воспроизведении составным телевизором мультимедийного файла, если данный мультимедийный файл является смешанным мультимедийным файлом, первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, могут извлекаться из мультимедийного файла при помощи встроенного модуля кодека.

[0071] К примеру, когда упомянутый мультимедийный файл является аудиофайлом, первый мультимедийный файл может представлять собой низкочастотные аудиоданные, извлеченные из аудиофайла, а второй мультимедийный файл может представлять собой стандартные аудиоданные, извлеченные из того же аудиофайла. Когда упомянутый мультимедийный файл является видеофайлом, первый мультимедийный файл может представлять собой аудиоданные, извлеченные из видеофайла, а второй мультимедийный файл может представлять собой видеоданные, извлеченные из того же видеофайла.

[0072] Процедура извлечения мультимедийных файлов с помощью модуля кодека в данном варианте осуществления настоящего изобретения не будет описана более подробно. Подробное описание этой процедуры, необходимое для практического применения технических решений, предложенных в настоящем изобретении, специалисты в данной области техники могут найти в существующем уровне техники.

[0073] При извлечении, из упомянутого мультимедийного файла, первого мультимедийного файла и второго мультимедийного файла составной телевизор может осуществлять беспроводную передачу первого мультимедийного файла в терминал беспроводного вывода по беспроводному соединению, установленному со стороной беспроводного вывода, а также при этом, динамически контролировать задержку беспроводной передачи на сторону беспроводного вывода.

[0074] Составной телевизор может динамически контролировать задержку беспроводной передачи в ходе беспроводного вывода при помощи выбора ключевого кадра из первого мультимедийного файла и динамического контроля момента времени передачи выбранного ключевого кадра и момента времени приема ключевого кадра, отчет о котором передают со стороны беспроводного вывода.

[0075] В проиллюстрированном методе реализации после извлечения первого мультимедийного файла и второго мультимедийного файла из упомянутого мультимедийного файла при помощи модуля кодека составной телевизор может выбирать несколько ключевых кадров из первого мультимедийного файла. Выбор ключевых кадров составной телевизор может осуществлять на основе заранее заданного интервала кадров. К примеру, ключевые кадры могут выбираться на основе фиксированного интервала кадров. А именно, данные кадров 1, 11, 21, … в первом мультимедийном файле могут выбираться в качестве ключевых кадров на основе интервала кадров, равного 10 кадрам. Альтернативно, ключевые кадры могут выбираться на основе фиксированного интервала времени. К примеру, ключевой кадр может выбираться каждые две секунды, согласно последовательности воспроизведения кадров. Таким образом, в качестве ключевых кадров не нужно выбирать все кадры данных из первого мультимедийного файла, что обеспечивает сбережение вычислительных ресурсов составного телевизора.

[0076] После выбора ключевого кадра составной телевизор может добавлять в выбранный ключевой кадр заранее заданную метку. Заранее заданная метка может представлять собой метку, сконфигурированную для обеспечения передачи в составной телевизор, со стороны беспроводного вывода, отчета о моменте времени приема ключевого кадра. После добавления заранее заданной метки в выбранные ключевые кадры составной телевизор может последовательно передавать выбранные ключевые кадры на сторону беспроводного вывода при помощи встроенного модуля беспроводной связи согласно последовательности кадров и записывать моменты времени передачи. После приема кадра данных из первого мультимедийного файла, переданных составным телевизором, на стороне беспроводного вывода может сначала выполняться проверка, содержит ли принятый кадр данных заранее заданную метку. Если заранее заданная метка присутствует, то текущий кадр данных является ключевым кадром, и в этом случае со стороны беспроводного вывода может быть немедленно передан, в составной телевизор, отчет о моменте времени приема ключевого кадра.

[0077] После приема момента времени приема ключевого кадра, отчет о котором был передан со стороны беспроводного вывода, составной телевизор может вычислять разность между моментом времени приема и моментом времени передачи ключевого кадра, и получать задержку беспроводной передачи каждого ключевого кадра. Соответственно, таким образом составной телевизор может периодически передавать ключевые кадры на сторону беспроводного вывода и динамически контролировать задержку беспроводной передачи на стороне беспроводного вывода при помощи контроля момента времени прима ключевого кадра, о котором передают отчет со стороны беспроводного вывода.

[0078] Следует отметить, что составной телевизор может также периодически выполнять тактовую синхронизацию со стороной беспроводного вывода, чтобы гарантировать, насколько это возможно, что момент времени приема и момент времени передачи ключевого кадра регистрируются на основе идентичного тактового сигнала, благодаря чему может быть снижена погрешность вычисления задержки беспроводной передачи. К примеру, при практической реализации, как в составном телевизоре, так и на стороне беспроводного вывода может применяться тактовый сигнал ЦПУ, то есть, тактовый сигнал ЦПУ может использоваться в качестве эталонного для калибровки.

[0079] В данном варианте осуществления настоящего изобретения после приема момента времени приема ключевого кадра, о котором передают отчет со стороны беспроводного вывода, и вычисления задержки беспроводной передачи согласно этому моменту времени приема и локально записанному моменту времени передачи, составной телевизор может немедленно и адаптивно регулировать временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода согласно задержке беспроводной передачи, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[0080] Составной телевизор адаптивно регулирует временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода. Адаптивное регулирование временной позиции воспроизведения может достигаться при помощи передачи второго мультимедийного файла на сторону локального вывода с задержкой, которая соответствует вычисленной задержке беспроводной передачи.

[0081] К примеру, допустим, что момент времени приема ключевого кадра, о котором передан отчет со стороны беспроводного вывода, принятый составным телевизором, равен Т2, а локально записанный момент передачи ключевого кадра равен Т1. В этом случае задержка беспроводной передачи может быть представлена разностью между Т1 и T2. В этом случае задержка беспроводной передачи Δt=T2-T1. Когда составной телевизор вычислит и получит Δt, составной телевизор может задерживать момент времени передачи второго мультимедийного файла в локальное устройство вывода на Δt, благодаря чему гарантируется, что первый мультимедийный файл и второй мультимедийный файл будут воспроизводиться синхронно.

[0082] Тем не менее, после адаптивного регулирования, составным телевизором, временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода согласно описанному выше методу, если затем будет принят момент времени приема следующего ключевого кадра, отчет о котором передают со стороны беспроводного вывода, составной телевизор может снова вычислять задержку беспроводной передачи согласно записанному моменту времени передачи ключевого кадра, и затем дополнительно адаптивно регулировать временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода.

[0083] Соответственно, таким образом со стороны беспроводного вывода могут периодически передаваться, в составной телевизор, отчеты о задержках беспроводной передачи ключевого кадра, благодаря чему составной телевизор может непрерывно выполнять адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода согласно задержкам беспроводной передачи, отчеты о которых периодически передают со стороны беспроводного вывода. Таким образом, может быть максимально устранено влияние задержки беспроводной передачи, формируемой на стороне беспроводного вывода, на воспроизведение второго мультимедийного файла на стороне локального вывода, и гарантировано синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[0084] Ниже, в качестве примеров, приведены описания случаев, в которых, соответственно, упомянутый мультимедийный файл является аудиофайлом и в которых упомянутый мультимедийный файл является видеофайлом.

[0085] В данном варианте осуществления настоящего изобретения базовая архитектура составного телевизора может включать модуль аудиокодека (аудиокодек), модуль видеокодека (видеокодек), ЦПУ, громкоговоритель, дисплей, модуль беспроводной связи, беспроводной сабвуфер и беспроводной саунд-бокс. Модуль аудиокодека имеет проводное соединение, соответственно, с ЦПУ и громкоговорителем, и при этом модуль аудиокодека имеет проводное соединение, соответственно, с ЦПУ и с дисплеем. ЦПУ имеет проводное соединение с модулем беспроводной связи. Модуль беспроводной связи имеет беспроводное соединение, соответственно, с беспроводным сабвуфером и беспроводным саунд-боксом.

[0086] В одном из аспектов настоящего изобретения, если упомянутый мультимедийный файл является аудиофайлом, то первый мультимедийный файл может представлять собой низкочастотные аудиоданные, извлеченные из аудиофайла. Второй мультимедийный файл может представлять собой стандартные аудиоданные, извлеченные из аудиофайла. Стороной беспроводного вывода может быть сабвуфер. Громкоговоритель может быть стороной локального вывода.

[0087] В исходном состоянии, когда составной телевизор воспроизводит аудиофайл, модуль аудиокодека может непрерывно считывать, согласно последовательности кадров, кадры аудиоданных из воспроизводимой аудиодорожки, и затем извлекать низкочастотные аудиоданные и стандартные аудиоданные из считанных кадров аудиоданных. Извлеченные низкочастотные аудиоданные и стандартные аудиоданные при этом будут сохранять последовательность кадров, соответствующую исходному аудиофайлу. Когда аудиофайл включает множество воспроизводимых аудиодорожек, аудиоданные могут считываться из множества аудиодорожек одновременно.

[0088] Когда извлечение данных будет завершено, модуль аудиокодека дополнительно может выбирать ключевой кадр на основе заранее заданного интервала кадров и добавлять в выбранный ключевой кадр заранее заданную метку, которая сконфигурирована для обеспечения передачи отчета, сабвуфером, в модуль аудиокодека, о моменте 12 времени приема ключевого кадра. Заранее заданная метка может также добавляться при помощи ЦПУ.

[0089] После добавления заранее заданной метки в выбранный ключевой кадр модуль аудиокодека может передавать кадр низкочастотных аудиоданных в сабвуфер и записывать момент Т1 времени передачи ключевого кадра. После приема кадра низкочастотных аудиоданных сабвуфер может проверять, содержит ли этот кадр данных заранее заданную метку. Если заранее заданная метка присутствует, то этот кадр данных является ключевым кадром. В этом случае сабвуфер может передавать, в модуль аудиокодека, отчет о моменте 12 времени приема ключевого кадра, и затем переходить к приему следующего кадра низкочастотных аудиоданных, повторяя описанную выше процедуру.

[0090] После приема момента Т2 времени приема ключевого кадра, о котором передан отчет сабвуфером, модуль аудиокодека может вычислять разность Δt между Т2 и записанным моментом Т1 времени передачи ключевого кадра. В этом случае разность Δt представляет собой задержку беспроводной передачи низкочастотных аудиоданных, и модуль аудиокодека может задерживать момент времени передачи стандартных аудиоданных в громкоговоритель на Δt, благодаря чему обеспечивается синхронное воспроизведение низкочастотных аудиоданных и стандартных аудиоданных. Модуль аудиокодека и беспроводной сабвуфер могут использовать тактовый сигнал ЦПУ в качестве эталонного для периодической тактовой синхронизации, благодаря чему гарантируется точность записи моментов времени передачи и приема, и соответственно, снижается погрешностью вычисления задержки беспроводной передачи.

[0091] Тем не менее, при практической реализации, сабвуфер может передавать отчет о моменте Т2 времени приема ключевого кадра в ЦПУ; а ЦПУ может вычислять задержку Δt беспроводной передачи, и затем управлять модулем аудиокодека таким образом, чтобы он задерживал момент передачи стандартных аудиоданных в громкоговоритель на Δt.

[0092] В еще одном из аспектов настоящего изобретения, если упомянутый мультимедийный файл является видеофайлом, первый мультимедийный файл может представлять собой аудиоданные, извлеченные из видеофайла, а второй мультимедийный файл может представлять собой видеоданные, извлеченные из того же видеофайла. Беспроводной саунд-бокс может быть стороной беспроводного вывода, а дисплей может быть стороной локального вывода.

[0093] В исходном состоянии, когда составной телевизор воспроизводит видеофайл, модуль видеокодека может непрерывно считывать, согласно последовательности кадров, кадры видеоданных из воспроизводимого видеофайла, и затем извлекать аудиоданные и видеоданные из считанных кадров видеоданных. Извлеченные аудиоданные и видеоданные при этом буду сохранять последовательность кадров, соответствующую исходному видеофайлу.

[0094] Когда извлечение данных будет завершено, модуль видеокодека дополнительно может выбирать ключевой кадр на основе заранее заданного интервала кадров и добавлять в выбранный ключевой кадр заранее заданную метку, которая сконфигурирована для обеспечения передачи отчета, беспроводным саунд-боксом, в модуль видеокодека, о моменте Т2 времени приема ключевого кадра. Заранее заданная метка может также добавляться при помощи ЦПУ.

[0095] После добавления заранее заданной метки в выбранный ключевой кадр модуль видеокодека может передавать кадр низкочастотных аудиоданных в беспроводной саунд-бокс и записывать момент Т1 времени передачи ключевого кадра. После приема кадра низкочастотных аудиоданных саунд-бокс может проверять, содержит ли этот кадр данных заранее заданную метку. Если заранее заданная метка присутствует, то этот кадр данных является ключевым кадром. В этом случае саунд-бокс может передавать, в модуль видеокодека, отчет о моменте Т2 времени приема ключевого кадра, и затем переходить к приему следующего кадра низкочастотных аудиоданных, повторяя описанную выше процедуру.

[0096] После приема момента Т2 времени приема ключевого кадра, о котором передан отчет саунд-боксом, модуль видеокодека может вычислять разность Δt между Т2 и записанным моментом Т1 времени передачи ключевого кадра. В этом случае разность Δt представляет собой задержку беспроводной передачи аудиоданных, и модуль видеокодека может задерживать момент времени передачи стандартных аудиоданных в громкоговоритель на время Δt, благодаря чему обеспечивается синхронное воспроизведение аудиоданных и видеоданных.

[0097] Модуль видеокодека и саунд-бокс могут использовать тактовый сигнал ЦПУ в качестве эталонного для периодической тактовой синхронизации, благодаря чему гарантируется точность записи моментов времени передачи и приема, и соответственно, снижается погрешностью вычисления задержки беспроводной передачи.

[0098] Аналогично, при практической реализации, саунд-бокс может передавать отчет о моменте Т2 времени приема ключевого кадра в ЦПУ; а ЦПУ может вычислять задержку Δt беспроводной передачи, и затем управлять модулем видеокодека таким образом, чтобы он задерживал момент передачи видеоданных в громкоговоритель на время Δt.

[0099] Как можно видеть из рассмотренных выше примеров, при помощи предложенного способа со стороны беспроводного вывода могут периодически передаваться, в составной телевизор, отчеты о задержках беспроводной передачи ключевого кадра, благодаря чему составной телевизор может непрерывно выполнять адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода согласно задержкам беспроводной передачи, отчеты о которых периодически передают со стороны беспроводного вывода. Таким образом, может быть максимально устранено влияние задержки беспроводной передачи, формируемой на стороне беспроводного вывода, и влияющей на воспроизведение второго мультимедийного файла на стороне локального вывода, и гарантировано синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00100] В рассмотренном выше варианте осуществления настоящего изобретения первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, извлекают из воспроизводимого мультимедийного файла, динамически контролируют задержку беспроводной передачи первого мультимедийного файла, и адаптивно регулируют временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла. Таким образом, может быть исключена проблема рассинхронизации при воспроизведении мультимедийных файлов на стороне беспроводного вывода и на стороне локального вывода вследствие задержек беспроводной передачи, формируемых на стороне беспроводного вывода в ходе воспроизведения мультимедийного файла на устройстве составного типа, что позволяет улучшить пользовательское восприятие.

[00101] Обратимся к фиг. 2, где проиллюстрирован способ выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения. Данный способ выполнения синхронизации мультимедийных данных применяют в составном терминале, при этом способ включает шаги, описанные ниже.

[00102] На шаге 201 первый мультимедийный файл и второй мультимедийный файл извлекают из мультимедийного файла, подлежащего воспроизведению, и при этом первый мультимедийный файл подлежит воспроизведению на стороне беспроводного вывода, а второй мультимедийный файл подлежит воспроизведению на стороне локального вывода.

[00103] На шаге 202 из первого мультимедийного файла выбирают ключевой кадр, и в выбранный ключевой кадр заранее добавляют заранее заданную метку, при этом заранее заданная метка сконфигурирована для обеспечения передачи отчета, со стороны беспроводного вывода, о моменте времени приема ключевого кадра.

[00104] На шаге 203 принимают момент прием момента времени приема ключевого кадра, о котором передан отчет со стороны беспроводного вывода, и вычисляют задержку беспроводной передачи ключевого кадра на основе упомянутых момента времени приема и момента времени передачи.

[00105] На шаге 204, на основе вычисленной задержки беспроводной передачи первого мультимедийного файла, второй мультимедийный файл передают, с задержкой, в локальное устройство вывода, благодаря чему обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00106] В данном варианте осуществления настоящего изобретения составной терминал может включать составной телевизор, составной терминал конференц-связи, составную камеру или любое другое составное устройство, способное воспроизводить мультимедийные файлы. К примеру, при реализации настоящего изобретения, помимо составных телевизоров, составных терминалов конференц-связи и составных камер, составным терминалом может также являться терминал на базе персонального компьютера или мобильный терминал, оснащенный стороной беспроводного вывода (например, беспроводным сабвуфером) и стороной локального вывода (например, громкоговорителем или экраном дисплея). Упомянутый мультимедийный файл может являться смешанным мультимедийным файлом. К примеру, смешанный мультимедийный файл может быть аудиофайлом, состоящим из низкочастотных аудиоданных и стандартных аудиоданных, или может быть видеофайлом, состоящим из аудиоданных и видеоданных.

[00107] Далее будет приведено подробное описание, выполненное на примере случая, в котором составным терминалом является составной телевизор.

[00108] В данном варианте осуществления настоящего изобретения, при воспроизведении составным телевизором мультимедийного файла, если данный мультимедийный файл является смешанным мультимедийным файлом, первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, могут извлекаться из мультимедийного файла при помощи встроенного модуля кодека.

[00109] К примеру, когда упомянутый мультимедийный файл является аудиофайлом, первый мультимедийный файл может представлять собой низкочастотные аудиоданные, извлеченные из аудиофайла, а второй мультимедийный файл может представлять собой стандартные аудиоданные, извлеченные из того же аудиофайла. Когда упомянутый мультимедийный файл является видеофайлом, первый мультимедийный файл может представлять собой аудиоданные, извлеченные из видеофайла, а второй мультимедийный файл может представлять собой видеоданные, извлеченные из того же видеофайла.

[00110] Процедура извлечения мультимедийных файлов с помощью модуля кодека в данном варианте осуществления настоящего изобретения не будет описана более подробно. Подробное описание этой процедуры, необходимое для практического применения технических решений, предложенных в настоящем изобретении, специалисты в данной области техники могут найти в описании существующего уровня техники.

[00111] После извлечения из упомянутого мультимедийного файла первого мультимедийного файла и второго мультимедийного файла составной телевизор может осуществлять беспроводную передачу первого мультимедийного файла в терминал беспроводного вывода по беспроводному соединению, установленному со стороной беспроводного вывода, а также при этом, динамически контролировать задержку беспроводной передачи на сторону беспроводного вывода.

[00112] Составной телевизор может динамически контролировать задержку беспроводной передачи в ходе беспроводного вывода при помощи выбора ключевого кадра из первого мультимедийного файла и динамического контроля момента времени передачи выбранного ключевого кадра и момента времени приема ключевого кадра, отчет о котором передан со стороны беспроводного вывода.

[00113] В проиллюстрированном методе реализации после извлечения первого мультимедийного файла и второго мультимедийного файла из упомянутого мультимедийного файла при помощи модуля кодека из первого мультимедийного файла могут быть выбраны несколько ключевых кадров. Выбор ключевых кадров составной телевизор может осуществлять на основе заранее заданного интервала кадров. К примеру, ключевые кадры могут выбираться на основе фиксированного интервала кадров. А именно, данные кадров 1, 11, 21, … в первом мультимедийном файле могут выбираться в качестве ключевых кадров на основе интервала кадров, равного 10 кадрам. Альтернативно, ключевые кадры могут выбираться на основе фиксированного интервала времени. К примеру, ключевой кадр может выбираться каждые две секунды, согласно последовательности воспроизведения кадров. Таким образом, в качестве ключевых кадров не нужно выбирать все кадры данных из первого мультимедийного файла, что обеспечивает сбережение вычислительных ресурсов составного телевизора.

[00114] После выбора ключевого кадра составной телевизор может добавлять в выбранный ключевой кадр заранее заданную метку. Заранее заданная метка может представлять собой метку, сконфигурированную для обеспечения передачи, в составной телевизор, со стороны беспроводного вывода, отчета о моменте времени приема ключевого кадра. После добавления заранее заданной метки в выбранные ключевые кадры составной телевизор может последовательно передавать выбранные ключевые кадры на сторону беспроводного вывода при помощи встроенного модуля беспроводной связи согласно последовательности кадров и записывать моменты времени передачи. После приема кадра данных из первого мультимедийного файла, переданных составным телевизором, на стороне беспроводного вывода может сначала выполняться проверка, содержит ли принятый кадр данных заранее заданную метку. Если заранее заданная метка присутствует, то текущий кадр данных является ключевым кадром, и в этом случае со стороны беспроводного вывода может быть немедленно передан отчет о моменте времени приема ключевого кадра, в составной телевизор.

[00115] После приема момента времени приема ключевого кадра, отчет о котором передан со стороны беспроводного вывода, составной телевизор может вычислять разность между моментом времени приема и моментом времени передачи ключевого кадра, и получать задержку беспроводной передачи каждого ключевого кадра. Соответственно, таким образом составной телевизор может периодически передавать ключевые кадры на сторону беспроводного вывода и динамически контролировать задержку беспроводной передачи на стороне беспроводного вывода при помощи контроля момента времени прима ключевого кадра, о котором передают отчет со стороны беспроводного вывода.

[00116] Следует отметить, что составной телевизор может также периодически выполнять тактовую синхронизацию со стороной беспроводного вывода, чтобы гарантировать, насколько это возможно, что момент времени приема и момент времени передачи ключевого кадра регистрируются на основе идентичного тактового сигнала, благодаря чему может быть снижена погрешность вычисления задержки беспроводной передачи. К примеру, при практической реализации, как в составном телевизоре, так и на стороне беспроводного вывода может применяться тактовый сигнал ЦПУ, то есть, тактовый сигнал ЦПУ может использоваться в качестве эталонного для калибровки.

[00117] В данном варианте осуществления настоящего изобретения после приема момента времени приема ключевого кадра, о котором передают отчет со стороны беспроводного вывода, и вычисления задержки беспроводной передачи согласно этому моменту времени приема и локально записанному моменту времени передачи, составной телевизор может немедленно и адаптивно регулировать временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода согласно задержке беспроводной передачи, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00118] Составной телевизор адаптивно регулирует временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода. Адаптивное регулирование временной позиции воспроизведения может достигаться при помощи передачи второго мультимедийного файла на сторону локального вывода с задержкой, которая соответствует вычисленной задержке беспроводной передачи.

[00119] К примеру, допустим, что момент времени приема ключевого кадра, о котором передан отчет со стороны беспроводного вывода, принятый составным телевизором, равен Т2, а локально записанный момент передачи ключевого кадра равен Т1. В этом случае задержка беспроводной передачи может быть представлена разностью между Т1 и T2. В этом случае задержка беспроводной передачи Δt=T2-T1. Когда составной телевизор вычислит и получит Δt, составной телевизор может задерживать момент времени передачи второго мультимедийного файла в локальное устройство вывода на Δt, благодаря чему гарантируется, что первый мультимедийный файл и второй мультимедийный файл будут воспроизводиться синхронно.

[00120] Тем не менее, после адаптивного регулирования, составным телевизором, временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода согласно описанному выше методу, если затем будет принят момент времени приема следующего ключевого кадра, отчет о котором передают со стороны беспроводного вывода, составной телевизор может снова вычислять задержку беспроводной передачи согласно записанному моменту времени передачи ключевого кадра, и затем дополнительно адаптивно регулировать временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода.

[00121] Соответственно, таким образом со стороны беспроводного вывода могут периодически передаваться, в составной телевизор, отчеты о задержках беспроводной передачи ключевого кадра, благодаря чему составной телевизор может непрерывно выполнять адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода согласно задержкам беспроводной передачи, отчеты о которых периодически передают со стороны беспроводного вывода. Таким образом, может быть максимально устранено влияние задержки беспроводной передачи, формируемой на стороне беспроводного вывода, и влияющей на воспроизведение второго мультимедийного файла на стороне локального вывода, и гарантировано синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00122] Ниже, в качестве примеров, приведены описания случаев, в которых, соответственно, упомянутый мультимедийный файл является аудиофайлом и в которых упомянутый мультимедийный файл является видеофайлом.

[00123] В данном варианте осуществления настоящего изобретения базовая архитектура составного телевизора может включать модуль аудиокодека (аудиокодек), модуль видеокодека (видеокодек), ЦПУ, громкоговоритель, дисплей, модуль беспроводной связи, беспроводной сабвуфер и беспроводной саунд-бокс. Модуль аудиокодека имеет проводное соединение, соответственно, с ЦПУ и громкоговорителем, и при этом модуль аудиокодека имеет проводное соединение, соответственно, с ЦПУ и с дисплеем. ЦПУ имеет проводное соединение с модулем беспроводной связи. Модуль беспроводной связи имеет беспроводное соединение, соответственно, с беспроводным сабвуфером и беспроводным саунд-боксом.

[00124] В одном из аспектов настоящего изобретения, если упомянутый мультимедийный файл является аудиофайлом, то первый мультимедийный файл может представлять собой низкочастотные аудиоданные, извлеченные из аудиофайла. Второй мультимедийный файл может представлять собой стандартные аудиоданные, извлеченные из аудиофайла. Стороной беспроводного вывода может быть сабвуфер. Громкоговоритель может быть стороной локального вывода.

[00125] В исходном состоянии, когда составной телевизор воспроизводит аудиофайл, модуль аудиокодека может непрерывно считывать, согласно последовательности кадров, кадры аудиоданных из воспроизводимой аудиодорожки, и затем извлекать низкочастотные аудиоданные и стандартные аудиоданные из считанных кадров аудиоданных. Извлеченные низкочастотные аудиоданные и стандартные аудиоданные при этом будут сохранять последовательность кадров, соответствующую исходному аудиофайлу. Когда аудиофайл включает множество воспроизводимых аудиодорожек, аудиоданные могут считываться из множества аудиодорожек одновременно.

[00126] Когда извлечение данных будет завершено, модуль аудиокодека дополнительно может выбирать ключевой кадр на основе заранее заданного интервала кадров и добавлять в выбранный ключевой кадр заранее заданную метку, которая сконфигурирована для обеспечения передачи отчета, сабвуфером в модуль аудиокодека, о моменте Т2 времени приема ключевого кадра. Заранее заданная метка может также добавляться при помощи ЦПУ.

[00127] После добавления заранее заданной метки в выбранный ключевой кадр модуль аудиокодека может передавать кадр низкочастотных аудиоданных в сабвуфер и записывать момент Т1 времени передачи ключевого кадра. После приема кадра низкочастотных аудиоданных сабвуфер может проверять, содержит ли этот кадр данных заранее заданную метку. Если заранее заданная метка присутствует, то этот кадр данных является ключевым кадром. В этом случае сабвуфер может передавать, в модуль аудиокодека, отчет о моменте Т2 времени приема ключевого кадра, и затем переходить к приему следующего кадра низкочастотных аудиоданных, повторяя описанную выше процедуру.

[00128] После приема момента Т2 времени приема ключевого кадра, о котором передан отчет сабвуфером, модуль аудиокодека может вычислять разность Δt между Т2 и записанным моментом Т1 времени передачи ключевого кадра. В этом случае разность Δt представляет собой задержку беспроводной передачи низкочастотных аудиоданных, и модуль аудиокодека может задерживать момент времени передачи стандартных аудиоданных в громкоговоритель на Δt, благодаря чему обеспечивается синхронное воспроизведение низкочастотных аудиоданных и стандартных аудиоданных. Модуль аудиокодека и беспроводной сабвуфер могут использовать тактовый сигнал ЦПУ в качестве эталонного для периодической тактовой синхронизации, благодаря чему гарантируется точность записи моментов времени передачи и приема, и соответственно, снижается погрешностью вычисления задержки беспроводной передачи.

[00129] Тем не менее, при практической реализации, сабвуфер может передавать отчет о моменте Т2 времени приема ключевого кадра в ЦПУ; а ЦПУ может вычислять задержку Δt беспроводной передачи, и затем управлять модулем аудиокодека таким образом, чтобы он задерживал момент передачи стандартных аудиоданных в громкоговоритель на Δt.

[00130] В еще одном из аспектов настоящего изобретения, если упомянутый мультимедийный файл является видеофайлом, первый мультимедийный файл может представлять собой аудиоданные, извлеченные из видеофайла, а второй мультимедийный файл может представлять собой видеоданные, извлеченные из того же видеофайла. Беспроводной саунд-бокс может быть стороной беспроводного вывода, а дисплей может быть стороной локального вывода.

[00131] В исходном состоянии, когда составной телевизор воспроизводит видеофайл, модуль видеокодека может непрерывно считывать, согласно последовательности кадров, кадры видеоданных из воспроизводимого видеофайла, и затем извлекать аудиоданные и видеоданные из считанных кадров видеоданных. Извлеченные аудиоданные и видеоданные при этом буду сохранять последовательность кадров, соответствующую исходному видеофайлу.

[00132] Когда извлечение данных будет завершено, модуль видеокодека дополнительно может выбирать ключевой кадр на основе заранее заданного интервала кадров и добавлять в выбранный ключевой кадр заранее заданную метку, которая сконфигурирована для обеспечения передачи отчета, беспроводным саунд-боксом в модуль видеокодека, о моменте Т2 времени приема ключевого кадра. Заранее заданная метка может также добавляться при помощи ЦПУ.

[00133] После добавления заранее заданной метки в выбранный ключевой кадр модуль видеокодека может передавать кадр низкочастотных аудиоданных беспроводной саунд-бокс и записывать момент Т1 времени передачи ключевого кадра. После приема кадра низкочастотных аудиоданных саунд-бокс может проверять, содержит ли этот кадр данных заранее заданную метку. Если заранее заданная метка присутствует, то этот кадр данных является ключевым кадром. В этом случае саунд-бокс может передавать, в модуль видеокодека, отчет о моменте Т2 времени приема ключевого кадра, и затем переходить к приему следующего кадра низкочастотных аудиоданных, повторяя описанную выше процедуру.

[00134] После приема момента Т2 времени приема ключевого кадра, о котором передан отчет саунд-боксом, модуль видеокодека может вычислять разность Δt между Т2 и записанным моментом Т1 времени передачи ключевого кадра. В этом случае разность Δt представляет собой задержку беспроводной передачи аудиоданных, и модуль видеокодека может задерживать момент времени передачи стандартных аудиоданных в громкоговоритель на время Δt, благодаря чему обеспечивается синхронное воспроизведение аудиоданных и видеоданных.

[00135] Модуль видеокодека и саунд-бокс могут использовать тактовый сигнал ЦПУ в качестве эталонного для периодической тактовой синхронизации, благодаря чему гарантируется точность записи моментов времени передачи и приема, и соответственно, снижается погрешностью вычисления задержки беспроводной передачи.

[00136] Аналогично, при практической реализации, саунд-бокс может передавать отчет о моменте Т2 времени приема ключевого кадра в ЦПУ; а ЦПУ может вычислять задержку Δt беспроводной передачи, и затем управлять модулем видеокодека таким образом, чтобы он задерживал момент передачи видеоданных в громкоговоритель на время Δt.

[00137] Как можно видеть из рассмотренных выше примеров, при помощи способа, предложенного в настоящем изобретении, со стороны беспроводного вывода могут периодически передаваться, в составной телевизор, отчеты о задержках беспроводной передачи ключевого кадра, благодаря чему составной телевизор может непрерывно выполнять адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода согласно задержкам беспроводной передачи, отчеты о которых периодически передают со стороны беспроводного вывода. Таким образом, может быть максимально устранено влияние задержки беспроводной передачи, формируемой на стороне беспроводного вывода, и влияющей на воспроизведение второго мультимедийного файла на стороне локального вывода, и гарантировано синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00138] В рассмотренном выше варианте осуществления настоящего изобретения первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, извлекают из воспроизводимого мультимедийного файла, динамически контролируют задержку беспроводной передачи первого мультимедийного файла, и адаптивно регулируют временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла. Таким образом, может быть исключена проблема рассинхронизации при воспроизведении мультимедийных файлов на стороне беспроводного вывода и на стороне локального вывода вследствие задержек беспроводной передачи, формируемых на стороне беспроводного вывода в ходе воспроизведения мультимедийного файла на устройстве составного типа, что позволяет улучшить пользовательское восприятие.

[00139] В настоящем изобретении предложен также вариант осуществления устройства для выполнения синхронизации мультимедийных данных, который соответствует рассмотренному выше варианту осуществления способа выполнения синхронизации мультимедийных данных.

[00140] Фиг. 3 представляет собой эскизную блок-схему, иллюстрирующую устройство для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения.

[00141] На фиг. 3 показано устройство 300 для выполнения синхронизации мультимедийных данных в соответствии с одним из вариантов осуществления настоящего изобретения. Устройство 300 включает: модуль 301 извлечения, модуль 302 контроля и модуль 303 регулирования.

[00142] Модуль 301 извлечения сконфигурирован для извлечения первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода.

[00143] Модуль 302 контроля сконфигурирован для динамического контроля задержки беспроводной передачи первого мультимедийного файла.

[00144] Модуль 302 регулирования сконфигурирован для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе задержки беспроводной передачи первого мультимедийного файла, контролируемой при помощи модуля 302 контроля, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00145] В рассмотренном выше варианте осуществления настоящего изобретения первый мультимедийный файл, подлежащий воспроизведению на стороне беспроводного вывода, и второй мультимедийный файл, подлежащий воспроизведению на стороне локального вывода, извлекают из воспроизводимого мультимедийного файла, динамически контролируют задержку беспроводной передачи первого мультимедийного файла, и адаптивно регулируют временную позицию воспроизведения второго мультимедийного файла на стороне локального вывода на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла. Таким образом, может быть исключена проблема рассинхронизации при воспроизведении мультимедийных файлов на стороне беспроводного вывода и на стороне локального вывода вследствие задержек беспроводной передачи, формируемых на стороне беспроводного вывода в ходе воспроизведения мультимедийного файла на устройстве составного типа, что позволяет улучшить пользовательское восприятие.

[00146] Обратимся к фиг. 4, которая представляет собой блок-схему, иллюстрирующую еще одно устройство в соответствии с одним из примеров осуществления настоящего изобретения. Данное устройство основано на варианте осуществления настоящего изобретения, показанном на фиг. 3, и при этом модуль 302 контроля может включать: подмодуль 302А выбора, подмодуль 302В передачи, подмодуль 302С приема и вычислительный подмодуль 302D.

[00147] Подмодуль 302А выбора сконфигурирован для выбора ключевого кадра из первого мультимедийного файла.

[00148] Подмодуль 302В передачи сконфигурирован для передачи выбранного ключевого кадра на сторону беспроводного вывода согласно последовательности кадров, и для записи момента времени передачи ключевого кадра.

[00149] Подмодуль 302С приема сконфигурирован для приема момента времени приема ключевого кадра, отчет о котором был передан со стороны беспроводного вывода.

[00150] Вычислительный подмодуль 302D сконфигурирован для вычисления задержки беспроводной передачи ключевого кадра на основе момента времени приема, принятого подмодулем 302С приема, и упомянутого момента времени передачи, с целью динамического контроля задержки передачи первого мультимедийного файла.

[00151] В рассмотренном выше варианте осуществления настоящего изобретения в выбранный ключевой кадр заранее добавляют заранее заданную метку, при этом заранее заданная метка сконфигурирована для обеспечения передачи отчета, со стороны беспроводного вывода, о моменте времени приема ключевого кадра.

[00152] Обратимся к фиг. 5, которая представляет собой блок-схему, иллюстрирующую еще одно устройство в соответствии с одним из примеров осуществления настоящего изобретения. Данное устройство основано на варианте осуществления настоящего изобретения, показанном на фиг. 4, и при этом подмодуль 302А выбора может включать блок 302А1 выбора.

[00153] Блок 302А1 выбора сконфигурирован для выбора ключевого кадра из первого мультимедийного файла на основе заранее заданного интервала кадров.

[00154] Следует отметить, что структура блока 302А1 выбора в варианте осуществления устройства, проиллюстрированном на фиг. 5, может также входить в состав вариантов осуществления изобретения, показанных на фиг. 3, без ограничения настоящего изобретения в этом отношении.

[00155] Обратимся к фиг. 6, которая представляет собой блок-схему, иллюстрирующую еще одно устройство в соответствии с еще одним из примеров осуществления настоящего изобретения. Данное устройство основано на варианте осуществления настоящего изобретения, показанном на фиг. 3, и при этом подмодуль 303 регулирования может включать блок 303А передачи.

[00156] Подмодуль 303А передачи сконфигурирован для передачи второго мультимедийного файла, с задержкой, в локальное устройство вывода на основе вычисленной задержки беспроводной передачи первого мультимедийного файла, вычисленной при помощи вычислительного подмодуля 302D, с целью адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода.

[00157] Следует отметить, что структура подмодуля 303А передачи в варианте осуществления устройства, проиллюстрированном на фиг. 6, может также входить в состав вариантов осуществления изобретения, показанных на фиг. 4-5, без ограничения настоящего изобретения в этом отношении.

[00158] Обратимся к фиг. 7, которая представляет собой блок-схему, иллюстрирующую еще одно устройство в соответствии с одним из примеров осуществления настоящего изобретения. Данное устройство основано на варианте осуществления настоящего изобретения, показанном на фиг. 4, и при этом модуль 302 контроля может дополнительно включать подмодуль 302Е синхронизации.

[00159] Подмодуль 302Е синхронизации сконфигурирован для периодического выполнения тактовой синхронизации со стороной беспроводного вывода.

[00160] Следует отметить, что структура подмодуля 302Е передачи в варианте осуществления устройства, проиллюстрированном на фиг. 7, может также входить в состав вариантов осуществления изобретения, показанных на фиг. 3 или фиг. 5-6, без ограничения настоящего изобретения в этом отношении.

[00161] За описанием конкретной реализации функций и действий различных модулей или блоков в рассмотренных выше следует обращаться к описанию реализации соответствующих шагов способов, и соответственно, они не будут здесь рассмотрены более подробно.

[00162] Поскольку предложенные варианты осуществления устройства основаны на вариантах осуществления способа, за соответствующими частями их описания следует обращаться к эквивалентным частям описания способов. Все рассмотренные выше варианты осуществления устройства являются исключительно иллюстративными. Модули или блоки, описанные как отдельные компоненты, не обязательно должны быть при этом физически независимыми друг от друга. Элементы, показанные как модули или блоки, не обязательно должны являться физическим модулями или блоками, т.е. могут быть как размещены в одном местоположении, так и распределены по множеству сетевых модулей или блоков. Для реализации технических решений, предложенных в вариантах осуществления настоящего изобретения, в соответствии с необходимостью может быть выбрана часть рассмотренных модулей, или все эти модули. Настоящее описание позволяет специалистам в данной области техники понимать варианты осуществления настоящего изобретения и реализовывать их на практике без каких-либо творческих усилий.

[00163] Соответственно, в настоящем изобретении предложено также устройство, которое применяют при синхронизации мультимедийных данных. Устройство включает:

[00164] процессор; и

[00165] память для хранения инструкций, исполняемых процессором;

[00166] при этом процессор сконфигурирован:

[00167] для извлечения первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;

[00168] для динамического контроля задержки беспроводной передачи первого мультимедийного файла; и

[00169] для адаптивного регулирования временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00170] Соответственно, в настоящем изобретении предложен также составной терминал. Терминал может включать память и по меньшей мере одну программу, при этом упомянутая по меньшей мере одна программа хранится в памяти и сконфигурирована для исполнения по меньшей мере одним процессором с целью исполнения инструкций, содержащихся в упомянуто по меньшей мере одной программа, в результате чего выполняются следующие операции:

[00171] извлечение первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;

[00172] динамический контроль задержки беспроводной передачи первого мультимедийного файла; и

[00173] адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00174] Фиг. 8 представляет собой структурную блок-схему, иллюстрирующую устройство, которое используют при синхронизации мультимедийных данных в соответствии с одним из примеров осуществления настоящего изобретения.

[00175] В соответствии с одним из примеров осуществления настоящего изобретения предложено устройство, которое используют при синхронизации мультимедийных данных и которое показано на фиг. 8. Устройство 800 может представлять собой мобильный телефон, интеллектуальное устройство, компьютер, терминал цифрового вещания, устройство обмена сообщениями, игровую приставку, планшетный компьютер, медицинское устройство, тренажерное оборудование, карманный персональный компьютер и т.п.

[00176] В соответствии с иллюстрацией фиг. 8, устройство 800 может включать один или более следующих компонентов: процессорный компонент 801, память 802, компонент 803 электропитания, мультимедийный компонент 804, аудиокомпонент 805, интерфейс 806 ввода-вывода (input/output, I/O), измерительный компонент 807 и компонент 808 связи.

[00177] Процессорный компонент 801, как правило, осуществляет общее управление функционированием устройства 800, например, операциями, связанными с отображением, телефонными вызовами, обменом данными, работой с камерой и операциями записи. Процессорный компонент 801 может включать в себя один или более процессоров 809, исполняющих инструкции с целью выполнения всех шагов описанных выше способов или части этих шагов. Также, процессорный компонент 801 может включать один или более модулей, обеспечивающих взаимодействие между процессорным компонентом 801 и другими компонентами. Например, процессорный компонент 801 может включать мультимедийный модуль, обеспечивающий взаимодействие между мультимедийным компонентом 804 и процессорным компонентом 801.

[00178] Память 802 сконфигурирована для хранения различных типов данных с целью поддержки функционирования устройства 800. Примерами подобных данных могут служить инструкции любых приложений или методов, исполняемых в устройстве 800, контактные данные, данные телефонной книги, сообщения, изображения, видеоданные и т.п.Память 804 может быть реализована с использованием энергозависимых или энергонезависимых устройств любого типа, а также их комбинаций, например, статической памятью с произвольным доступом (static random access memory, SRAM), электрически перепрограммируемой памяти в режиме «только для чтения» (erasable programmable read-only memory, EPROM), программируемой памяти в режиме «только для чтения» (programmable read-only memory, PROM), памяти в режиме «только для чтения», магнитной памяти, флэш-памяти, магнитного или оптического диска.

[00179] Компонент 803 электропитания обеспечивает электропитание различных компонентов устройства 800. Компонент 803 электропитания может включать систему управления электропитанием, один или более источников питания, а также любые другие компоненты, связанные с производством, управлением и распределением электрической энергии в устройстве 800.

[00180] Мультимедийный компонент 804 включает экран, который обеспечивает интерфейс вывода между устройством 800 и пользователем. В некоторых из вариантов осуществления настоящего изобретения экран может включать дисплей на жидких кристаллах (liquid crystal display, LCD) и сенсорную панель (touch panel, TP). Если экран включает сенсорную панель, то в этом случае экран может быть реализован как сенсорный экран, принимающий сигналы ввода от пользователя. Сенсорная панель включает один или более датчиков касания, предназначенных для регистрации касаний, скольжений и других жестов на сенсорной панели. Датчики касания могут не только регистрировать границы операций касания или скольжения, но также измерять период времени и величину давления, связанные с этими операциями. В некоторых вариантах осуществления настоящего изобретения мультимедийный компонент 804 включает фронтальную камеру и/или тыловую камеру. Фронтальная камера и/или тыловая камера могут принимать внешние мультимедийные данные, когда устройство 800 находится в определенном режиме работы, например, в режиме фотографирования или в режиме видеосъемки. Как фронтальная камера, так и тыловая камера могут представлять собой фиксированные системы оптических линз или иметь функциональность фокусировки и оптического зуммирования.

[00181] Аудиокомпонент 805 сконфигурирован для вывода и/или ввода аудиосигналов. Например, аудиокомпонент 805 включает микрофон ("MIC"), сконфигурированный для приема внешнего аудиосигнала, когда устройство 800 находится в определенном режиме работы, например, в режиме вызова, в режиме записи или в режиме распознавания голоса. Принятые аудиосигналы могут затем быть сохранены в памяти 802 или переданы при помощи компонента 808 связи. В некоторых из вариантов осуществления настоящего изобретения аудиокомпонент 805 включает также громкоговоритель для вывода аудиосигналов.

[00182] Интерфейс 806 ввода/вывода обеспечивает интерфейс между процессорным компонентом 801 и модулями периферийных интерфейсов, например, клавиатуры, поворотного-нажимного переключателя («колеса»), кнопок и т.п. Кнопки могут включать, без ограничения перечисленным, «домашнюю» кнопку, кнопку громкости, кнопку «пуск» или кнопку блокировки.

[00183] Измерительный компонент 807 включает один или более датчиков, обеспечивающих оценку состояния различных элементов устройства 800. Например, измерительный компонент 807 может обнаруживать состояние «открыто» или «закрыто» устройства 800, относительное расположение компонентов, например, дисплея и клавиатуры устройства 800; также, измерительный компонент 807 может регистрировать изменение позиции устройства 800 или одного из компонентов устройства 800, присутствие или отсутствие контакта пользователя с устройством 800, ориентацию или ускорение/замедление устройства 800 и изменение температуры устройства 800. Измерительный компонент 807 может включать датчик близости, сконфигурированный для обнаружения присутствия приближенных объектов без физического контакта с ними. Измерительный компонент 807 может также включать светочувствительный датчик, например, датчик изображений CMOS или CCD, для использования в приложениях формирования изображений. В некоторых из вариантов осуществления настоящего изобретения измерительный компонент 807 может также включать акселерометрический датчик, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.

[00184] Компонент 808 связи сконфигурирован для обеспечения связи, проводной или беспроводной, между устройством 800 и другими устройствами. Устройство 800 может осуществлять доступ к беспроводной сети, основанной на таких стандартах связи, как WiFi, 2G или 3G, или их комбинации. В одном из примеров осуществления настоящего изобретения компонент 808 связи принимает широковещательный сигнал или соответствующую широковещательную информацию от внешней широковещательной системы управления по широковещательному каналу. В одном из примеров осуществления настоящего изобретения компонент 808 связи включает также модуль ближней бесконтактной связи (near field communication, NFC) для обеспечения связи в ближней зоне. Например, NFC-модуль может быть реализован на базе технологии радиочастотной идентификации (radio frequency identification, RFID), технологии ассоциации передачи данных в инфракрасном диапазоне (infrared data association, IrDA), технологии сверхширокой полосы пропускания (ultra-wideband, UWB), технологии Bluetooth (ВТ) или других технологий.

[00185] В примерах осуществления настоящего изобретения устройство 800 может быть реализовано с использованием одной или более заказных интегральных схем (ASIC), цифровых сигнальных процессоров (DSP), цифровых устройств обработки сигналов (digital signal processing devices, DSPD), программируемых логических устройств (programmable logic devices, PLD), электрически программируемых вентильных матриц (field programmable gate arrays, FPGA), процессорах, контроллерах, микроконтроллерах, микропроцессорах или других электронных блоках, предназначенных для исполнения описанных выше способов.

[00186] В примерах осуществления настоящего изобретения предложен также машиночитаемый носитель, который включает инструкции, например, содержащиеся в памяти 802 и исполняемые процессором 809 в устройстве 800 с целью выполнения описанных выше способов. К примеру, машиночитаемый носитель может представлять собой память ROM, память с произвольным доступом (Random Access Memory, RAM), память в режиме «только для чтения на компакт-диске (Compact Disc Read-Only Memory, CD-ROM), магнитную ленту, гибкий диск, оптическое запоминающее устройство для хранения данных и т.п.

[00187] Когда инструкции, хранимые на машиночитаемом носителе, исполняют при помощи процессора мобильного терминала, то обеспечивается выполнение, этим мобильным терминалом, способа выполнения синхронизации мультимедийных данных, который включает:

[00188] извлечение первого мультимедийного файла и второго мультимедийного файла из мультимедийного файла, подлежащего воспроизведению, причем первый мультимедийный файл воспроизводят на стороне беспроводного вывода, а второй мультимедийный файл воспроизводят на стороне локального вывода;

[00189] динамический контроль задержки беспроводной передачи первого мультимедийного файла; и

[00190] адаптивное регулирование временной позиции воспроизведения второго мультимедийного файла на стороне локального вывода, на основе контролируемой задержки беспроводной передачи первого мультимедийного файла, в результате чего обеспечивается синхронное воспроизведение первого мультимедийного файла и второго мультимедийного файла.

[00191] Специалистами в данной области техники, по прочтении описания или после практического применения изобретения, описанного в настоящем документе, могут быть найдены другие варианты его осуществления. Настоящая заявка призвана охватить все изменения, применения или модификации настоящего изобретения, не отступающие от его основного замысла, включая все отступления от настоящего изобретения, которые известны на существующем уровне техники или являются традиционными техническими средствами в данной области техники. Приведенное описание и варианты осуществления настоящего изобретения следует считать исключительно иллюстративными, при этом истинный объем и сущность изобретения заданы приложенной формулой изобретения.

[00192] Нужно понимать, что настоящее изобретение не ограничено конкретной конструкцией, описанной выше и проиллюстрированной на приложенных чертежах, а также, что в пределах объема настоящего изобретения могут быть выполнены множество различных модификаций и изменений. Объем настоящего изобретения ограничен исключительно приложенной формулой изобретения.