СПОСОБ И УСТРОЙСТВО ДЛЯ РЕДАКТИРОВАНИЯ ВИДЕОФРАГМЕНТОВ В СЖАТОЙ ОБЛАСТИ

Область техники, к которой относится изобретение

Настоящее изобретение относится в общем к кодированию видеоданных, более конкретно к редактированию видеофрагментов.

Уровень техники

Цифровые видеокамеры становятся все более и более распространенными среди широких масс населения. Многие из самых последних мобильных телефонов оборудованы видеокамерами, предлагающими пользователям возможности снимать видеофрагменты и пересылать их по беспроводным сетям.

Цифровые последовательности видеоданных имеют очень большой размер файлов. Даже короткая последовательность видеоданных состоит из десятков изображений. В результате видеоизображения всегда сохраняются и/или передаются в сжатой форме. Существует несколько методов кодирования видеоданных, которые могут использоваться для этой цели. MPEG-4 (Экспертная группа по вопросам движущегося изображения) и H.263 представляют собой наиболее широко используемые стандартные форматы сжатия, подходящие для беспроводных сред сотовой связи.

Чтобы обеспечивать возможность пользователям производить качественные видеоизображения на их терминалах, необходимо обеспечивать возможности редактирования видеофрагментов в электронных устройствах, таких как мобильные телефоны, карманные коммуникационные устройства и ПЦА (персональные цифровые ассистенты), которые оборудованы видеокамерой. Редактирование видеофрагментов представляет собой процесс модифицирования имеющихся в наличии последовательностей видеоданных в новую последовательность видеоданных. Инструментальные средства редактирования видеофрагментов дают возможность пользователям применять набор эффектов к их видеофрагментам, стремясь произвести функционально и эстетически лучшее представление их видеофрагментов. Чтобы применять эффекты редактирования видеофрагментов к последовательностям видеоданных, существует несколько видов серийно выпускаемой программной продукции. Однако, эта программная продукция нацелена главным образом на платформы ПК (персональных компьютеров).

Поскольку ограничения вычислительной мощности, запоминания и хранения в настоящее время не представляют собой проблему в платформе ПК, методы, используемые в такой программной продукции редактирования видеофрагментов, производят операции с последовательностями видеоданных главным образом в их необработанных форматах в пространственной области. Другими словами, сжатые видеоданные сначала декодируются, затем в пространственной области вводятся эффекты редактирования, и, наконец, видеоданные кодируются снова. Это известно как операции редактирования видеофрагментов в пространственной области.

Вышеупомянутая схема не может применяться на устройствах, таких как мобильные телефоны, с низкими ресурсами в вычислительной мощности, пространстве памяти, имеющейся свободной памяти и энергии аккумуляторной батареи. Декодирование последовательности видеоданных и ее повторное кодирование представляют собой дорогостоящие операции, которые занимают много времени и потребляют много энергии аккумуляторной батареи.

В предшествующем уровне техники, эффекты на видеоданных выполняются в пространственной области. Более конкретно, видеофрагмент сначала разуплотняют, а затем выполняют специальные эффекты на видеоданных. Наконец, результирующие последовательности изображений повторно кодируют. Фиг. 1 иллюстрирует общую процедуру при обычном редактировании видеофрагментов. Главный недостаток этого подхода заключается в том, что он является весьма интенсивным в вычислительном отношении, особенно в части кодирования. Такая система является неподходящей для платформы мобильных устройств. Из-за потребностей в операциях в пространственной области, системы редактирования видеофрагментов в мобильных устройствах используются редко, и имеющиеся в наличии свойства редактирования также весьма ограничены.

Таким образом, выгодно и желательно обеспечить способ редактирования видеофрагментов без недостатков процесса предшествующего уровня техники.

Раскрытие изобретения

Настоящее изобретение обеспечивает способ и устройство для редактирования видеофрагментов в сжатой области, в котором используется синтаксический анализатор для отделения звуковых данных от видеоданных в мультимедийном файле так, чтобы звуковые данные и видеоданные можно было редактировать отдельно. В частности, используется анализатор кадров для определения, являются ли видеоданные подходящими для редактирования в сжатой области или для обработки в пространственной области, основываясь на характеристиках кадров входных видеокадров.

Таким образом, первый аспект настоящего изобретения обеспечивает способ редактирования одного или больше входных видеокадров в битовом потоке для обеспечения одного или больше отредактированных видеокадров, где отредактированные видеокадры включают в себя по меньшей мере один эффект редактирования, определяемый одним или больше параметрами редактирования. Способ содержит:

идентифицирование характеристик кадров по меньшей мере для одного входного видеокадра в битовом потоке; и

модифицирование битового потока в сжатой области, основываясь на характеристиках кадров упомянутого по меньшей мере одного кадра и определенных параметрах редактирования, чтобы обеспечивать модифицированный битовый поток, показательный для упомянутых отредактированных видеокадров.

Согласно настоящему изобретению входные видеокадры содержат видеоданные, упомянутое модифицирование содержит модифицирование видеоданных в процессоре обработки в сжатой области, чтобы обеспечивать отредактированные данные кадров.

Согласно настоящему изобретению видеоданные кодируются кодом с переменной длиной (КПРД). Способ дополнительно содержит:

преобразование кодированных КПРД видеоданных в двоичную форму до упомянутого модифицирования. Возможно, что способ дополнительно содержит:

обратное квантование кодированных КПРД видеоданных до упомянутого преобразования,

обработку кодированных КПРД видеоданных в операции обратного косинусного преобразования до упомянутого преобразования.

Согласно настоящему изобретению способ дополнительно содержит:

идентифицирование характеристик кадров по меньшей мере для одного дополнительного видеокадра в битовом потоке;

модифицирование битового потока в дополнительной области, отличающейся от сжатой области, основываясь на характеристиках кадров упомянутого по меньшей мере одного дополнительного видеокадра и определенных параметрах редактирования, чтобы обеспечивать дополнительный модифицированный битовый поток; и

объединение по меньшей мере части дополнительного модифицированного битового потока по меньшей мере с частью модифицированного битового потока.

Дополнительная область представляет собой пространственную область или область форматов файлов.

Согласно настоящему изобретению способ дополнительно содержит:

преобразование отредактированных данных кадров в отредактированный мультимедийный файл для использования в медиаплейере; и

обеспечение информации о формате, показательной для характеристик редактирования отредактированных данных кадров, чтобы преобразовывать отредактированные данные кадров в отредактированный мультимедийный файл, совместимый с медиаплейером.

Согласно настоящему изобретению, когда битовый поток также содержит звуковые данные, отделяемые от видеоданных во входных видеокадрах, способ дополнительно содержит:

объединение звуковых данных с отредактированными данными кадров до упомянутого преобразования;

модифицирование звуковых данных до упомянутого объединения, если это требуется; и

обеспечение информации согласования во времени, чтобы поддерживать синхронизацию между звуковыми данными и отредактированными данными кадров в упомянутом объединении.

Согласно настоящему изобретению параметры редактирования определяются на основании одного или больше предпочтений редактирования, выбираемых пользователем.

Второй аспект настоящего изобретения обеспечивает мультимедийное устройство редактирования для редактирования одного или больше входных видеокадров в битовом потоке, чтобы обеспечивать один или больше отредактированных видеокадров, где отредактированные видеокадры включают в себя по меньшей мере один эффект редактирования, определяемый одним или больше параметрами редактирования. Устройство редактирования содержит:

модуль анализатора кадров, реагирующий на сигналы, показательные для данных видеокадров, для идентифицирования характеристик кадров по меньшей мере для одного входного видеокадра в битовом потоке; и

модуль обработки в сжатой области, реагирующий на сигналы, показательные для характеристик кадров, для модифицирования данных видеокадров, основываясь на характеристиках кадров упомянутого по меньшей мере одного кадра и определенных параметрах редактирования, чтобы обеспечивать модифицированные видеоданные, показательные для упомянутых отредактированных видеокадров.

Согласно настоящему изобретению анализатор кадров дополнительно идентифицирует характеристики кадров по меньшей мере для одного дополнительного видеокадра в битовом потоке. Устройство редактирования дополнительно содержит:

модуль обработки в пространственной области, реагирующий на сигналы, показательные для характеристик кадров дополнительного видеокадра, для модифицирования данных видеокадров в дополнительном видеокадре на основании характеристик кадров дополнительного видеокадра и определенных параметров редактирования, чтобы обеспечивать дополнительные модифицированные видеоданные; и

модуль для объединения по меньшей мере части дополнительных модифицированных видеоданных по меньшей мере с частью модифицированных видеоданных.

Согласно настоящему изобретению устройство редактирования дополнительно содержит:

модуль формирователя форматов, реагирующий на сигналы, показательные для модифицированных видеоданных, чтобы преобразовывать модифицированные видеоданные в отредактированный мультимедийный файл для использования в медиаплейере, и модуль анализатора кадров дополнительно идентифицирует информацию о формате, показательную для характеристик редактирования модифицированных видеоданных, чтобы преобразовывать модифицированные видеоданные в отредактированный мультимедийный файл, совместимый с медиаплейером.

Модуль формирователя форматов может быть файловым формирователем форматов или мультимедийным формирователем форматов.

Согласно настоящему изобретению, когда битовый поток также содержит звуковые данные, устройство редактирования дополнительно содержит:

модуль синтаксического анализатора форматов, для отделения звуковых данных от данных видеокадров во входных видеокадрах;

модуль обработки звуковых данных для модифицирования звуковых данных, чтобы обеспечивать модифицированные звуковые данные, если это требуется;

модуль объединения для объединения модифицированных видеоданных и модифицированных звуковых данных, чтобы обеспечивать объединенные сигналы, показательные для объединенных данных; и

файловый или мультимедийный формирователь форматов, реагирующий на объединенные сигналы, чтобы преобразовывать объединенные данные в отредактированный мультимедийный файл для использования в медиаплейере.

Третий аспект настоящего изобретения обеспечивает устройство связи, способное редактировать мультимедийные файлы, чтобы обеспечивать один или больше эффектов редактирования в одном или больше отредактированных видеокадрах, причем отредактированные мультимедийные файлы содержат один или больше входные видеокадры. Устройство связи содержит:

модуль прикладных программ редактирования видеофрагментов, чтобы обеспечивать возможность пользователю определять эффекты редактирования; и

систему редактирования видеофрагментов, содержащую:

модуль обработки в сжатой области, реагирующий на сигналы, показательные для входных видеокадров, для модифицирования данных видеокадров в одном или больше видеокадрах на основании определенных эффектов редактирования, чтобы обеспечивать модифицированные видеоданные, показательные для упомянутых отредактированных видеокадров; и

модуль анализатора кадров, реагирующий на сигналы, показательные для данных видеокадров, для идентифицирования характеристик кадров по меньшей мере для одного входного видеокадра, чтобы обеспечивать возможность модулю обработки в сжатой области модифицировать данные видеокадров, также основываясь на характеристиках кадров.

Согласно настоящему изобретению анализатор кадров дополнительно идентифицирует характеристики кадров по меньшей мере для одного дополнительного видеокадра в битовом потоке, а система редактирования дополнительно содержит:

модуль обработки в пространственной области, реагирующий на сигналы, показательные для характеристик кадров дополнительного видеокадра, для модифицирования данных видеокадров в дополнительном видеокадре на основании характеристик кадров дополнительного видеокадра и определенных параметров редактирования, чтобы обеспечивать дополнительные модифицированные видеоданные;

модуль для объединения по меньшей мере части дополнительных модифицированных видеоданных по меньшей мере с частью модифицированных видеоданных; и

модуль формирователя форматов, реагирующий на сигналы, показательные для модифицированных видеоданных, чтобы преобразовывать модифицированные видеоданные в отредактированный мультимедийный файл для использования в медиаплейере.

Согласно настоящему изобретению устройство связи дополнительно содержит:

экран дисплея для отображения видеоизображений на основании модифицированных видеоданных.

Устройство связи может быть подвижным терминалом, карманным коммуникационным устройством, ПЦА или подобным устройством.

Четвертый аспект настоящего изобретения обеспечивает программный продукт для использования в системе редактирования видеофрагментов, для редактирования одного или больше входных видеокадров в битовом потоке, чтобы обеспечивать один или больше отредактированных видеокадров, где отредактированные видеокадры включают в себя по меньшей мере один эффект редактирования, определяемый одним или больше параметрами редактирования. Программный продукт содержит:

код для идентифицирования характеристик кадров по меньшей мере для одного входного видеокадра в битовом потоке; и

код для модифицирования видеоданных в одном или больше входных видеокадрах в сжатой области, основываясь на характеристиках кадров упомянутого по меньшей мере одного кадра и определенных параметрах редактирования, чтобы обеспечивать модифицированные видеоданные, показательные для упомянутых отредактированных видеокадров.

Согласно настоящему изобретению, когда входные видеокадры содержат видеоданные, кодированные кодом с переменной длиной (КПРД), программный продукт дополнительно содержит:

код для преобразовывания кодированных КПРД видеоданных в двоичную форму до модифицирования видеоданных в одном или больше входных видеокадрах.

Согласно настоящему изобретению код идентифицирования также идентифицирует характеристики кадров по меньшей мере для одного дополнительного входного видеокадра, и программный продукт дополнительно содержит:

код для модифицирования видеоданных в одном или больше дополнительных входных видеокадрах в дополнительной области, отличающейся от сжатой области, основываясь на характеристиках кадров упомянутого дополнительного входного видеокадра и определенных параметрах редактирования, чтобы обеспечивать модифицированные дополнительные видеоданные. Дополнительная область может быть пространственной областью или областью форматов файлов.

Согласно настоящему изобретению программный продукт также содержит:

код для объединения модифицированных дополнительных видеоданных с модифицированными видеоданными, чтобы обеспечивать отредактированные видеокадры; и

код для преобразования модифицированных видеоданных в отредактированный мультимедийный файл для использования в медиаплейере.

Пятый аспект настоящего изобретения обеспечивает мультимедийную систему кодирования, содержащую:

мультимедийный кодер для кодирования мультимедийных данных, чтобы обеспечивать закодированные мультимедийные данные в множестве кадров, имеющих данные кадров;

мультимедийное устройство редактирования, реагирующее на закодированные мультимедийные данные, чтобы обеспечивать отредактированные данные, включающие в себя один или больше отредактированных кадров, причем отредактированные кадры имеют по меньшей мере один эффект редактирования, определяемый одним или больше параметрами редактирования, и

мультимедийный декодер, реагирующий на отредактированные данные, чтобы обеспечивать декодированные мультимедийные данные, в котором устройство редактирования содержит:

модуль анализатора кадров, реагирующий на сигналы, показательные для закодированных данных, для идентифицирования характеристик кадров по меньшей мере для одного кадра в закодированных данных; и

модуль обработки в сжатой области, реагирующий на сигналы, показательные для характеристик кадров, для модифицирования закодированных данных кадров, основываясь на характеристиках кадров упомянутого по меньшей мере одного кадра и определенных параметрах редактирования, чтобы обеспечивать модифицированные мультимедийные данные, показательные для упомянутых отредактированных мультимедийных кадров.

Согласно настоящему изобретению мультимедийный кодер имеет механизм обеспечения связи, и устройство редактирования имеет дополнительный механизм обеспечения связи, для обеспечения возможности устройству редактирования осуществлять связь с мультимедийным декодером, чтобы принимать оттуда закодированные мультимедийные данные беспроводным способом.

Согласно настоящему изобретению мультимедийный декодер имеет механизм обеспечения связи, и устройство редактирования имеет дополнительный механизм обеспечения связи, для обеспечения возможности устройству редактирования передавать отредактированные данные в мультимедийный декодер беспроводным способом.

Согласно настоящему изобретению мультимедийный кодер и система редактирования объединены в расширенной системе кодирования.

Согласно настоящему изобретению мультимедийный декодер имеет механизм обеспечения связи, и расширенная система кодирования имеет дополнительный механизм обеспечения связи, для обеспечения возможности расширенной системе кодирования передавать отредактированные данные в мультимедийный декодер беспроводным способом.

Согласно настоящему изобретению мультимедийный декодер и система редактирования объединены в расширенной системе декодирования.

Согласно настоящему изобретению мультимедийный кодер имеет механизм обеспечения связи, и расширенная система декодирования имеет дополнительный механизм обеспечения связи, для обеспечения возможности мультимедийному кодеру передавать отредактированные данные в расширенную систему декодирования беспроводным способом.

Согласно настоящему изобретению каждый из механизма обеспечения связи и дополнительного механизма обеспечения связи содержит модуль обеспечения связи bluetooth, модуль инфракрасного диапазона или беспроводное устройство ЛС (локальной сети).

Настоящее изобретение станет очевидным после прочтения описания, приведенного в связи с фиг. 2 - 10.

Краткое описание чертежей

Фиг. 1 - блок-схема, иллюстрирующая процесс редактирования видеофрагментов предшествующего уровня техники.

Фиг. 2 - схематическое представление, иллюстрирующее принцип редактирования видеофрагментов в сжатой области, согласно настоящему изобретению.

Фиг. 3 - блок-схема, иллюстрирующая типичную систему редактирования видеофрагментов для мобильных устройств.

Фиг. 4 - блок-схема, иллюстрирующая систему процессора редактирования видеофрагментов, согласно настоящему изобретению.

Фиг. 5 - блок-схема, иллюстрирующая процессор обработки видеоданных, согласно настоящему изобретению.

Фиг. 6 - блок-схема, иллюстрирующая процессор обработки видеоданных в пространственной области.

Фиг. 7 - блок-схема, иллюстрирующая процессор обработки звуковых данных.

Фиг. 8 - схематическое представление, иллюстрирующее типичную последовательность видеоданных, подлежащую редактированию.

Фиг. 9 - схематическое представление, иллюстрирующее портативное устройство, которое может выполнять редактирование видеофрагментов в сжатой области, согласно настоящему изобретению.

Фиг. 10 - блок-схема, иллюстрирующая мультимедийную систему кодирования, которая включает в себя процессор обработки видеоданных, согласно настоящему изобретению.

Осуществление изобретения

Процедура редактирования видеофрагментов согласно настоящему изобретению основана на операциях в сжатой области. По существу, она снижает использование модулей декодирования и кодирования. Как показано на фиг. 2, редактирование выполняется в процессоре обработки в сжатой области. Фиг. 3 иллюстрирует типичную систему редактирования, предназначенную для устройства связи, такого как мобильный телефон. Эта система редактирования может включать в себя способ и устройство редактирования видеофрагментов согласно настоящему изобретению. Система 10 редактирования видеофрагментов, как показано на фиг. 3, содержит модуль 12 прикладных программ редактирования видеофрагментов (графических интерфейсов пользователя), который взаимодействует с пользователем, чтобы производить обмен предпочтениями редактирования видеофрагментов. Прикладная программа использует механизм 14 редактирования видеофрагментов, основываясь на предпочтениях редактирования, определяемых или выбираемых пользователем, чтобы вычислять и выводить параметры редактирования видеофрагментов для модуля 18 обработки редактирования видеофрагментов. Модуль 18 процессора редактирования видеофрагментов использует принцип редактирования в сжатой области, чтобы выполнять фактические операции редактирования видеофрагментов. Если операции редактирования видеофрагментов реализуются в программном обеспечении, модуль 18 процессора редактирования видеофрагментов может быть динамически подсоединяемой библиотекой (ДПБ). Кроме того, механизм 14 редактирования видеофрагментов и процессор 18 редактирования видеофрагментов могут быть объединены в единый модуль.

Блок-схема верхнего уровня модуля 18 процессора редактирования видеофрагментов показана на фиг. 4. Как показано, модуль 18 процессора редактирования принимает мультимедийный файл 100, который обычно является файлом видеоданных, который может иметь вложенные звуковые данные. Модуль 18 обработки редактирования выполняет желательные операции редактирования видеоданных и звуковых данных в сжатой области и выводит отредактированный мультимедийный файл 180. Модуль процессора 18 редактирования видеофрагментов состоит из четырех основных блоков: синтаксический анализатор 20 форматов файлов, процессор 30 обработки видеоданных, процессор 60 обработки звуковых данных и файловый формирователь 80 форматов.

A. Синтаксический анализатор форматов файлов:

Мультимедийные файлы, такие как видеоданные и звуковые данные, почти всегда находятся в некотором стандартном закодированном формате, таком как H.263, MPEG-4 для видеоданных и AMR-NB (автоматическая регистрация сообщений - узкополосная), CELP (линейное предсказание с кодовым возбуждением) для звуковых данных. Кроме того, сжатые мультимедийные данные обычно сворачиваются в формате файлов, таком как MP4 или 3GP. Формат файлов содержит информацию о мультимедийном содержимом, которое можно эффективно использовать, чтобы обращаться, извлекать и обрабатывать части мультимедийных данных. Назначение синтаксического анализатора форматов файлов заключается в том, чтобы считывать в индивидуальных кадрах видеоданных и звуковых данных, и их соответствующих характеристик, таких как размер кадра видеоданных, его временная метка, и является ли кадр кадром внутренним или нет. Синтаксический анализатор 20 форматов файлов считывает индивидуальные мультимедийные файлы из мультимедийного файла 100 наряду с их характеристиками кадров, и передает эту информацию в процессор обработки мультимедийных данных. Данные видеокадров и характеристики видеокадров 120 передаются в процессор 30 обработки видеоданных, в то время как данные звуковых кадров и характеристики звуковых кадров 122 передаются в процессор 60 обработки звуковых данных, как показано на фиг. 4.

B. Процессор обработки видеоданных

Процессор 30 обработки видеоданных принимает данные видеокадров и их соответствующие характеристики, наряду с параметрами редактирования (все вместе обозначены ссылочной позицией 120), чтобы применить к мультимедийному фрагменту. Параметры редактирования перегоняются механизмом 14 редактирования видеофрагментов в модуль 18 процессора редактирования видеофрагментов, чтобы указать операцию редактирования, подлежащую выполнению на мультимедийном фрагменте. Процессор 30 обработки видеоданных берет эти параметры редактирования и выполняет операцию редактирования на видеокадре в сжатой области. Выходной сигнал процессора обработки видеоданных представляет собой отредактированный видеокадр наряду с характеристиками кадра, которые корректируются, чтобы отразить изменения в отредактированном видеокадре. Подробности процессора 30 обработки видеоданных показаны на фиг. 5. Как показано, процессор 30 обработки видеоданных состоит из следующих модулей:

B.1. Анализатор кадров

Основная функция анализатора 32 кадров заключается в том, чтобы просматривать характеристики кадров и определять тип обработки, подлежащей применению к нему. Различные кадры видеофрагмента могут подвергаться различным типам обработки, в зависимости от характеристик кадров и параметров редактирования. Анализатор кадров принимает критическое решение относительно типа обработки, подлежащей применению к конкретному кадру. Типичный битовый поток видеоданных показан на фиг. 8. Различные части битового потока будут подвергаться воздействию различными способами, в зависимости от характеристик кадров битового потока и определенных параметров редактирования. Как показано на фиг. 8, некоторые участки битового потока не включены в выводимый кинофильм, и они будут отброшены. Некоторые будут отброшены только после декодирования. Другие будут повторно кодироваться для преобразования из P- в I-кадр. Некоторые будут редактироваться в сжатой области и добавлены к выводимому кинофильму, в то время как другие будут просто скопированы в кинофильм без каких-либо изменений. Работа анализатора кадров заключается в выполнении всех этих критических решений.

B.2. Процессор обработки в сжатой области

Обработка ядра кадра в сжатой области выполняется в процессоре 34 обработки в сжатой области. Сжатые видеоданные изменяются так, чтобы применить желательный эффект редактирования. Этот модуль может выполнять множество различных видов операций на сжатых данных. Одной из обычных операций среди них является прикладная программа эффекта черно-белого изображения, где цветной кадр изменяется на черно-белый кадр посредством удаления данных о цвете из сжатых видеоданных. Другие эффекты, которые могут быть выполнены этим модулем, представляют собой специальные эффекты (такие как фильтрация цвета, сепия и т.д.) и переходные эффекты (такие как постепенное появление и постепенное исчезновение и т.д.) Следует отметить, что модуль не ограничен только этими эффектами, а может использоваться для выполнения всех возможных видов редактирования в сжатой области.

Видеоданные обычно представляют собой кодированные КПРД (кодом с переменной длиной) данные. Следовательно, чтобы выполнять редактирование в сжатой области, данные сначала декодируются КПРД так, чтобы данные могли быть представлены в обычной двоичной форме. Затем двоичные данные редактируются в соответствии с желательным эффектом, и после этого отредактированные двоичные данные кодируются КПРД снова, чтобы привести их обратно в совместимую сжатую форму. Кроме того, некоторое эффекты редактирования могут требовать большего, чем декодирование КПРД. Например, данные сначала подвергаются обратному квантованию и/или ОДКП (обратному дискретному косинусному преобразованию), а затем редактируются. Отредактированные данные повторно квантуются и/или подвергаются операциям ДКП (дискретного косинусного преобразования) к совместимой сжатой форме.

B.3. Декодер

Хотя настоящее изобретение занимается обработкой в сжатой области, все еще имеется необходимость декодировать кадры. Как показано на фиг. 5, процессор 30 обработки видеоданных содержит декодер 36, оперативно связанный с анализатором 32 кадров и процессором 34 обработки в сжатой области, возможно, через кодер 38. Возьмем показанный на фиг. 8 битовый поток видеоданных в качестве примера, если начальная точка разделения во входных видеоданных попадает на P-кадр, то этот кадр просто не может быть включен в выводимый кинофильм как P-кадр. Первый кадр последовательности видеоданных должен всегда начинаться с I-кадра. Следовательно, существует потребность преобразовывать этот P-кадр в I-кадр.

Чтобы преобразовать P-кадр в I-кадр, кадр сначала должен быть декодирован. Кроме того, поскольку это P-кадр, декодирование должно начаться, отступив полностью назад к первому I-кадру, предшествующему начальной точке разделения. Следовательно, требуется соответствующий декодер для декодирования кадров декодером 36 от предшествующего I-кадра до первого включенного кадра. Этот кадр затем посылается в кодер 38 для повторного кодирования.

B.4. Процессор обработки в пространственной области

В систему редактирования в сжатой области согласно настоящему изобретению можно включать процессор 50 обработки в пространственной области. Процессор 50 обработки в пространственной области используется главным образом в ситуации, где обработка в сжатой области конкретного кадра невозможна. Могут быть некоторое эффекты, специальные или переходные, которые невозможно применять непосредственно к сжатым двоичным данным. В такой ситуации, кадр декодируется, и эффекты применяются в пространственной области. Отредактированный кадр затем посылается в кодер для повторного кодирования.

Процессор обработки 50 в пространственной области может быть разбит на два отдельных модуля, как показано на фиг. 6. Процессор 52 специальных эффектов используется для применения к кадру специальных эффектов (типа эффекта старого кинофильма и т.д.). Процессор 54 переходных эффектов используется для применения к кадру переходных эффектов (типа переходных эффектов разделения на слои и т.д.).

B.5. Кодер

Если кадр должен быть преобразован из P- в I-кадр или если какой-нибудь эффект должен быть применен к кадру в пространственной области, то кадр декодируются декодером, и дополнительный эффект применяется в пространственной области. Затем отредактированный необработанный видеокадр посылается в кодер 38, где он опять сжимается к требуемому типу кадра (P- или I-), как показано на фиг. 5.

B.6. Предформирователь

Основная функция предформирователя 40, как показано на фиг. 5, заключается в корректировании характеристик отредактированного кадра так, чтобы он был готов к формированию файловым формирователем 80 форматов (фиг. 4).

Когда кадр редактируется в сжатой области, размер кадра изменяется. Кроме того, продолжительность времени и временная метка кадра могут изменяться. Например, если к последовательности видеоданных применяется замедленное движение, продолжительность времени кадра, а также ее временная метка, изменятся. Аналогичным образом, если кадр принадлежит видеофрагменту, который является не первым видеофрагментом в выводимом кинофильме, то временная метка кадра будет перемещена так, чтобы регулировать по времени первого видеофрагмента, даже при том, что индивидуальная продолжительность кадра не будет изменена.

Если кадр преобразуется из P-кадра в I-кадр, то тип кадра изменяется от внешнего к внутреннему. Также, всякий раз, когда кадр декодируется и повторно кодируется, это, вероятно, будет вызывать изменение в кодированном размере кадра. Все эти изменения в характеристиках отредактированного кадра должны быть откорректированы и отражены должным образом. Формирователь использует эти характеристики кадров для формирования выводимого кинофильма в соответствующем формате файлов. Если характеристики кадров правильно не откорректированы, кинофильм не может быть сформирован.

C. Процессор обработки звуковых данных

Видеофрагменты обычно имеют звуковые данные, внедренные внутри них. Процессор 60 обработки звуковых данных, как показано на фиг. 4 и 7, используется для обработки звуковых данных во входных видеофрагментах в соответствии с параметрами редактирования, чтобы производить желательный звуковой эффект в выводимом кинофильме.

В системе редактирования могут быть много различных видов операций со звуковыми данными, как показано на фиг. 7. Наиболее обычными среди этих операций, например, являются: сохранение исходных звуковых данных, замена на новые звуковые данные и выключение звука. После приема данных звукового кадра и информации 121 о звуковом кадре, включающей в себя желательный звуковой эффект, определяемый параметрами редактирования, от синтаксического анализатора 20 форматов файлов, процессор 62 обработки информации выясняет, какие виды операций со звуковыми данными определены, и посылает различные данные в данных звуковых кадров в разные модули обработки звуковых данных для обработки.

C.1. Сохранение исходных звуковых данных

Наиболее обычный случай в обработке звуковых данных в процессоре обработки звуковых данных состоит в сохранении исходных звуковых данных в отредактированном видеофрагменте. В этом случае, необходимые видеокадры извлекаются из видеофрагмента 162a и включаются в выходной отредактированный фрагмент 164 модулем 64 экстрактора кадров. Критическим является, чтобы при включении исходных звуковых данных поддерживалась надлежащая синхронизация звуковых данных/видеоданных. Видеофрагмент может быть вырезан от любой произвольной точки. Точки разделения видеоданных и звуковых данных должны быть точно согласованы, чтобы избегать любого ухода звука в отредактированном видеофрагменте. В связи с этим, для синхронизации в процессор обработки звуковых данных подается информация 132 согласования во времени относительно видеоданных. С помощью процессора 65 обработки звуковых данных в сжатой области можно обрабатывать кадр 164 звуковых данных в сжатой области. Например, если процессор 65 включает в себя различные подмодули и вспомогательные программы, можно получить различные операции в сжатой области, такие как замирание звука, фильтрация звука, микширование звука, специальные звуковые эффекты и т.п.

C.2. Замена на новые звуковые данные

Также возможно, чтобы процессор обработки звуковых данных включал звуковые данные из другого источника и заменял исходные звуковые данные в видеофрагменте на новую выборку звуковых данных. Также возможно вставлять эту новую выборку звуковых данных в любой точке в выводимом кинофильме и в течение любой продолжительности выводимого кинофильма. Если новая выборка звуковых данных имеет более короткую продолжительность, чем продолжительность, которую нужно вставить, то процессор обработки звуковых данных может запускать по кругу звуковые данные так, чтобы они неоднократно воспроизводились в течение полной продолжительности вставки звуковых данных. Для целей замены звуковых данных, экстрактор 68 кадров (которым может быть тот же самый экстрактор 64) оперативно связан с источником 67 звуковых данных для получения новой выборки 167 звуковых данных и выводит новую выборку звуковых данных в качестве новых кадров 168 звуковых данных при надлежащем согласовании во времени. С помощью процессора 69 обработки звуковых данных в сжатой области возможно обрабатывать кадр 168 звуковых данных в сжатой области. Например, если процессор 69 включает в себя различные подмодули и вспомогательные программы, можно получить различные операции в сжатой области, такие как замирание звука, фильтрация звука, микширование звука, специальные звуковые эффекты и т.п.

C.3. Выключение звука

Процессор обработки звуковых данных также способен выключать исходные звуковые данные в течение любой продолжительности выводимого кинофильма таким образом, чтобы отредактированный кинофильм не имел никакого звука в течение продолжительности выключения. Существуют различные пути выключения звука в кинофильме. Возможно, что процессор обработки звуковых данных просто не передает какие-нибудь звуковые кадры в течение конкретной продолжительности, когда звуковые данные должны быть выключены. В качестве альтернативы, используется генератор 66 неозвученных кадров, чтобы вставлять "неозвученные" звуковые кадры 166 в данные звуковых кадров так, что при воспроизведении звуковые кадры создают эффект тишины или выключения звука в выводимом кинофильме.

Выходные сигналы от различных модулей обработки звуковых данных, таких как экстракторы 64, 68 кадров и генератор 66 неозвученных кадров, объединяются в модуле 70 объединения звуковых кадров, чтобы обеспечивать обработанные звуковые кадры 170. Выходной сигнал 170 от модуля 70 объединения звуковых кадров можно дополнительно подвергнуть обработке звуковых данных в сжатой области, с помощью которой вставленные звуковые кадры редактируются в сжатой области с целью изменения их содержимого процессором 71 обработки звуковых данных в сжатой области. Процессор 71 обработки звуковых данных можно использовать в дополнение к процессорам 65 и 67 обработки звуковых данных, или вместо процессоров 65 и 67 обработки звуковых данных.

Следует отметить, что обработка звуковых данных не ограничена только этими тремя операциями. Может быть любое количество различных возможностей обработки звуковых данных, включенных в процессор обработки звуковых данных, таких как микширование звука, поддержка множества каналов звукового сопровождения и т.д. Приведенное выше обсуждение представлено только для иллюстративных целей.

Звуковые кадры в общем короче по продолжительности, чем их соответствующие видеокадры. Следовательно, для каждого видеокадра в выводимом кинофильме включаются в общем больше чем один звуковой кадр. Поэтому, необходим сумматор в процессоре обработки звуковых данных, чтобы собирать все звуковые кадры, соответствующие конкретному видеокадру, в правильном порядке согласования во времени. Обработанные звуковые кадры затем посылаются в формирователь для формирования их в выводимом кинофильме.

D. Файловый формирователь форматов

Как только мультимедийные кадры (видеоданных, звуковых данных и т.д.) отредактированы и обработаны, они посылаются в файловый формирователь 80 форматов, как показано на фиг. 4. Формирователь 80 принимает отредактированные видео 130 и звуковые кадры 160, наряду с их соответствующими характеристиками кадров, такими как размер кадра, отметки времени кадра, тип кадра (например, P- или I-), и т.д. Затем он использует эту информацию о кадрах, чтобы составлять и сворачивать данные мультимедийных кадров в надлежащем формате файла и с надлежащей информацией согласования во времени видеоданных и звуковых данных. Результатом является заключительный отредактированный мультимедийный файл 180 в соответствующем формате файла, проигрываемом на любом совместимом медиа-плейере.

Настоящее изобретение, как описано выше, обеспечивает преимущество, заключающееся в том, что операции редактирования видеофрагментов могут быть реализованы в маленьких портативных устройствах, таких как мобильный телефон, карманное коммуникационное устройство, персональный цифровой ассистент (ПЦА), который оборудован видеокамерой или способен принимать видеоданные от внешнего источника. Фиг. 9 изображает схематическое представление портативного устройства, которое можно использовать для редактирования видеофрагментов в сжатой области, в соответствии с настоящим изобретением. Как показано на фиг. 9, портативное устройство 1 содержит дисплей 5, который может использоваться, например, для отображения видеоизображения. Устройство 1 также содержит систему 10 редактирования видеофрагментов, включающую в себя прикладную программу 12 редактирования видеофрагментов, механизм 14 редактирования видеофрагментов и процессор 18 редактирования видеофрагментов, как показано на фиг. 3. Процессор 18 редактирования видеофрагментов принимает входной мультимедийный файл 100 от источника 210 мультимедийных файлов и передает выходной мультимедийный файл 180 в приемник 220 мультимедийных файлов. Источником 210 мультимедийных файлов может быть видеокамера, которая может быть частью портативного устройства 1. Однако, источником 210 мультимедийных файлов может быть приемник видеосигнала, оперативно связанный с видеокамерой. Приемник видеосигнала может быть частью портативного устройства. Кроме того, источником 210 мультимедийных файлов может быть приемник битового потока, который является частью портативного устройства, для приема битового потока, показательного для входного мультимедийного файла. Отредактированный мультимедийный файл 180 может быть отображен на дисплее 5 портативного устройства 1. Однако, отредактированный мультимедийный файл 180 может быть передан в приемник мультимедийных файлов, такой как среда для хранения информации, передатчик видеосигналов. Среда для хранения информации и передатчик видеосигналов также могут быть частью портативного устройства. Кроме того, приемник 220 мультимедийных файлов также может быть внешним устройством отображения. Следует отметить, что портативное устройство 1 также содержит вспомогательную программу 7, чтобы выполнять многие из процедур редактирования в сжатой области, как описано со ссылкой на фиг. 4, 5 и 7. Например, вспомогательная программа 7 может использоваться для синтаксического анализа форматов файлов, формирования форматов файлов, анализа кадров и обработки кадров в сжатой области.

Следует отметить, что процессор 18 редактирования видеофрагментов в сжатой области по настоящему изобретению может быть включен в систему кодирования видеофрагментов, как показано на фиг. 10. Как показано на фиг. 10, система 300 кодирования содержит кодер 310 видеоданных, декодер 330 видеоданных и систему 2 редактирования видеофрагментов. Система 2 редактирования может быть включена в отдельное электронное устройство, типа портативного устройства 1 на фиг. 9. Однако, система 2 редактирования также может быть включена в распределенную систему кодирования. Например, система 2 редактирования может быть реализована в расширенном декодере 360, наряду с декодером 330 видеоданных, чтобы обеспечивать декодированные видеоданные 190 для отображения на устройстве 332 отображения. В качестве альтернативы, система 2 редактирования реализована в расширенном кодере 350, наряду с кодером 310 видеоданных, чтобы передавать отредактированные видеоданные в отдельный декодер 330 видеоданных. Отредактированные видеоданные также могут быть направлены в передатчик 320 для передачи, или в запоминающее устройство 340 для хранения.

Некоторые или все компоненты 2, 310, 320, 330, 332, 340, 350, 360 могут быть оперативно связаны с контроллером 356 возможности соединения (или 356', 356") так, чтобы они могли работать как действующие дистанционно устройства одним из многих различных способов, типа bluetooth, инфракрасного диапазона, беспроводной ЛС. Например, расширенный кодер 350 может осуществлять связь с декодером 330 видеоданных через беспроводную связь. Аналогичным образом, система 2 редактирования может отдельно осуществлять связь с кодером 310 видеоданных для приема оттуда данных и с декодером 330 видеоданных, чтобы обеспечивать для него данные.

Таким образом, хотя изобретение было описано относительно одного или большего количества вариантов осуществления, специалистам в данной области техники должно быть понятно, что можно делать вышеизложенные и различные другие видоизменения, исключения и отклонения в его форме и деталях, не выходя при этом за рамки объема данного изобретения.