УСТРОЙСТВО И СПОСОБ ДЕКОДИРОВАНИЯ КОДИРОВАННОГО АУДИОСИГНАЛА ДЛЯ ПОЛУЧЕНИЯ МОДИФИЦИРОВАННЫХ ВЫХОДНЫХ СИГНАЛОВ

Настоящее изобретение относится к кодированию аудиообъектов и, в частности, к кодированию аудиообъектов с использованием сигнала понижающего микширования после мастеринга в качестве транспортного канала.

Недавно были предложены параметрические методы эффективной в отношении битовой скорости передачи/хранения аудиосцен, содержащих множество аудиообъектов, в области аудиокодирования [BCC, JSC, SAOC, SAOC1, SAOC2] и разделения информационных источников [ISS1, ISS2, ISS3, ISS4, ISS5, ISS6]. Эти методы предназначены для реконструкции нужной выходной аудиосцены или объекта источника аудиосигнала на основании дополнительной вспомогательной информации, описывающей переданную/сохраненную аудиосцену и/или объекты источника в аудиосцене. Эта реконструкция происходит на декодере с использованием схемы параметрического разделения информационных источников.

Здесь, в основном, делается упор на операцию пространственного кодирования аудиообъектов (SAOC) [SAOC] MPEG, но те же принципы также справедливы для других систем. Основные операции системы SAOC представлены на фиг. 5. Без потери общности, для улучшения удобочитаемости уравнений, для всех введенных переменных индексы, обозначающие зависимость от времени и частоты, опущены в этом документе, если не указано обратное. Система принимает N входных аудиообъектов и инструкции, как следует микшировать эти объекты, например, в форме матрицы D понижающего микширования. Входные объекты можно представить в виде матрицы S размером . Кодер извлекает параметрическую и, возможно, также вспомогательную информацию на основе формы волны, описывающую объекты. В SAOC вспомогательная информация состоит, в основном, из информации относительной энергии объекта, параметризованной разностями на уровне объектов (OLD) и из информации корреляций между объектами, параметризованными межобъектными корреляциями (IOC). Необязательная вспомогательная информация на основе формы волны в SAOC описывает ошибку реконструкции параметрической модели. Помимо извлечения этой вспомогательной информации, кодер обеспечивает сигнал понижающего микширования с M каналами, созданными с использованием информации в матрице понижающего микширования D размером . Сигналы понижающего микширования можно представить в виде матрицы X размером со следующим соотношением с входными объектами: . Обычно выполняется соотношение , но это не является строгим требованием. Сигналы понижающего микширования и вспомогательная информация передаются или сохраняются, например, с помощью аудиокодека, например MPEG-2/4 AAC. Декодер SAOC принимает сигналы понижающего микширования и вспомогательную информацию, и дополнительная информация рендеринга, часто в форме матрицы M рендеринга размером , описывающей, как выводить с K каналами, относится к исходным входным объектам.

Основные операционные блоки декодера SAOC изображены на фиг. 6 и будут кратко рассмотрены ниже. Сначала вспомогательная информация декодируется и надлежащим образом интерпретируется. Блок разделения (виртуальных) объектов использует вспомогательную информацию и пытается (виртуально) реконструировать входные аудиообъекты. Операция именуется “виртуальной”, поскольку обычно не требуется в явном виде реконструировать объекты, но следующий этап рендеринга может объединяться с этим этапом. Реконструкции (виртуальных) объектов все же могут содержать ошибки реконструкции. Реконструкции (виртуальных) объектов можно представить в виде матрицы размером . Система принимает информацию рендеринга извне, например, из взаимодействия с пользователем. В контексте SAOC, информация рендеринга описана как матрица M рендеринга, задающая, как следует объединять реконструкции объектов для создания выходных сигналов . Выходные сигналы можно представить в виде матрицы Y размером , которая является результатом применения матрицы M рендеринга к реконструированным объектам в виде .

Разделение (виртуальных) объектов в SAOC действует, в основном, с использованием параметрической вспомогательной информации для определения коэффициентов без микширования, которые затем будут применяться к сигналам понижающего микширования для получения реконструкций (виртуальных) объектов. Заметим, что полученное таким образом воспринимаемое качество может быть недостаточно для некоторых применений. По этой причине SAOC обеспечивает также режим улучшенного качества для до четырех исходных входных аудиообъектов. Эти объекты, именуемые расширенными аудиообъектами (EAO), связаны с сигналами коррекции во временной области, минимизирующими разность между реконструкциями (виртуальных) объектов и исходными входными аудиообъектами. EAO можно реконструировать с помощью очень малых разностей формы волны от исходного входного аудиообъекта.

Одно основное свойство системы SAOC состоит в том, что сигналы понижающего микширования могут быть построены таким образом, что их можно слушать, и они образуют семантически значимую аудиосцену. Это позволяет пользователям без приемника, способного декодировать информацию SAOC, все же наследоваться основным аудиоконтентом без возможных улучшений SAOC. Например, будет возможно применять вышеописанную систему SAOC с радио или телевизионным вещанием с обратной совместимостью. Было бы практически невозможно обменять все приемники, установленные только для добавления некоторых несущественных функциональных возможностей. Вспомогательная информация SAOC обычно является довольно компактной, и ее можно включать в транспортный поток сигнала понижающего микширования. Традиционные приемники просто игнорируют вспомогательную информацию SAOC и выводят сигналы понижающего микширования, и приемники, включающие в себя декодер SAOC, может декодировать вспомогательную информацию и обеспечивать некоторые дополнительные функциональные возможности.

Однако, в особенности, в случае широковещательного использования, сигнал понижающего микширования, созданный кодером SAOC, будет дополнительно подвергаться последующей обработке широковещательной станцией по эстетическим или техническим соображениям до передачи. Возможно, что звукооператор захочет отрегулировать аудиосцену в соответствии со своим художественным видением, или сигнал нужно манипулировать для согласования со звуковым изображением товарного знака вещателя, или сигнал следует манипулировать для согласования с некоторыми техническими правилами, например, рекомендациями и правилами, касающимися громкости аудиосигнала. При манипулировании сигнала понижающего микширования, блок-схема операций над сигналом, показанная на фиг. 5, меняется на показанную на фиг. 7. Здесь предполагается, что исходная манипуляция понижающего микширования мастеринга сигнала понижающего микширования применяет некоторую функцию к каждому из сигналов понижающего микширования, получая манипулированные сигналы понижающего микширования. Также возможно, что фактически передаваемые сигналы понижающего микширования не происходят из сигналов, созданных кодером SAOC, но целиком обеспечиваются извне, но эта ситуация включена в рассмотрение, поскольку также является манипуляцией созданного кодером сигнала понижающего микширования.

Манипуляция сигналов понижающего микширования может создавать проблемы на декодере SAOC при разделении (виртуальных) объектов, поскольку сигналам понижающего микширования на декодере больше не обязательно совпадать с моделью, передаваемой через вспомогательную информацию. В особенности, когда вспомогательная информация формы волны ошибки предсказания передается для EAO, она очень чувствительна к изменениям формы волны в сигналах понижающего микширования.

Следует отметить, что MPEG SAOC [SAOC] задан для максимального из двух сигналов понижающего микширования и одного или двух выходных сигналов, т.е., . Однако размеры распространены здесь на общий случай, поскольку это распространение довольно очевидно и помогает описанию.

В [PDG, SAOC] было предложено маршрутизировать манипулированные сигналы понижающего микширования также на кодер SAOC, извлекать некоторую дополнительную вспомогательную информацию и использовать эту вспомогательную информацию на декодере для снижения разностей между сигналами понижающего микширования, отвечающими модели микширования SAOC, и манипулированными сигналами понижающего микширования, доступными на декодере. Основная идея маршрутизации представлена на фиг. 8А с дополнительным соединением обратной связи от манипуляции понижающего микширования на кодер SAOC. Современный стандарт MPEG для SAOC [SAOC] включает в себя части предложения [PDG], в основном, фокусируясь на параметрической компенсации. Оценивание параметров компенсации здесь не описано, но читателю предлагается обратиться к информативному приложению D.8 стандарта MPEG SAOC [SAOC].

Вспомогательная информация коррекции упаковывается в поток вспомогательной информации и передается и/или сохраняется поблизости. Декодер SAOC декодирует вспомогательную информацию и использует вспомогательную информацию модификации понижающего микширования для компенсации манипуляций до основной обработки SAOC. Это представлено на фиг. 8В. Стандарт MPEG SAOC задает, что вспомогательная информация компенсации состоит из коэффициентов усиления для каждого сигнала понижающего микширования. Они обозначаются как , где – индекс сигнала понижающего микширования. Отдельные параметры сигнала можно собирать в матрицу . Когда манипулированные сигналы понижающего микширования обозначаются как матрица , скомпенсированные сигналы понижающего микширования, подлежащие использованию в основной обработке SAOC можно получить согласно .

В [PDG] также предложено включать остаточные сигналы формы волны, описывающие разность между параметрически скомпенсированными манипулированными сигналами понижающего микширования и сигналами понижающего микширования, созданными кодером SAOC. Однако это не является частью стандарта MPEG SAOC [SAOC].

Преимущество компенсации состоит в том, что сигналы понижающего микширования, принятые блоком разделения (виртуальных) объектов SAOC, ближе к сигналам понижающего микширования, созданным кодером SAOC и лучше совпадают с переданной вспомогательной информацией. Часто это приводит к снижению артефактов в реконструкциях (виртуальных) объектов.

Сигналы понижающего микширования, используемые разделением (виртуальных) объектов, аппроксимируют неманипулированные сигналы понижающего микширования, созданные на кодере SAOC. В результате, выходной сигнал после рендеринга будет аппроксимировать результат, который был бы получен путем применения, часто заданных пользователем, инструкций рендеринга на исходных входных аудиообъектах. Если задано, что информация рендеринга должна быть идентична или очень близка к информации понижающего микширования, другими словами, выходные сигналы будут напоминать созданные кодером сигналы понижающего микширования: . Помня, что манипуляция сигнала понижающего микширования может осуществляться по веским причинам, может быть желательно, чтобы выходной сигнал напоминал манипулированный сигнал понижающего микширования, вместо .

Проиллюстрируем это на более конкретном примере возможного применения улучшения диалога в широковещательной передаче.

Исходные входные аудиообъекты S состоят из (возможно, многоканального) сигнала заднего плана, например, шума публики и окружения в спортивной широковещательной передаче, и (возможно, многоканального) сигнала переднего плана, например, комментатора.

Сигнал X понижающего микширования содержит смесь заднего плана и переднего плана.

Сигнал понижающего микширования манипулируется согласно f(X), состоящей, в случае реального мира, например, из многополосного эквалайзера, компрессора динамического диапазона, и лимитера (любая производимая здесь манипуляция в дальнейшем именуется “мастерингом”).

На декодере, информация рендеринга аналогична информации понижающего микширования. Единственное отличие состоит в том, что баланс относительного уровня между сигналами заднего плана и переднего плана может регулироваться конечным пользователем. Другими словами, пользователь может ослаблять шум публики, чтобы голос комментатора был лучше слышен, например, для повышения разборчивости. В качестве противоположного примера, конечный пользователь может ослаблять голос комментатора, чтобы можно было сосредоточиться на акустической сцене мероприятия.

Если компенсация манипуляции понижающего микширования не используется, реконструкции (виртуальных) объектов могут содержать артефакты, обусловленные различиями между реальными свойствами принятых сигналов понижающего микширования и свойствами, переданными в качестве вспомогательной информации.

Если компенсация манипуляции понижающего микширования используется, мастеринг будет удален из выходного сигнала. Даже в случае, когда конечный пользователь не модифицирует баланс микширования, сигнал понижающего микширования по умолчанию (т.е. выходной сигнал приемников, не способных декодировать вспомогательную информацию SAOC) и выходной сигнал после рендеринга будут отличаться, возможно, весьма значительно.

В конце, вещатель получают следующие близкие к оптимальным возможности:

принимать артефакты SAOC из рассогласования между сигналами понижающего микширования и вспомогательной информацией;

не включать в себя никакие передовые функциональные возможности улучшения диалога; и/или

терять изменения мастеринга выходного сигнала.

Задачей настоящего изобретения является обеспечение усовершенствованного принципа декодирования кодированного аудиосигнала.

Эта задача решается посредством устройства для декодирования кодированного аудиосигнала по п. 1, способа декодирования кодированного аудиосигнала по п. 14 или компьютерной программы по п. 15.

В основе настоящего изобретения лежит тот факт, что усовершенствованный принцип рендеринга с использованием сигналов кодированных аудиообъектов получается, когда манипуляции понижающего микширования, примененные на этапе мастеринга не просто отвергаются для улучшения разделения объектов, но повторно применяются к выходным сигналам, генерируемым на этапе рендеринга. Таким образом, гарантируется, что никакие художественные или другие манипуляции понижающего микширования нельзя просто потерять в случае сигналов, кодированных аудиообъектами, но можно найти в окончательном результате операции декодирования. Для этого, устройство для декодирования кодированного аудиосигнала содержит входной интерфейс, последовательно подключенный модификатор понижающего микширования для модификации переданного сигнала понижающего микширования с использованием функции модификации понижающего микширования, средство рендеринга объектов для осуществления рендеринга аудиообъектов с использованием модифицированного сигнала понижающего микширования и параметрических данных и окончательный модификатор выходного сигнала для модификации выходных сигналов с использованием функции модификации выходного сигнала, где модификация происходит таким образом, что модификация посредством функции модификации понижающего микширования, по меньшей мере, частично обращается или, другими словами, манипуляция понижающего микширования восстанавливается, но повторно применяется не к сигналу понижающего микширования, а к выходным сигналам средства рендеринга объектов. Другими словами, функция модификации выходного сигнала, предпочтительно, обратна модификации сигнала понижающего микширования, или, по меньшей мере, частично обратна функции модификации сигнала понижающего микширования. Другими словами, функция модификации выходного сигнала такова, что операция манипуляции, применяемая к исходному сигналу понижающего микширования для получения переданного сигнала понижающего микширования, по меньшей мере, частично применяется к выходному сигналу, и, предпочтительно, применяется идентичная операция.

В предпочтительных вариантах осуществления настоящего изобретения, обе функции модификации отличаются друг от друга и, по меньшей мере, частично обратны друг другу. В дополнительном варианте осуществления, функция модификации понижающего микширования и функция модификации выходного сигнала содержат соответствующие коэффициенты усиления для разных временных кадров или полос частот, и либо коэффициенты усиления модификации понижающего микширования, либо коэффициенты усиления модификации выходного сигнала выводятся друг из друга. Таким образом, либо коэффициенты усиления модификации сигнала понижающего микширования, либо коэффициенты усиления модификации выходного сигнала могут передаваться, и тогда декодер способен выводить другие коэффициенты из переданных, обычно путем их инвертирования.

Дополнительные варианты осуществления предусматривают наличие информации модификации понижающего микширования в передаваемом сигнале в качестве вспомогательной информации, и декодер извлекает вспомогательную информацию, осуществляет модификацию понижающего микширования с одной стороны, вычисляет обратную или, по меньшей мере, частично или приблизительно обратную функцию и применяет эту функцию к выходным сигналам из средства рендеринга объектов.

Дополнительные варианты осуществления содержат передачу информации управления для избирательной активации/деактивации модификатора выходного сигнала, чтобы гарантировать, что эта модификация выходного сигнала осуществляется только когда она обусловлена художественными соображениями, тогда как модификация выходного сигнала, например, не осуществляется, когда она обусловлена чисто техническими соображениями, например манипуляцией, сигнала для получения более высоких характеристик передачи для определенных форматов передачи/ способов модуляции.

Дополнительные варианты осуществления относятся к кодированному сигналу, в котором сигнал понижающего микширования манипулирован путем осуществления операции оптимизации громкости, эквализации, многополосной эквализации, компрессии динамического диапазона или лимитирования, и в этом случае модификатор выходного сигнала выполнен с возможностью повторного применения операции эквализации, операции оптимизации громкости, операции многополосной эквализации, операции компрессии динамического диапазона или операции лимитирования к выходным сигналам.

Дополнительные варианты осуществления содержат средство рендеринга объектов, которое генерирует выходные сигналы на основании переданной параметрической информации и на основании информации положения, относящейся к размещению аудиообъектов на установке воспроизведения. Генерация выходных сигналов может осуществляться либо путем воссоздания сигналов отдельных объектов и затем, в необязательном порядке, модификации воссозданных сигналов объектов и затем распределения модифицированных, в необязательном порядке, реконструированных объектов по сигналам каналов для громкоговорителей согласно любого рода общеизвестному принципу рендеринга, например, амплитудному панорамированию на векторной основе и т.п. Другие варианты осуществления не опираются на явную реконструкцию виртуальных объектов, но осуществляют непосредственную обработку из модифицированного сигнала понижающего микширования в сигналы громкоговорителей без явного вычисления реконструированных объектов, поскольку оно известно в технике пространственного аудиокодирования, например, MPEG-Surround или MPEG-SAOC.

В дополнительных вариантах осуществления, входной сигнал содержит нормальные аудиообъекты и расширенные аудиообъекты, и средство рендеринга объектов выполнено с возможностью реконструкции аудиообъектов или непосредственной генерации выходных каналов с использованием нормальных аудиообъектов и расширенных аудиообъектов.

Затем, предпочтительные варианты осуществления настоящего изобретения описаны со ссылкой на прилагаемые чертежи, в которых:

фиг. 1 – блок-схема варианта осуществления аудиодекодера;

фиг. 2 – дополнительный вариант осуществления аудиодекодера;

фиг. 3 демонстрирует способ вывода функции модификации выходного сигнала из функции модификации сигнала понижающего микширования;

фиг. 4 демонстрирует процесс вычисления коэффициентов усиления модификации выходного сигнала из интерполированных коэффициентов усиления модификации понижающего микширования;

фиг. 5 демонстрирует основную блок-схему работы системы SAOC;

фиг. 6 демонстрирует блок-схему работы декодера SAOC;

фиг. 7 демонстрирует блок-схему работы системы SAOC, включающей в себя манипуляцию сигнала понижающего микширования;

фиг. 8А демонстрирует блок-схему работы системы SAOC, включающей в себя манипуляцию сигнала понижающего микширования; и

фиг. 8В демонстрирует блок-схему работы декодера SAOC, включающего в себя компенсацию манипуляции сигнала понижающего микширования до основной обработки SAOC.

Фиг. 1 демонстрирует устройство для декодирования кодированного аудиосигнала 100 для получения модифицированных выходных сигналов 160. Устройство содержит входной интерфейс 110 для приема переданного сигнала понижающего микширования и параметрических данных, относящихся к двум аудиообъектам, включенным в переданный сигнал понижающего микширования. Входной интерфейс извлекает переданный сигнал 112 понижающего микширования и параметрические данные 114 из кодированного аудиосигнала 100. В частности, сигнал 112 понижающего микширования, т.е. переданный сигнал понижающего микширования, отличается от сигнала понижающего микширования кодера, с которым связаны параметрические данные 114. Кроме того, устройство содержит модификатор 116 понижающего микширования для модификации переданного сигнала 112 понижающего микширования с использованием функции модификации понижающего микширования. Модификация понижающего микширования осуществляется таким образом, что модифицированный сигнал понижающего микширования идентичен сигналу понижающего микширования кодера или, по меньшей мере, более аналогичен сигналу понижающего микширования кодера по сравнению с переданным сигналом понижающего микширования. Предпочтительно, модифицированный сигнал понижающего микширования на выходе блока 116 идентичен сигналу понижающего микширования кодера, с которым связаны параметрические данные. Однако модификатор 116 понижающего микширования также может быть выполнен с возможностью не полностью обращать манипуляцию сигнала понижающего микширования кодера, но лишь частично удалять эту манипуляцию. Таким образом, модифицированный сигнал понижающего микширования, по меньшей мере, более аналогичен сигналу понижающего микширования кодера, чем переданный сигнал понижающего микширования. Сходство можно измерять, например, путем вычисления квадратичного расстояния между отдельными выборками либо во временной области, либо в частотной области, где разности формируются выборка за выборкой, например, между соответствующими кадрами и/или полосами модифицированного сигнала понижающего микширования и сигнала понижающего микширования кодера. Затем эта квадратичная мера расстояния, т.е., сумма по всем квадратам разностей, меньше соответствующей суммы квадратов разностей между переданным сигналом 112 понижающего микширования (сгенерированным блоком манипуляции понижающего микширования на фиг. 7 или 8a) и сигналом понижающего микширования кодера (генерируемым на блоке кодера SAOC на фиг. 5, 6, 7 8А.

Таким образом, модификатор 116 понижающего микширования может быть сконфигурирован аналогично блоку модификации понижающего микширования, рассмотренному в контексте фиг. 8В.

Кроме того, устройство на фиг. 1 содержит средство 118 рендеринга объектов для осуществления рендеринга аудиообъектов с использованием модифицированного сигнала понижающего микширования и данных 114 параметров для получения выходных сигналов. Кроме того, важно, что устройство содержит модификатор 120 выходного сигнала для модификации выходных сигналов с использованием функции модификации выходного сигнала. Предпочтительно, модификация выходного сигнала осуществляется таким образом, что модификация, применяемая модификатором 116 понижающего микширования, по меньшей мере, частично обращается. В других вариантах осуществления, функция модификации выходного сигнала обращается или, по меньшей мере, частично обращается в функцию модификации сигнала понижающего микширования. Таким образом, модификатор выходного сигнала выполнен с возможностью модификации выходных сигналов с использованием функции модификации выходного сигнала, таким образом, что операция манипуляции, применяемая к сигналу понижающего микширования кодера для получения переданного сигнала понижающего микширования, по меньшей мере, частично применяется к выходному сигналу и, предпочтительно, полностью применяется к выходным сигналам.

Согласно варианту осуществления, модификатор 116 понижающего микширования и модификатор 120 выходного сигнала выполнены таким образом, что функция модификации выходного сигнала отличается от функции модификации понижающего микширования и, по меньшей мере, частично обращена относительно функции модификации понижающего микширования.

Кроме того, вариант осуществления модификатора понижающего микширования содержит функцию модификации понижающего микширования, содержащую применение коэффициентов усиления модификации понижающего микширования к разным временным кадрам или полосам частот переданного сигнала 112 понижающего микширования. Кроме того, функция модификации выходного сигнала содержит применение коэффициентов усиления модификации выходного сигнала к разным временным кадрам или полосам частот выходных сигналов. Кроме того, коэффициенты усиления модификации выходного сигнала выводятся из обратных значений функции модификации сигнала понижающего микширования. Этот сценарий применяется, когда коэффициенты усиления модификации сигнала понижающего микширования доступны, например, посредством отдельного ввода на стороне декодера или доступны, поскольку они были переданы в кодированном аудиосигнале 100. Однако альтернативные варианты осуществления также содержат ситуацию, когда коэффициенты усиления модификации выходного сигнала, используемые модификатором 120 выходного сигнала, передаются или вводятся пользователем, и в этом случае модификатор 116 понижающего микширования выполнен с возможностью вывода коэффициентов усиления модификации сигнала понижающего микширования из доступных коэффициентов усиления модификации выходного сигнала.

В дополнительном варианте осуществления, входной интерфейс 110 выполнен с возможностью дополнительно принимать информацию о функции модификации понижающего микширования и эта информация 115 модификации извлекается входным интерфейсом 110 из кодированного аудиосигнала и поступает на модификатор 116 понижающего микширования и модификатор 120 выходного сигнала. Опять же, функция модификации понижающего микширования может содержать коэффициенты усиления модификации сигнала понижающего микширования или коэффициенты усиления модификации выходного сигнала и затем, в зависимости от того, какой набор коэффициентов усиления доступен, соответствующий элемент 116 или 120 выводит свои коэффициенты усиления из доступных данных.

В дополнительном варианте осуществления, осуществляется интерполяция коэффициентов усиления модификации сигнала понижающего микширования или коэффициентов усиления модификации выходного сигнала. Альтернативно или дополнительно, сглаживание также осуществляется таким образом, что ситуации, в которых эти данные передачи изменяются слишком быстро, не привносят никаких артефактов.

Согласно варианту осуществления, модификатор 120 выходного сигнала выполнен с возможностью вывода своих коэффициентов усиления модификации выходного сигнала путем инвертирования коэффициентов усиления модификации понижающего микширования. Затем, во избежание численных проблем, используется либо максимальный из инвертированного коэффициента усиления модификации понижающего микширования и постоянного значения, либо сумма инвертированного коэффициента усиления модификации понижающего микширования и того же или другого постоянного значения. Таким образом, функция модификации выходного сигнала не обязательно является обратной функции модификации сигнала понижающего микширования, но является, по меньшей мере, частично обратной.

Кроме того, модификатор 120 выходного сигнала управляется сигналом управления, указанным позицией 117 как флаг управления. Таким образом, существует возможность, что модификатор 120 выходного сигнала избирательно активируется или деактивируется для определенных полос частот и/или временных кадров. Согласно варианту осуществления, флаг является просто 1-битовым флагом, и когда сигнал управления таков, что модификатор выходного сигнала деактивируется, то это сигнализируется, например, состоянием "нуль" флага, и затем сигнал управления таков, что модификатор выходного сигнала активируется, то это сигнализируется, например, состоянием "единица" или состоянием "установлен" флага. Естественно, правило управления может быть обратным.

В дополнительном варианте осуществления, модификатор 116 понижающего микширования выполнен с возможностью снижения или отмены операции оптимизации громкости или эквализации или многополосной эквализации или компрессии динамического диапазона или лимитирования, применяемой к передаваемому каналу понижающего микширования. Другими словами, эти операции обычно применяются на стороне кодера блоком манипуляции понижающего микширования, показанным на фиг. 7, или блоком манипуляции понижающего микширования, показанным на фиг. 8А, для вывода переданного сигнала понижающего микширования из сигнала понижающего микширования кодера, генерируемого, например, блоком кодера SAOC, показанного на фиг. 5, кодера SAOC, показанного на фиг. 7, или кодера SAOC, показанного на фиг. 8А.

В этом случае, модификатор 120 выходного сигнала выполнен с возможностью повторного применения операция оптимизации громкости или эквализации или многополосной эквализации или компрессии динамического диапазона или лимитирования к выходным сигналам, генерируемым средством 118 рендеринга объектов для окончательного получения модифицированных выходных сигналов 160.

Кроме того, средство 118 рендеринга объектов может быть выполнено с возможностью вычисления выходных сигналов как сигналов каналов для громкоговорителей схемы воспроизведения из модифицированного сигнала понижающего микширования, параметрических данных 114 и информации 121 положения, которые могут, например, вводиться в средство 118 рендеринга объектов через интерфейс 122 пользовательского ввода или которые могут, дополнительно, передаваться от кодера на декодер по отдельности или в кодированном сигнале 100, например, как “матрица рендеринга”.

В этом случае, модификатор 120 выходного сигнала выполнен с возможностью применения функции модификации выходного сигнала к этим сигналам каналов для громкоговорителей, и затем модифицированные выходные сигналы 116 могут непосредственно ретранслироваться на громкоговорители.

В другом варианте осуществления, средство рендеринга объектов выполнено с возможностью осуществления двухэтапной обработки, т.е., чтобы, прежде всего, реконструировать отдельные объекты и затем распределять сигналы объектов по соответствующим сигналам громкоговорителей любым из общеизвестных средств, например, амплитудным панорамированием на векторной основе и т.п. Затем выходной сигнал 120 также может быть сконфигурирован для применения модификации выходного сигнала к сигналам реконструированных объектов до осуществления распределения на отдельные громкоговорители. Таким образом, выходные сигналы, генерируемые средством 118 рендеринга объектов на фиг. 1, могут быть либо сигналами реконструированных объектов, либо сразу (немодулированными) сигналами громкоговорителей каналов.

Кроме того, интерфейс 110 входного сигнала выполнен с возможностью приема расширенного аудиообъекта и нормальных аудиообъектов, например, известных из SAOC. В частности, расширенный аудиообъект является, как известно в технике, разностью форм волны между исходным объектом и реконструированной версией этого объекта с использованием параметрических данных, например, параметрических данных 114. Это допускает, что отдельные объекты, например, четыре объекта в наборе из, например, двадцати объектов и т.п. могут передаваться очень хорошо, естественно, ценой дополнительной битовой скорости вследствие необходимой информации для расширенного аудиосигнала. Затем средство 118 рендеринга объектов выполнено с возможностью использования нормальных объектов и расширенного аудиообъекта для вычисления выходных сигналов.

В дополнительном варианте осуществления средство рендеринга объектов выполнено с возможностью приема пользовательского ввода 123 для манипулирования одним или более объектами, например, для манипулирования объектом переднего плана FGO или объектом заднего плана BGO или обоими, и затем средство 118 рендеринга объектов выполнено с возможностью манипулирования одним или более объектами, определенными пользовательским вводом при осуществлении рендеринга выходных сигналов. В этом варианте осуществления, предпочтительно фактически реконструировать сигналы объектов и затем манипулировать сигналом объект переднего плана или ослаблять сигнал объекта заднего плана и затем происходит распределение по каналам, и затем сигналы каналов модифицируются. Однако, альтернативно, выходные сигналы уже могут быть сигналами отдельных объектов, и распределение сигналов объектов после осуществления модификации блоком 120 происходит до распределения сигналов объектов по сигналам отдельных каналов с использованием информации 121 положения и любого общеизвестного процесса для генерации сигналов громкоговорителей каналов из сигналов объектов, например амплитудного панорамирования на векторной основе.

Затем на фиг. 2 описан предпочтительный вариант осуществления устройства для декодирования кодированного аудиосигнала. Принимается кодированная вспомогательная информация, которая содержит, например, параметрические данные 114, показанные на фиг. 1, и информацию 115 модификации. Кроме того, принимаются модифицированные сигналы понижающего микширования которые соответствуют переданному сигналу 112 понижающего микширования. Из фиг. 2 можно видеть, что переданный сигнал понижающего микширования может быть единичным каналом или несколькими каналами, например M каналами, где M – целое число. Вариант осуществления, представленный на фиг. 2, содержит декодер 111 вспомогательной информации для декодирования вспомогательной информации в случае, когда кодируется вспомогательная информация. Затем декодированная вспомогательная информация ретранслируется на блок модификации понижающего микширования, соответствующий модификатору 116 понижающего микширования, показанному на фиг. 1. Затем скомпенсированные сигналы понижающего микширования ретранслируются на средство 118 рендеринга объектов, который состоит, в варианте осуществления, показанном на фиг. 2, из блока 118a разделения (виртуальных) объектов и блока 118b средства рендеринга, который принимает информацию M рендеринга, соответствующую информации 121 положения для объектов, показанной на фиг. 1. Кроме того, средство 118b рендеринга генерирует выходные сигналы или, как они называются на фиг. 2, промежуточные выходные сигналы, и блок 120 восстановления модификации понижающего микширования соответствует модификатору 120 выходного сигнала на фиг. 1. Окончательные выходные сигналы, генерируемые блоком 160 восстановления модификации понижающего микширования, соответствуют модифицированным выходным сигналам применительно к фиг. 1.

Предпочтительные варианты осуществления используют ранее включенную вспомогательную информацию модификации понижающего микширования и процесс, обратный модификации, после рендеринга выходных сигналов. Это представлено в виде блок-схемы на фиг. 2. Сравнивая ее с фиг. 8В, можно заметить, что добавление блока “восстановление модификации понижающего микширования” на фиг. 2 или модификатора выходного сигнала на фиг. 1 реализует этот вариант осуществления.

Созданный кодером сигнал X понижающего микширования манипулируется (или манипуляцию можно аппроксимировать) функцией f(X). Кодер включает информацию, касающуюся этой функции, во вспомогательную информацию, подлежащую передаче и/или сохранению. Декодер принимает вспомогательную информацию и инвертирует ее для получения функции модификации или компенсации. (В MPEG SAOC кодер осуществляет инверсию и передает инвертированные значения.) Декодер применяет функцию компенсации к принятым сигналам понижающего микширования и получает скомпенсированные сигналы понижающего микширования, подлежащие использованию при разделении (виртуальных) объектов. На основании информации M рендеринга (от пользователя), выходная сцена реконструируется из реконструкций (виртуальных) объектов согласно . Можно включать дополнительные этапы обработки, например, модификацию ковариационных свойств выходных сигналов с помощью декорреляторов. Однако такая обработка не изменяет тот факт, что целью этапа рендеринга является получение выходного сигнала, который аппроксимирует результат применения процесса рендеринга к исходным входным аудиообъектам, т.е. . Добавление предложено для применения функции, обратной функции компенсации к выходному сигналу после рендеринга для получения окончательных выходных сигналов , что позволяет аппроксимировать функцию манипуляции понижающего микширования.

На фиг. 3 представлен предпочтительный вариант осуществления для вычисления функции модификации выходного сигнала из функции модификации сигнала понижающего микширования, и, в частности, в ситуации, когда обе функции представлены соответствующими коэффициентами усиления для полос частот и/или временных кадров.

Вспомогательная информация, касающаяся модификации сигнала понижающего микширования в системе SAOC [SAOC], ограничивается коэффициентами усиления для каждого сигнала понижающего микширования, что описано ранее. Другими словами, в SAOC, инвертированная функция компенсации передается, и скомпенсированные сигналы понижающего микширования можно получить, как проиллюстрировано в первом уравнении, показанном на фиг. 3.

Используя это определение для функции компенсации, можно задать функцию, обратную функции компенсации, как . В случае вышеприведенного определения , это можно выразить вторым уравнением на фиг. 3. Если один или более параметров компенсации могут быть равны нулю, нужно принять некоторые превентивные меры во избежание арифметический проблем. Для этого, например, можно прибавлять малую постоянную (например, ) к каждой (неотрицательной) величине, как показано в третьем уравнении, представленном на фиг. 3, или использовать максимальную величину из параметра компенсации и малой постоянной, как показано в четвертом уравнении, представленном на фиг. 3. Существуют и другие способы определения значения .

Что касается переноса информации, необходимой для повторного применения манипуляции понижающего микширования к выходному сигналу после рендеринга, никакой дополнительной информации не требуется, если параметры компенсации (в MPEG SAOC это PDG) уже переданы. Что касается добавления функциональных возможностей, можно также добавлять сигнализацию в битовый поток, если нужно применять восстановление манипуляции понижающего микширования. В контексте MPEG SAOC это можно осуществлять посредством следующего синтаксиса битового потока:

Когда переменная 117 bsPdgInvFlag битового потока принимает значение 0 или опущена, и переменная bsPdgFlag битового потока принимает значение 1, декодер действует, как указано в стандарте MPEG [SAOC], т.е. компенсация применяется к сигналам понижающего микширования, принятым декодером, до разделения (виртуальных) объектов. Когда переменная bsPdgInvFlag битового потока принимает значение 1, сигналы понижающего микширования обрабатываются как раньше, и выходной сигнал после рендеринга будет обрабатываться предложенным способом, путем аппроксимации манипуляции понижающего микширования.

На фиг. 4 представлен предпочтительный вариант осуществления для использования интерполированных коэффициентов усиления модификации понижающего микширования, которые также указаны как “PDG” на фиг. 4 и в этом описании изобретения. Первый этап содержит обеспечение текущих и будущих или предыдущих и текущих значения PDG, например, значения PDG текущего момента времени и значение PDG следующего (будущего) момента времени, указанного позицией 40. На этапе 42, интерполированные значения PDG вычисляются и используются в модификаторе 116 понижающего микширования. Затем, на этапе 44, коэффициенты усиления модификации выходного сигнала выводятся из интерполированных коэффициентов усиления, генерируемых блоком 42, и затем вычисленные коэффициенты усиления модификации выходного сигнала используются в модификаторе 120 выходного сигнала. Таким образом, очевидно, что в зависимости от того, какие коэффициенты модификации сигнала понижающего микширования рассматриваются, коэффициенты усиления модификации выходного сигнала не полностью обратны переданным коэффициентам, но являются только частично или полностью обратными интерполированным коэффициентам усиления.

Обработка PDG задана в стандарте MPEG SAOC [SAOC] для осуществления в параметрических кадрах. Это означает, что умножение компенсации происходит в каждом кадре с использованием постоянных значений параметров. В случае, когда значения параметров значительно изменяются между последовательными кадрами, это может приводить к нежелательным артефактам. Таким образом, желательно включать сглаживание параметров до применения их к сигналам. Сглаживание может осуществляться различными способами, например, низкочастотной фильтрацией значений параметров в зависимости от времени, или интерполированием значений параметров между последовательными кадрами. Предпочтительный вариант осуществления включает в себя линейную интерполяцию между кадрами параметров. Пусть – значение параметра для i-го сигнала понижающего микширования в момент времени n, и – значение параметра для того же канала понижающего микширования в момент времени n+J. Интерполированные значения параметров в моменты времени можно получить из уравнения

. Когда используется такая интерполяция, инвертированные значения для восстановления модификации понижающего микширования следует получать из интерполированных значений, т.е. вычисляя матрицу для каждого промежуточного момента времени и затем инвертируя каждый из них для получения , которую можно применять к промежуточному выходному сигналу Y.

Варианты осуществления решают проблему, которая возникает, когда манипуляции применяются к сигналам понижающего микширования SAOC. Традиционные подходы будут либо обеспечивать близкое к оптимальному воспринимаемое качество в отношении разделения объектов, если не осуществляется компенсация мастеринга, или будут терять преимущества мастеринга в случае компенсации мастеринга. Это в особенности проблематично, если результат мастеринга представляет что-то, что было бы полезно сохранять в окончательном выходном сигнале, например, оптимизации громкости, эквализацию, и т.д. Основные преимущества предложенного способа включают в себя, но без ограничения:

Базовая обработка SAOC, т.е. разделение (виртуальных) объектов, может осуществляться на сигналах понижающего микширования, которые аппроксимируют исходные созданные кодером сигналы понижающего микширования точнее, чем сигналы понижающего микширования, принятые декодером. Это минимизирует артефакты обработки SAOC.

Манипуляция понижающего микширования (“результат мастеринга ”) остается в окончательном выходном сигнале, по меньшей мере, в приближенной форме. Когда информация рендеринга идентична информации понижающего микширования, окончательный выходной сигнал будет аппроксимировать сигналы понижающего микширования по умолчанию очень точно, если не идентично.

Поскольку сигналы понижающего микширования напоминают созданные кодером сигналы понижающего микширования более точно, можно использовать режим повышенного качества для объектов, т.е., включающие в себя сигналы коррекции формы волны для EAO.

Когда используются EAO, и реконструируются близкие приближения исходными входных аудиообъектов, предложенный способ также применяет к ним “результат мастеринга”.

Предложенный способ не требует никакой дополнительной вспомогательной информации, подлежащей передаче, если вспомогательная информация PDG MPEG SAOC уже передана.

При желании, предложенный способ можно реализовать в виде инструмента, который может активироваться или деактивироваться конечным пользователем или вспомогательной информацией, отправленной с кодера.

Предложенный способ требует очень малых вычислительных ресурсов по сравнению с разделением (виртуальных) объектов в SAOC.

Хотя настоящее изобретение описано в контексте блок-схем, где блоки представляют фактические или логические аппаратные компоненты, настоящее изобретение можно также реализовать посредством компьютерно-реализуемого способа. В последнем случае, блоки представляют соответствующие этапы способа, где эти этапы отражают функции, осуществляемые соответствующими логическими или физическими аппаратными блоками.

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или признака соответствующего устройства. Некоторые или все этапы способа могут выполняться посредством (или с использованием) аппаратного устройства, например, микропроцессора, программируемого компьютера или электронной схемы. В некоторых вариантах осуществления, некоторые один или более из наиболее важных этапов способа может выполняться таким устройством.

В зависимости от определенных требований к реализации, варианты осуществления изобретения можно реализовать аппаратными средствами или программными средствами. Реализация может осуществляться с использованием цифрового носителя данных, например, флоппи-диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, где хранятся электронно считываемое сигналы управления, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой для осуществления соответствующего способа. Таким образом, цифровой носитель данных может быть компьютерно-считываемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронно считываемое сигналы управления, которые способны взаимодействовать с программируемой компьютерной системой, благодаря чему осуществляется один из описанных здесь способов.

В общем случае, варианты осуществления настоящего изобретения можно реализовать в виде компьютерного программного продукта с программным кодом, причем программный код предназначен для осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может храниться, например, на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из описанных здесь способов, хранящуюся на машиночитаемом носителе.

Другими словами, вариант осуществления способа, отвечающего изобретению предусматривает компьютерную программу, имеющую программный код для осуществления одного из описанных здесь способов, когда компьютерная программа выполняется на компьютере.

Таким образом, дополнительный вариант осуществления способа, отвечающего изобретению, предусматривает носитель данных (или нетранзиторный носитель данных, например, цифровой носитель данных, или компьютерно-считываемый носитель), на котором записана компьютерная программа для осуществления одного из описанных здесь способов. Носитель данных, цифровой носитель данных или носитель записи обычно являются вещественным и/или нетранзиторным.

Таким образом, дополнительный вариант осуществления способа, отвечающего изобретению, предусматривает поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из описанных здесь способов. Поток данных или последовательность сигналов может быть сконфигурирован, например, для переноса через соединение для передачи данных, например через интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью или адаптированное для осуществления одного из описанных здесь способов.

Дополнительный вариант осуществления содержит компьютер, на котором установлена компьютерная программа для осуществления одного из описанных здесь способов.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненное/ю с возможностью переноса (например, электронно или оптически) компьютерной программы для осуществления одного из описанных здесь способов на приемник. Приемником может быть, например, компьютер, мобильное устройство, запоминающее устройство и т.п. Например, устройство или система может содержать файловый сервер для переноса компьютерной программы на приемник.

В некоторых вариантах осуществления, программируемое логическое устройство (например, вентильная матрица, программируемая пользователем) может использоваться для осуществления некоторых или всех функциональных возможностей описанных здесь способов. В некоторых вариантах осуществления, вентильная матрица, программируемая пользователем могут взаимодействовать с микропроцессором для осуществления одного из описанных здесь способов. В общем случае, способы, предпочтительно, осуществляются любым аппаратным устройством.

Вышеописанные варианты осуществления призваны иллюстрировать принципы настоящего изобретения. Следует понимать, что специалисты в данной области техники могут предложить модификации и вариации описанных здесь конфигураций и деталей. Поэтому они подлежат ограничению только объемом нижеследующей формулы изобретения, но не конкретными деталями, представленными посредством описания и объяснения рассмотренных здесь вариантов осуществления.

ЛИТЕРАТУРА

[BCC] C. Faller and F. Baumgarte, “Binaural Cue Coding - Part II: Schemes and applications,” IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.

[JSC] C. Faller, “Parametric Joint-Coding of Audio Sources”, 120th AES Convention, Paris, 2006.

[ISS1] M. Parvaix and L. Girin: “Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding”, IEEE ICASSP, 2010.

[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: “A watermarking-based method for informed source separation of audio signals with a single sensor”, IEEE Transactions on Audio, Speech and Language Processing, 2010.

[ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: “Informed source separation through spectrogram coding and data embedding”, Signal Processing Journal, 2011.

[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: “Informed source separation: source coding meets source separation”, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.

[ISS5] S. Zhang and L. Girin: “An Informed Source Separation System for Speech Signals”, INTERSPEECH, 2011.

[ISS6] L. Girin and J. Pinel: “Informed Audio Source Separation from Compressed Linear Stereo Mixtures”, AES 42nd International Conference: Semantic Audio, 2011.

[PDG] J. Seo, S. Beack, K. Kang, J. W. Hong, J. Kim, C. Ahn, K. Kim, and M. Hahn, “Multi-object audio encoding and decoding apparatus supporting post downmix signal”, United States Patent Application Publication US2011/0166867, Jul 2011.

[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.

[SAOC2] J. Engdegård, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC) – The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.

[SAOC] ISO/IEC, “MPEG audio technologies – Part 2: Spatial Audio Object Coding (SAOC),” ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.