Результат интеллектуальной деятельности: ДЕКОДЕР И СПОСОБ МНОГОЭКЗЕМПЛЯРНОГО ПРОСТРАНСТВЕННОГО КОДИРОВАНИЯ АУДИООБЪЕКТОВ С ПРИМЕНЕНИЕМ ПАРАМЕТРИЧЕСКОЙ КОНЦЕПЦИИ ДЛЯ СЛУЧАЕВ МНОГОКАНАЛЬНОГО ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ/ПОВЫШАЮЩЕГО МИКШИРОВАНИЯ

Настоящее изобретение относится к декодеру и способу для многоэкземплярного пространственного кодирования аудиообъектов (M-SAOC) с применением параметрической концепции для случаев многоканального понижающего микширования/повышающего микширования.

В современных цифровых аудиосистемах, основной тенденцией является обеспечение возможности модификаций, относящихся к аудиообъекту переданного контента, на стороне приемника. Модификации включают в себя модификации усиления выбранных частей аудиосигнала и/или пространственное повторное позиционирование назначенных аудиообъектов в случае многоканального воспроизведения через пространственно разнесенные громкоговорители. Это может быть достигнуто посредством индивидуальной доставки разных частей аудиоконтента разным громкоговорителям.

Другими словами, в области обработки аудио, передачи аудио, и хранения аудио, присутствует растущее желание обеспечить взаимодействие с пользователем при воспроизведении объектно-ориентированного аудиоконтента, а также потребность в использовании расширенных возможностей многоканального воспроизведения для индивидуального рендеринга аудиоконтентов или их частей, чтобы улучшить впечатление от прослушивания. Таким образом, использование многоканального аудиоконтента влечет за собой значительные улучшения для пользователя. Например, может быть получено трехмерное впечатление от прослушивания, которое влечет за собой улучшенную удовлетворенность пользователя в развлекательных приложениях. Тем не менее многоканальный аудиоконтент также полезен в профессиональных средах, например, в приложениях телефонной конференцсвязи, так как может быть улучшена внятность говорящего посредством использования многоканального воспроизведения аудио. Другое возможное приложение заключается в предоставлении слушателю музыкального произведения возможности индивидуальной регулировки уровня воспроизведения и/или пространственной позиции разных частей (также называемых «аудиообъектами») или дорожек, как например вокальной части или разных инструментов. Пользователь может выполнять такую регулировку по причинам персонального вкуса, для более легкой расшифровки одной или более части(ей) музыкального произведения, в целях обучения, караоке, репетиции, и т.д.

Непосредственная дискретная передача всего многоканального многообъектного аудиоконтента, например, в форме данных импульсно-кодовой модуляции (PCM) или даже форматов сжатого аудио, требует очень высоких скоростей передачи битов. Тем не менее, также желательно обеспечить эффективную по скорости передачи битов передачу и хранение аудиоданных. Вследствие этого, существует желание найти разумный компромисс между качеством аудио и требованиями по скорости передачи битов с тем, чтобы избежать чрезмерных нагрузок на ресурсы, вызываемых многоканальными/многообъектными приложениями.

В последнее время, в области кодирования аудио, например, Экспертной Группой по Кинематографии (MPEG) и другими, были внедрены параметрические методики для эффективной по скорости передачи битов передачи/хранения многоканальных/многообъектных аудиосигналов. Одним примером является MPEG Окружение (MPS) в качестве ориентированного на канал подхода [MPS, BCC], или MPEG Пространственное Кодирование Аудиообъектов (SAOC), в качестве ориентированного на объект подхода [JSC, SAOC, SAOC1, SAOC2]. Другой объектно-ориентированный подход именуется «информированным разделением источников» [ISS1, ISS2, ISS3, ISS4, ISS5, ISS6]. Эти методики направлены на реконструкцию требуемой выходной аудио сцены или требуемого объекта источника аудио на основании понижающего микширования каналов/объектов и дополнительной вспомогательной информации, описывающей переданную/хранящуюся аудио сцену и/или объекты источники аудио в аудио сцене.

Оценка и приложение относящейся к каналу/объекту вспомогательной информации в таких системах осуществляется частотно-временным избирательным образом. Вследствие этого, такие системы применяют частотно-временные преобразования, такое как Дискретное Преобразование Фурье (DFT), Краткосрочное Преобразование Фурье (STFT) или гребенки фильтров подобные гребенкам Квадратурно Зеркального Фильтра (QMF), и т.д. Основной принцип таких систем изображен на Фиг. 2, при помощи примера MPEG SAOC.

В случае STFT, временное измерение представляется посредством номера блока времени, а спектральное измерение захватывается посредством номера спектрального коэффициента («бин»). В случае QMF, временное измерение представляется посредством номера слота времени, а спектральное измерения захватывается посредством номера поддиапазона. Если спектральное разрешение QMF улучшается посредством последующего приложения второй ступени фильтра, вся гребенка фильтра называется гибридным QMF, а поддиапазоны высокого разрешения называются гибридными поддиапазонами.

Как уже упоминалось выше, в SAOC общая обработка выполняется частотно-временным избирательным образом и может быть описана следующим образом в каждом частотном диапазоне, как изображено на Фиг. 2:

- В отношении N входных сигналов s₁ … s_N аудиообъектов выполняется понижающее микширование в P каналы x₁ … x_P как часть обработки кодера, используя матрицу понижающего микширования, состоящую из элементов d_1,1 … d_N,P. В дополнение, кодер извлекает вспомогательную информацию, описывающую характеристики входных аудиообъектов (модуль оценки вспомогательной информации (SIE)). Применительно к MPEG SAOC, зависимости мощностей объектов относительно друг друга являются самой основной формой такой вспомогательной информации.

- Сигнал(ы) понижающего микширования и вспомогательная информация передаются/сохраняются. С этой целью, аудиосигнал(ы) понижающего микширования может быть сжат, например, при помощи известных перцепционных аудио кодеров, как например MPEG-1/2 Layer II или III (также известный как .mp3), MPEG-2/4 Усовершенствованное Кодирование Аудио (AAC), и т.д.

- На принимающей стороне, декодер концептуально пытается восстановить исходные сигналы объектов («разделение объектов») из (декодированных) сигналов понижающего микширования, используя переданную вспомогательную информацию. Эти аппроксимированные сигналы ŝ₁ … ŝ_N объектов затем микшируются в целевую сцену, представленную M каналами ŷ₁ … ŷ_M вывода аудио, используя матрицу рендеринга, описываемую коэффициентами r₁,₁ … r_N,_M на Фиг. 2. Желаемая целевая сцена может быть, в крайнем случае, рендерингом лишь одного сигнала источника из смеси (сценарий разделения источников), но также передается любая другая произвольная акустическая сцена, состоящая из объектов. Например, может выводиться одноканальная, 2-канальная стерео или 5.1 многоканальная целевая сцена.

Увеличение доступной полосы пропускания/хранилища и происходящие в настоящий момент улучшения в области кодирования аудио, предоставляют пользователю возможность выбора из неуклонно растущих вариантов выбора многоканальной аудио продукции. Многоканальные 5.1 аудио форматы уже являются стандартом в DVD и Blue-Ray продукции. На горизонте появляются новые аудио форматы, подобные MPEG-H 3D Audio с еще большим числом каналов транспортировки аудио, которые будут обеспечивать конечным пользователям аудио восприятие с глубоким погружением.

Схемы параметрического кодирования аудиообъектов в настоящий момент ограничены максимум двумя каналами понижающего микширования. Они лишь в некоторой степени могут быть применены к многоканальным смесям, например, только по двум выбранным каналам понижающего микширования. Таким образом, гибкость, которую эти схемы кодирования предлагают пользователю в отношении регулировки аудио сцены в соответствии с его/ее собственными предпочтениями, весьма ограничена, например, в отношении изменения уровня аудио спортивного комментатора и атмосферы в спортивной трансляции.

Более того, текущие схемы кодирования аудиообъектов предлагают лишь ограниченное разнообразие в процессе микширования на стороне кодера. Процесс микширования ограничивается переменным по времени микшированием аудиообъектов; а переменное по частоте микширование невозможно.

Вследствие этого было бы весьма желательным, если бы были предоставлены улучшенные концепции для кодирования аудиообъектов.

Цель настоящего изобретения состоит в предоставлении улучшенных концепций для кодирования аудиообъектов. Цель настоящего изобретения достигается посредством декодера по пункту 1 формулы изобретения, посредством способа по пункту 16 формулы изобретения и посредством компьютерной программы по пункту 17 формулы изобретения.

Предоставляется декодер для генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования, при этом сигнал понижающего микширования кодирует три или более сигнала аудиообъектов.

Декодер содержит маршрутизатор канала ввода для приема трех или более каналов понижающего микширования и для приема вспомогательной информации, и, по меньшей мере, два блока обработки канала для генерирования, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио.

Маршрутизатор канала ввода выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования.

Каждый блок обработки канала из, по меньшей мере, двух блоков обработки канала выполнен с возможностью генерирования одного или более из, по меньшей мере, двух обработанных каналов в зависимости от вспомогательной информации и в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов понижающего микширования, принятых упомянутым блоком обработки канала от маршрутизатора канала ввода.

Большая гибкость в процессе микширования обеспечивает оптимальную эксплуатацию характеристик объекта сигнала. Может быть создано понижающее микширование, которое оптимизировано для параметрического разделения на стороне декодера в отношении воспринимаемого качества.

Варианты осуществления расширяют параметрическую часть схемы SAOC до произвольного числа каналов понижающего микширования/повышающего микширования. Способ изобретения дополнительно обеспечивает полностью гибкое микширование аудиообъектов.

В соответствии с вариантом осуществления, маршрутизатор канала ввода может быть выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в точно один из, по меньшей мере, двух блоков обработки канала.

В варианте осуществления, маршрутизатор канала ввода может быть выполнен с возможностью подачи каждого из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала таким образом, что каждый из трех или более каналов понижающего микширования принимается посредством одного или более из, по меньшей мере, двух блоков обработанного канала.

В соответствии с вариантом осуществления, каждый из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью генерирования упомянутого одного или более из, по меньшей мере, двух обработанных каналов независимо от, по меньшей мере, одного из трех или более каналов понижающего микширования.

В варианте осуществления, каждый из, по меньшей мере, двух блоков обработки канала может быть либо блоком моно обработки, либо блоком стерео обработки, при этом упомянутый блок моно обработки может быть выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации, и при этом упомянутый блок стерео обработки может быть выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

По меньшей мере один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и является выполненным с возможностью генерирования точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точного одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и является выполненным с возможностью генерирования точно одного из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор канала ввода может быть выполнен с возможностью приема четырех или более каналов понижающего микширования, и, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема, по меньшей мере, трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования, по меньшей мере, трех из обработанных каналов в зависимости от упомянутых, по меньшей мере, трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования точно трех из обработанных каналов в зависимости от упомянутых точно трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор канала ввода может быть выполнен с возможностью приема шести или более каналов понижающего микширования, и при этом, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью приема точно пяти из шести или более каналов понижающего микширования и выполнен с возможностью генерирования точно пяти из обработанных каналов в зависимости от упомянутых точно пяти из шести или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор канала ввода выполнен с возможностью отмены подачи, по меньшей мере, одного из трех или более каналов понижающего микширования в любой из, по меньшей мере, двух блоков обработки канала таким образом, что упомянутый, по меньшей мере, один из трех или более каналов понижающего микширования не принимается любым из, по меньшей мере, двух блоков обработанного канала.

В соответствии с вариантом осуществления, декодер может дополнительно содержать маршрутизатор канала вывода для объединения, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио.

В варианте осуществления, декодер может дополнительно содержать блок рендеринга, при этом блок рендеринга может быть выполнен с возможностью приема информации рендеринга, и при этом блок рендеринга выполнен с возможностью генерирования одного или более каналов вывода аудио в зависимости от, по меньшей мере, двух обработанных каналов и в зависимости от информации рендеринга.

В соответствии с вариантом осуществления, по меньшей мере, два блока обработки канала могут быть выполнены с возможностью генерирования, по меньшей мере, двух обработанных каналов параллельно.

В соответствии с вариантом осуществления, первый блок обработки канала из, по меньшей мере, двух блоков обработки канала может быть выполнен с возможностью подачи первого обработанного канала из, по меньшей мере, двух обработанных каналов во второй блок обработки канала из, по меньшей мере, двух блоков обработки канала. Упомянутый второй блок обработки канала может быть выполнен с возможностью генерирования второго обработанного канала из, по меньшей мере, двух обработанных каналов в зависимости от первого обработанного канала.

Кроме того, предоставляется способ генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования. Сигнал понижающего микширования кодирует три или более сигнала аудиообъекта. Способ содержит этапы, на которых:

- Принимают три или более канала понижающего микширования и принимают вспомогательную информацию посредством маршрутизатора канала ввода.

- Подают каждый из, по меньшей мере, двух из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала, и

- Генерируют, по меньшей мере, два обработанных канала посредством, по меньшей мере, двух блоков обработки канала для получения одного или более каналов вывода аудио,

При этом этап, на котором подают каждые, по меньшей мере, два из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков обработки канала посредством маршрутизатора канала ввода, проводится таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков обработки канала принимает меньше, чем общее число из трех или более каналов понижающего микширования.

Этап, на котором генерируют, по меньшей мере, два обработанных канала, проводится посредством этапа, на котором генерируют один или более из, по меньшей мере, двух обработанных каналов посредством каждого блока обработки канала из, по меньшей мере, двух блоков обработки канала в зависимости от вспомогательной информации и в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов понижающего микширования, принятых посредством упомянутого блока обработки канала от маршрутизатора канала ввода.

Кроме того, предоставляется компьютерная программа для реализации описанного выше способа, при исполнении на компьютере или сигнальном процессоре.

В нижеследующем, более подробно описываются варианты осуществления настоящего изобретения, со ссылкой на чертежи, на которых:

Фиг. 1 является декодером для генерирования сигнала вывода аудио в соответствии с вариантом осуществления,

Фиг. 2 является общим видом системы SAOC, изображающим принцип таких систем, используя пример MPEG SAOC.

Фиг. 3 изображает схематичную иллюстрацию, показывающую принцип параллельного объединения нескольких экземпляров моно и стерео декодеров/транскодеров SAOC для параметрического декодирования смеси многоканальных сигналов в соответствии с вариантом осуществления, и

Фиг. 4 изображает схему, иллюстрирующую принцип каскадной структуры моно и стерео декодеров/транскодеров SAOC для обработки смеси многоканальных сигналов в соответствии с вариантом осуществления.

Перед описанием вариантов осуществления настоящего изобретения, более подробно предоставляется предыстория касательно уровня техники систем SAOC.

Фиг. 2 показывает общую компоновку кодера 10 SAOC и декодера 12 SAOC. Кодер 10 SAOC принимает в качестве ввода N объектов, т.е. аудиосигналы с s1 по sN. В частности, кодер 10 содержит блок 16 понижающего микширования, который принимает аудиосигналы с s1 по sN и выполняет понижающее микширование их в сигнал 18 понижающего микширования. В качестве альтернативы, понижающее микширование может быть предоставлено как внешнее («артистическое понижающее микширование») и система оценивает дополнительную вспомогательную информацию с тем, чтобы обеспечить совпадение предоставляемого понижающего микширования вычисленному понижающему микшированию. На Фиг. 2, сигнал понижающего микширования показан как P-канальный сигнал. Таким образом, возможна конфигурация сигнала понижающего микширования из моно (P=1), стерео (P=2) или многоканального (P>2).

В случае стерео понижающего микширования, каналы сигнала 18 понижающего микширования обозначаются L0 и R0, в случае моно понижающего микширования они же просто обозначаются L0. Чтобы предоставить декодеру 12 SAOC возможность восстановления индивидуальных объектов с s1 по s_N, блок 17 оценки вспомогательной информации предоставляет декодеру 12 SAOC вспомогательную информацию, включающую в себя SAOC-параметры. Например, в случае стерео понижающего микширования SAOC-параметры содержат разности уровней объектов (OLD), межобъектные корреляции (IOC) (параметры межобъектной кросс-корреляции), значения усиления понижающего микширования (DMG) и разности уровней каналов понижающего микширования (DCLD). Вспомогательная информация 20, включающая в себя SAOC-параметры, наряду с сигналом 18 понижающего микширования, формируют поток данных вывода SAOC, принимаемый декодером 12 SAOC.

Декодер 12 SAOC содержит блок повышающего микширования, который принимает сигнал 18 понижающего микширования, как, впрочем, и вспомогательную информацию 20 для того, чтобы восстановить и выполнить рендеринг аудиосигналов ŝ₁ и ŝ_N в любой выбранный пользователем набор каналов с ŷ₁ по ŷ_M, при этом рендеринг предписывается информацией 26 рендеринга, вводимой в декодер 12 SAOC.

Аудиосигналы с s₁ по s_N могут быть введены в кодер 10 в любой области кодирования, как например, во временной или спектральной области. В случае, когда аудиосигналы с s₁ по s_N подаются в кодер 10 во временной области, как например PCM кодированными, кодер 10 может использовать гребенку фильтра, как например гребенку гибридного QMF, для того, чтобы перевести сигналы в спектральную область, в которой аудиосигналы представляются в нескольких поддиапазонах, связанных с разными спектральными участками, при конкретном разрешении гребенки фильтра. Если аудиосигналы с s₁ по s_N уже находятся в представлении, которое ожидается кодером 10, вышеупомянутому не требуется выполнять спектральное разложение.

Фиг. 1 иллюстрирует декодер для генерирования сигнала вывода аудио, содержащего один или более каналов вывода аудио, из сигнала понижающего микширования, содержащего три или более канала понижающего микширования в соответствии с вариантом осуществления. Сигнал понижающего микширования кодирует три или более сигнала аудиообъекта.

Декодер содержит маршрутизатор 110 канала ввода для приема трех или более каналов DMX1, DMX2, DMX3 понижающего микширования и для приема вспомогательной информации SI, и по меньшей мере, два блока 121, 122 обработки канала для генерирования, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио.

Маршрутизатор 110 канала вывода выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов DMX1, DMX2, DMX3 понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала таким образом, что каждый из, по меньшей мере, двух блоков 121, 122 обработки канала принимает один или более из трех или более каналов понижающего микширования, и таким образом, что каждый из, по меньшей мере, двух блоков 121, 122 обработки канала принимает меньше, чем общее число из трех или более каналов DMX1, DMX2, DMX3 понижающего микширования.

В частности, в варианте осуществления Фиг. 1, каждый из трех каналов DMX1, DMX2, DMX3 понижающего микширования подаются в точно один блок обработки канала. Тем не менее, в других вариантах осуществления, не все из трех или более каналов понижающего микширования, принятых маршрутизатором 110 канала ввода, могут быть поданы в блок обработки. Тем не менее, в любом случае, каждый из, по меньшей мере, двух каналов понижающего микширования из трех или более каналов понижающего микширования будут поданы в, по меньшей мере, один из блоков обработки канала.

Каждый блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки канала выполнен с возможностью генерирования одного или более из, по меньшей мере, двух обработанных каналов в зависимости от вспомогательной информации SI и в зависимости от упомянутого одного или более из, по меньшей мере, двух из трех или более каналов (DMX1, DMX2, DMX3) понижающего микширования, принятых посредством упомянутого блока 121, 122 обработки канала от маршрутизатора 110 канала ввода.

В примере на Фиг. 1, блок 121 обработки канала принимает два канала (DMX1 DMX2) понижающего микширования для генерирования двух обработанных каналов (PCH1, PCH2). Таким образом, блок 121 обработки может быть рассмотрен в качестве блока обработки стерео-в-стерео.

Более того, в примере на Фиг. 1, блок 122 обработки канала принимает канал DMX3 понижающего микширования для генерирования двух обработанных каналов (PCH3, PCH4).

В примере на Фиг. 1, обработанные каналы PCH1, PCH2, PCH3, PCH4 являются каналами вывода аудио, сгенерированными декодером. Тем не менее, в других вариантах осуществления, каналы вывода аудио генерируются в зависимости от обработанных каналов, например, посредством применения информации рендеринга.

Генерирование обработанных каналов из каналов понижающего микширования выполняется посредством применения вспомогательной информации. Вспомогательная информация может, например, содержать информацию понижающего микширования, которая указывает на то, каким образом аудиообъекты были подвергнуты понижающему микшированию для получения трех или более каналов понижающего микширования. Более того, вспомогательная информация также может содержать информацию о матрице ковариации размера N×N, которая может указывать для N аудиообъектов или N сигналов аудиообъектов, которые закодированы, параметры OLD и IOC этих N аудиообъектов.

Блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки канала может, например, быть блоком обработки моно-в-моно, который реализует режим обработки моно в моно «x-1-1». Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, быть выполнен с возможностью реализации режима обработки моно в стерео «x-1-2». Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, быть выполнен с возможностью реализации режима обработки стерео в моно «x-2-1». Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, быть блоком обработки стерео-в-стерео, который реализует режим обработки стерео в стерео «x-2-2».

Режим обработки моно в моно «x-1-1», режим обработки моно в стерео «x-1-2», режим обработки стерео в моно «x-2-1» и режим обработки стерео в стерео «x-2-2» описываются в Стандарте SAOC (смотри [SAOC]), в качестве режимов декодирования стандарта SAOC.

В частности, смотри, например, ISO/IEC, «MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),» ISO/IEC JTC1/SC29/WG11 (MPEG) Международный Стандарт 23003-2:2010, в частности, смотри, раздел «SAOC Processing», еще точнее, смотри подраздел «Decoding modes».

В варианте осуществления, каждый из, по меньшей мере, двух блоков 121, 122 обработки канала может быть либо блоком моно обработки, либо блоком стерео обработки, при этом упомянутый блок моно обработки выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации, и при этом упомянутый блок стерео обработки выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного или точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

По меньшей мере, один из, по меньшей мере двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно одного из трех или более каналов понижающего микширования и является выполненным с возможностью генерирования точно двух из, по меньшей мере, двух обработанных каналов в зависимости от упомянутого точно одного из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно двух из трех или более каналов понижающего микширования и выполнен с возможностью генерирования точно одного из, по меньшей мере, двух обработанных каналов в зависимости от упомянутых точно двух из трех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

Блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, реализовывать режим обработки моно понижающего микширования («x-1-5») для генерирования пяти обработанных каналов из моно канала понижающего микширования. Или, блок обработки канала из, по меньшей мере, двух блоков 121, 122 обработки может, например, реализовывать режим обработки стерео понижающего микширования («x-2-5») для генерирования пяти обработанных каналов из двух каналов понижающего микширования.

Режим обработки моно понижающего микширования («x-1-5») и режим обработки стерео понижающего микширования («x-2-5») описываются в Стандарте SAOC (смотри [SAOC]), как режимы транскодирования стандарта SAOC.

В частности, смотри, например, ISO/IEC, «MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),» ISO/IEC JTC1/SC29/WG11 (MPEG) Международный Стандарт 23003-2:2010, в частности, смотри, раздел «SAOC Processing», еще точнее, смотри подраздел «Transcoding modes».

Тем не менее, в некоторых вариантах осуществления, один, некоторые или все из блоков 121, 122 обработки канала может быть выполнен по-другому.

В варианте осуществления, маршрутизатор 110 канала ввода может быть выполнен с возможностью приема четырех или более каналов понижающего микширования, и, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема, по меньшей мере, трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования, по меньшей мере, трех из обработанных каналов в зависимости от упомянутых, по меньшей мере, трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно трех из четырех или более каналов понижающего микширования и может быть выполнен с возможностью генерирования точно трех из обработанных каналов в зависимости от упомянутых точно трех из четырех или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В варианте осуществления, маршрутизатор 110 канала ввода может быть выполнен с возможностью приема шести или более каналов понижающего микширования, и при этом, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью приема точно пяти из шести или более каналов понижающего микширования и выполнен с возможностью генерирования точно пяти из обработанных каналов в зависимости от упомянутых точно пяти из шести или более каналов понижающего микширования и в зависимости от вспомогательной информации.

В соответствии с вариантом осуществления, маршрутизатор канала ввода может быть выполнен с возможностью подачи каждого из, по меньшей мере, двух из трех или более каналов понижающего микширования в точно один из, по меньшей мере, двух блоков 121, 122 обработки канала. Таким образом, ни один из каналов DMX1, DMX2, DMX3 понижающего микширования не подается в два или более из блоков 121, 122 обработки канала, как, например, в примере на Фиг. 1. Тем не менее, в других вариантах осуществления, один или более из каналов понижающего микширования могут быть поданы в более чем один блок обработки канала.

В варианте осуществления, маршрутизатор 110 канала ввода может быть выполнен с возможностью подачи каждого из трех или более каналов понижающего микширования в, по меньшей мере, один из, по меньшей мере, двух блоков 121, 122 обработки канала таким образом, что каждый из трех или более каналов понижающего микширования принимается посредством одного или более из, по меньшей мере, двух блоков 121, 122 обработки канала. Тем не менее, в других вариантах осуществления, маршрутизатор 110 канала ввода выполнен с возможностью отмены подачи, по меньшей мере, одного из трех или более каналов понижающего микширования в любой из, по меньшей мере, двух блоков 121, 122 обработки канала таким образом, что упомянутый, по меньшей мере, один из трех или более каналов понижающего микширования не принимается посредством любого из, по меньшей мере, двух блоков обработки канала.

В соответствии с вариантом осуществления, каждый из, по меньшей мере, двух блоков 121, 122 обработки канала может быть выполнен с возможностью генерирования упомянутого одного или более из, по меньшей мере, двух обработанных каналов независимо от, по меньшей мере, одного из трех или более каналов понижающего микширования. Другими словами, ни один из блоков обработки канала не принимает все из каналов DMX1, DMX2, DMX3 понижающего микширования, как иллюстрируется на Фиг. 1.

В соответствии с вариантами осуществления, функциональные возможности обработки многоканального понижающего микширования могут быть реализованы посредством (каскадного или/и параллельного) приложения нескольких экземпляров декодеров/транскодеров SAOC (или их частей).

Фиг. 3 изображает схематичную иллюстрацию, показывающую принцип параллельного объединения нескольких экземпляров моно и стерео декодеров/транскодеров SAOC для параметрического декодирования смеси многоканальных сигналов в соответствии с вариантом осуществления.

В частности, на Фиг. 3, несколько экземпляров моно и стерео декодеров/транскодеров SAOC приводятся в действие параллельно для обработки многоканального понижающего микширования.

Например, блоки 121, 122, 123, 124, 125, 126 обработки канала с Фиг. 3 могут быть выполнены с возможностью параллельного генерирования, по меньшей мере, двух обработанных каналов. Например, блоки 121, 122, 123, 124, 125, 126 обработки канала могут быть выполнены с возможностью параллельного генерирования, по меньшей мере, двух обработанных каналов таким образом, что каждый из, по меньшей мере, двух блоков обработки канала начинает генерирование одного из, по меньшей мере, двух обработанных каналов до того, как любой другой блок обработки канала из, по меньшей мере, двух блоков обработки канала заканчивает генерирование другого одного из, по меньшей мере, двух обработанных каналов.

Маршрутизатор 110 канала ввода с Фиг. 3 маршрутизирует каналы ввода к нескольким декодерам/транскодерам. Следует отметить, что декодеры/транскодеры могут приводиться в действие с помощью любого произвольного числа каналов ввода и не ограничиваются лишь моно или стерео сигналами, как изображено на Фиг. 3 для наглядности.

В соответствии с вариантом осуществления Фиг. 3, декодер дополнительно содержит маршрутизатор 130 канала вывода для объединения, по меньшей мере, двух обработанных каналов для получения одного или более каналов вывода аудио. (Обработанные) сигналы, которые обрабатываются блоками декодеров/транскодеров, подаются в маршрутизатор 130 канала вывода. Маршрутизатор 130 канала вывода объединяет несколько потоков ввода и возвращает финальную оценку сигналов аудиообъектов блоку 140 рендеринга.

В варианте осуществления, иллюстрируемом Фиг. 3, декодер дополнительно содержит блок 140 рендеринга. Блок 140 рендеринга выполнен с возможностью приема информации рендеринга, при этом блок рендеринга выполнен с возможностью генерирования одного или более каналов вывода аудио в зависимости от, по меньшей мере, двух обработанных каналов и в зависимости от информации рендеринга.

Следует отметить, что параметрическую обработку требуется применять только к интересующим каналам понижающего микширования. Таким образом может быть уменьшена сложность вычисления. Сигналы понижающего микширования могут быть полностью обойдены обработкой, если они не требуются (например, каналы окружающего звучания могут быть обойдены, если осуществляется манипулирование только фронтальной сценой). В этих вариантах осуществления, не все из трех или более каналов понижающего микширования, принятые маршрутизатором 110 канала ввода, подаются в блок обработки канала, а лишь подмножество из этих принятых каналов понижающего микширования. Тем не менее, в любом случае, по меньшей мере, два канала понижающего микширования из трех или более принятых каналов понижающего микширования, предоставляются блокам обработки канала.

Фиг. 4 изображает схему, иллюстрирующую принцип каскадной структуры моно и стерео декодеров/транскодеров SAOC для обработки смеси многоканальных сигналов в соответствии с вариантом осуществления.

В соответствии с таким вариантом осуществления, иллюстрируемым Фиг. 4, первый блок 121 обработки канала из, по меньшей мере, двух блоков обработки канала, может быть выполнен с возможностью подачи первого обработанного канала PCH11 из, по меньшей мере, двух обработанных каналов во второй блок 126 обработки канала из, по меньшей мере, двух блоков обработки канала. Упомянутый второй блок 126 обработки может быть выполнен с возможностью генерирования второго обработанного канала PCH22 из, по меньшей мере, двух обработанных каналов в зависимости от первого обработанного канала PCH11.

Комбинация нескольких декодеров/транскодеров может быть статической и заданной заранее, но также может быть адаптируемой динамически.

Данный подход представляет собой полностью обратно совместимый с SAOC способ расширения систем обработки многоканального понижающего микширования.

Настоящие варианты осуществления изобретения могут быть применены к произвольному числу каналов понижающего микширования/повышающего микширования. Они могут быть объединены с любыми настоящими, а также будущими аудио форматами.

Гибкость способа изобретения позволяет обходить неизменяемые каналы для уменьшения сложности вычислений, сокращения полезной нагрузки битового потока/сокращения объема данных.

Некоторые варианты осуществления, относятся к аудио кодеру, способу или компьютерной программе для кодирования. Более того, некоторые варианты осуществления относятся к аудио декодеру, способу или компьютерной программе для декодирования, как описано выше. Кроме того, некоторые варианты осуществления относятся к закодированному сигналу.

Несмотря на то, что некоторые аспекты были описаны в контексте устройства, очевидно, что эти аспекты также представляют собой описание соответствующего способа, при этом блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока или элемента или признака соответствующего устройства.

Разложенный сигнал по изобретению может быть сохранен на цифровом запоминающем носителе информации или может быть передан по средству передачи такому как беспроводное средство передачи или проводное средство передачи, такое как Интернет.

В зависимости от конкретных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратном обеспечении или в программном обеспечении. Реализация может быть выполнена при помощи цифрового запоминающего носителя информации, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или FLASH памяти, с хранящимися на нем электронно-считываемыми сигналами управления, которые взаимодействуют (или выполнены с возможностью взаимодействия) с программируемой компьютерной системой таким образом, что выполняется соответствующий способ.

Некоторые варианты осуществления в соответствии с изобретением содержат некратковременный (нетранзиторный) носитель данных с электронно-считываемыми сигналами управления, которые выполнены с возможностью взаимодействия с программируемой компьютерной системой таким образом, что выполняется один из описываемых в данном документе способов.

В целом, варианты осуществления настоящего изобретения могут быть реализованы в качестве компьютерного программного продукта с программным кодом, при этом программный код действует для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может, например, быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из описываемых в данном документе способов, хранящуюся на машиночитаемом носителе.

Другими словами, вариант осуществления способа по изобретению является, вследствие этого, компьютерной программой с программным кодом для выполнения одного из описываемых в данном документе способов, когда компьютерная программа выполняется на компьютере.

Дополнительный вариант осуществления способов по изобретению является, вследствие этого, носителем данных (или цифровым запоминающим носителем информации, или машиночитаемым носителем информации) содержащим, записанную на нем, компьютерную программу для выполнения одного из описываемых в данном документе способов.

Дополнительный вариант осуществления способа по изобретению является, вследствие этого, потоком данных или последовательностью сигналов, представляющих собой компьютерную программу для выполнения одного из описываемых в данном документе способов. Поток данных или последовательность сигналов могут, например, быть выполнены с возможностью переноса через соединения для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер, или программируемое логическое устройство, сконфигурированное для или выполненное с возможностью выполнения одного из описываемых в данном документе способов.

Дополнительный вариант осуществления содержит компьютер с инсталлированной на нем компьютерной программой для выполнения одного из описываемых в данном документе способов.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая вентильная матрица) может быть использовано для выполнения некоторых или всех из функциональных возможностей, описываемых в данном документе способов. В некоторых вариантах осуществления, программируемая вентильная матрица может взаимодействовать с микропроцессором для того, чтобы выполнять один из описываемых в данном документе способов. В целом, способы предпочтительно выполняются любым устройством аппаратного обеспечения.

Описанные выше варианты осуществления являются лишь иллюстративными для принципов настоящего изобретения. Следует понимать, что специалистам в соответствующей области будут очевидны модификации и вариации описываемых в данном документе компоновок и подробностей. Вследствие этого, подразумевается, что изобретение должно ограничиваться только объемом прилагаемой формулы изобретения, а не конкретными подробностями, представленными в данном документе в качестве описания и объяснения вариантов осуществления.

БИБЛИОГРАФИЯ

[MPS] ISO/IEC 23003-1:2007, MPEG-D (MPEG audio technologies), Part 1: MPEG Surround, 2007.

[BCC] C. Faller and F. Baumgarte, “Binaural Cue Coding - Part II: Schemes and applications,” IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.

[JSC] C. Faller, “Parametric Joint-Coding of Audio Sources”, 120th AES Convention, Paris, 2006.

[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.

[SAOC2] J. Engdegård, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.

[SAOC] ISO/IEC, “MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),” ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.

[ISS1] M. Parvaix and L. Girin: “Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding”, IEEE ICASSP, 2010.

[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: “A watermarking-based method for informed source separation of audio signals with a single sensor”, IEEE Transactions on Audio, Speech and Language Processing, 2010.

[ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: “Informed source separation through spectrogram coding and data embedding”, Signal Processing Journal, 2011.

[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: “Informed source separation: source coding meets source separation”, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.

[ISS5] Shuhua Zhang and Laurent Girin: “An Informed Source Separation System for Speech Signals”, INTERSPEECH, 2011.

[ISS6] L. Girin and J. Pinel: “Informed Audio Source Separation from Compressed Linear Stereo Mixtures”, AES 42nd International Conference: Semantic Audio, 2011.