ПАРАМЕТРИЧЕСКАЯ РЕКОНСТРУКЦИЯ АУДИОСИГНАЛОВ

ПЕРЕКРЕСТНЫЕ ССЫЛКИ НА РОДСТВЕННЫЕ ЗАЯВКИ

Данная заявка испрашивает приоритет по отношению к предварительной заявке на патент США № 61/893,770, поданой 21 октября 2013 года; предварительной заявке на патент США № 61/974,544, поданой 3 апреля 2014 года; и предварительной заявке на патент США № 62/037,693, поданной 15 августа 2014 года, описание каждой из которых включено в данный документ во всем объеме посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ

Данное изобретение в целом относится к кодированию и декодированию аудиосигналов, и, в частности, к параметрической реконструкции многоканального аудиосигнала на основе сигнала понижающего микширования и связанных метаданых.

УРОВЕНЬ ТЕХНИКИ

Системы воспроизведения аудио содержат множество громкоговорителей (динамиков), часто используемых для воспроизведения аудиосцены, представляемой многоканальным аудиосигналом, причем соответствующие каналы многоканального аудиосигнала проигрываются на соответствующих громкоговорителях. Многоканальный аудиосигнал может, например, быть записан с помощью множества акустических преобразователей или может быть сгенерирован авторским аудиооборудованием. Во многих случаях присутствуют ограничения на ширину полосы частот для передачи аудиосигнала на воспроизводящее оборудование и/или ограничения по объему для хранения аудиосигнала в памяти компьютера или в портативном устройстве хранения. Существуют системы аудиокодирования для параметрического кодирования аудиосигналов, для уменьшения ширины полосы частот или необходимого объема хранилища. Со стороны кодировщика эти системы обычно микшируют с понижением многоканальный аудиосигнал в сигнал понижающего микширования, который обычно является моно (одноканальным) или стерео (двухканальным) сигналом понижающего микширования, и получают дополнительную информацию, описывающую характеристики каналов с помощью параметров, таких как разницы уровней и кросскорреляция. Сигнал понижающего микширования и дополнительная информация затем кодируются и отправляются на сторону декодера. Со стороны декодера многоканальный сигнал реконструируется, например, с помощью аппроксимации, из сигнала понижающего микширования под управлением параметров дополнительной информации.

Ввиду широкого спектра различных типов устройств и систем, способных воспроизводить многоканальный аудиоконтент, в том числе исходящие сегменты, направленные на конечных пользователей в их домах, существует потребность в новых и альтернативных способах эффективного кодирования многоканального аудиоконтента, для снижения требований к ширине полосы частот и/или требуемого объема памяти для хранения, и/или для облегчения реконструкции многоканального аудиосигнала со стороны декодера.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее варианты реализации изобретения описаны более подробно со ссылкой на прилагаемые чертежи, на которых:

Фиг. 1 является обобщенной блок-схемой секции параметрической реконструкции многоканального аудиосигнала на основании одноканального сигнала понижающего микширования и связанных параметров сухого и влажного повышающего микширования, в соответствии с примерным вариантом реализации изобретения;

Фиг. 2 является обобщенной блок-схемой системы аудиодекодирования, содержащей секцию параметрической реконструкции, проиллюстрированную на Фиг. 1, в соответствии с примерным вариантом реализации изобретения;

Фиг. 3 является обобщенной блок-схемой секции параметрического кодирования, предназначенной для кодирования многоканального аудиосигнала в виде одноканального сигнала понижающего микширования и связанных метаданных, в соответствии с примерным вариантом реализации изобретения;

Фиг. 4 является обобщенной блок-схемой системы аудиокодирования, содержащей секцию параметрического кодирования, проиллюстрированную на Фиг. 3, в соответствии с примерным вариантом реализации изобретения;

Фиг. 5-11 иллюстрируют альтернативные способы представления 11.1-канального аудиосигнала с помощью каналов понижающего микширования в соответствии с примерными вариантами реализации изобретения;

Фиг. 12-13 иллюстрируют альтернативные способы представления 13.1-канального аудиосигнала с помощью каналов понижающего микширования, в соответствии с примерными вариантами реализации изобретения; и

Фиг. 14-16 иллюстрируют альтернативные способы представления 22.2-канального аудиосигнала с помощью сигналов понижающего микширования, в соответствии с примерными вариантами реализации изобретения.

Все фигуры являются схематическими и в общем только иллюстрируют части, которые необходимы для объяснения изобретения, в то время как другие части могут быть опущены или просто предлагаться.

ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ РЕАЛИЗАЦИИ ИЗОБРЕТЕНИЯ

В данном контексте аудиосигнал может быть чистым аудиосигналом, аудиочастью аудиовизуального сигнала или мультимедийного сигнала, или любым из них в сочетании с метаданными.

В данном контексте канал является аудиосигналом, связанным с предварительно определенной/зафиксированной пространственной позицией/ориентацией или неопределенной пространственной позицией, такой как "левая" или "правая".

I. Обзор

В соответствии с первым аспектом примерные варианты реализации изобретения предлагают системы аудиодекодирования, а также способы и компьютерные программные продукты для реконструкции аудиосигналов. Предлагаемые системы декодирования, способы и компьютерные программные продукты в соответствии с первым аспектом могут в общем обладать одинаковыми особенностями и преимуществами.

В соответствии с примерными вариантами реализации изобретения предлагается способ реконструкции -канального аудиосигнала, где . Способ включает в себя получение одноканального сигнала понижающего микширования или канала многоканального сигнала понижающего микширования, несущего данные для реконструкции большего количества аудиосигналов вместе со связанными параметрами «сухого» и «влажного» повышающего микширования; вычисление первого сигнала с множеством () каналов, упоминаемого как сигнал сухого повышающего микширования, в качестве линейного отображения сигнала понижающего микширования, причем набор коэффициентов сухого повышающего микширования применяется к сигналу понижающего микширования как часть вычисления сигнала сухого повышающего микширования; генерирование -канального декоррелированного сигнала на основании сигнала понижающего микширования; вычисление дополнительного сигнала с множеством () каналов, упоминаемого как сигнал влажного повышающего микширования, в качестве линейного отображения декоррелированного сигнала, причем набор коэффициентов влажного повышающего микширования применяется к каналам декоррелированного сигнала как часть вычисления сигнала влажного повышающего микширования; и объединение сигналов сухого и влажного повышающего микширования для получения многомерного реконструированного сигнала, соответствующего -канальному аудиосигналу, подлежащему реконструкции. Способ дополнительно включает в себя определение набора коэффициентов сухого повышающего микширования на основании принятых параметров сухого повышающего микширования; заполнение вспомогательной матрицы, содержащей больше элементов, чем количество принятых параметров влажного повышающего микширования, на основании принятых параметров влажного повышающего микширования и знания того, что вспомогательная матрица принадлежит к предварительно определенному классу матриц; и получение набора коэффициентов влажного повышающего микширования путем умножения вспомогательной матрицы на предварительно определенную матрицу, при этом набор коэффициентов влажного повышающего микширования соответствует матрице, полученной в результате умножения, и содержит больше коэффициентов, чем количество элементов во вспомогательной матрице.

В этом примерном варианте реализации изобретения количество коэффициентов влажного повышающего микширования, использующихся для реконструкции -канального аудиосигнала, больше, чем количество полученных параметров влажного повышающего микширования. Пользуясь тем, что известны предварительно определенная матрица и предварительно определенный класс матриц для получения коэффициентов влажного повышающего микширования из принятых параметров влажного повышающего микширования, количество информации необходимое для осуществления реконструкции -канального аудиосигнала может быть уменьшено, что позволяет уменьшить количество метаданных, передаваемых вместе с сигналом понижающего микширования со стороны кодировщика. При уменьшении количества данных необходимого для параметрической реконструкции, требуемая ширина полосы частот для передачи параметрического представления -канального аудиосигнала, и/или требуемый размер памяти для хранения такого отображения могут быть уменьшены.

-канальный декоррелированый сигнал служит для увеличения размерности контента реконструированного -канального аудиосигнала, как воспринимается слушателем. Каналы -канального декоррелированого сигнала могут содержать по меньшей мере приблизительно такой же спектр, как и одноканальный сигнал понижающего микширования, или могут иметь спектр соответствующий отмасштабированным/нормализованным версиям спектра одноканального сигнала понижающего микширования, и может формировать, совместно с одноканальным сигналом понижающего микширования, по меньшей мере приблизительно взаимно некоррелированые каналы. С целью обеспечения достоверной реконструкции каналов -канального аудиосигнала, каждый из каналов декоррелированного сигнала предпочтительно имеет такие характеристики, которые воспринимаются слушателем, как подобные сигналу понижающего микширования. Следовательно, хотя является возможным синтезирование взаимно некоррелируемых сигналов с заданным спектром из, например, белого шума, каналы декоррелированого сигнала предпочтительно получаются при обработке сигнала понижающего микширования, например при применении соответствующих фазовых фильтров к сигналу понижающего микширования или рекомбинировании частей сигнала понижающего микширования, для сохранения наиболее возможного количества характеристик, особенно локально неизменяемых характеристик сигнала понижающего микширования, включая относительно более тонкие, психо-акустически обусловленные характеристики сигнала понижающего микширования, такие как тембр.

Сочетание влажного и сухого сигналов повышающего микширования может включать в себя добавление аудиоконтента из соответствующих каналов влажного сигнала повышающего микширования в аудиоконтент соответствующих каналов сухого сигнала повышающего микширование, такого как аддитивное микширование на основании образца или преобразовательного коэффициента.

Предварительно определенный класс матриц может ассоциироваться с известными характеристиками по меньшей мере некоторых элементов матрицы, которые действительны для всех матриц в классе, такие как определенные взаимозависимости между некоторыми элементами матрицы или некоторые элементы матрицы, равные нулю. Знание этих характеристик позволяет заполнять вспомогательную матрицу на основании меньшего количества параметров влажного повышающего микширования, в отличие от полного количества элементов матрицы во вспомогательной матрице. Сторона декодировщика содержит сведения о по меньшей мере характеристиках и взаимозависимостях элементов, которые необходимы для расчета всех элементов матрицы на основании меньшего количества параметров влажного повышающего микширования.

Поскольку сигнал сухого повышающего микширования является линейным отображением сигнала понижающего микширования, то это означает, что сигнал сухого повышающего микширования получается при применении первого линейного преобразования сигнала понижающего микширования. Это первое преобразование принимает один канал в качестве входа, а каналов в качестве выхода, и коэффициенты сухого повышающего микширования являются коэффициентами, определяющими количественные характеристики этого первого линейного преобразования.

Поскольку сигнал влажного повышающего микширования является линейным отображением декоррелированного сигнала, то это означает, что сигнал влажного повышающего микширования получается при применении второго линейного преобразования к декоррелированному сигналу. Это второе линейное преобразование принимает каналов в качестве входа, каналов в качестве выхода, и коэффициенты влажного повышающего микширования являются коэффициентами, определяющими количественные характеристики этого второго линейного преобразования.

В примерном варианте реализации изобретения получение параметров влажного повышающего микширования может включать в себя получение параметров влажного повышающего микширования. В настоящем примерном варианте реализации изобретения заполнение вспомогательной матрицы может включать получение значений для элементов матрицы на основании принятых параметров влажного повышающего микширования и знания того, что вспомогательная матрица принадлежит к предварительно определенному классу матриц. Это может включать в себя вставку значений параметров влажного повышающего микширования непосредственно как элементов матрицы или обработку параметров влажного повышающего микширования подходящим способом для получения значений для элементов матрицы. В настоящем примерном варианте реализации изобретения предварительно определенная матрица может содержать элементов, и набор коэффициентов влажного повышающего микширования может содержать коэффициентов. Например, прием параметров влажного повышающего микширования может включать в себя прием не более чем независимо передаваемых параметров влажного повышающего микширования и/или количество принятых параметров влажного повышающего микширования может быть не больше, чем половина от количества коэффициентов влажного повышающего микширования, использующихся для реконструкции -канального аудиосигнала.

Следует понимать, что пренебрежение вкладом из канала декоррелированного сигнала при формировании канала сигнала влажного повышающего микширования как линейного отображения каналов декоррелированного сигнала соответствует применению коэффициента с нулевым значением для этого канала, например, пренебрежение вкладом из канала не влияет на число коэффициентов, применяемых как часть линейного отображения.

В примерном варианте реализации изобретения заполнение вспомогательной матрицы может включать в себя применение принятых параметров влажного повышающего микширования как элементов вспомогательной матрицы. Поскольку принятые параметры влажного повышающего микширования используются как элементы во вспомогательной матрице без каких-либо дополнительных обработок, сложность вычислений, необходимых для заполнения вспомогательной матрицы и получения коэффициентов повышающего микширования, может быть уменьшена, обеспечивая возможность более вычислительно эффективной реконструкции -канального аудиосигнала.

В примерном варианте реализации изобретения прием параметров сухого повышающего микширования может включать в себя прием параметров сухого повышающего микширования. В настоящем примерном варианте реализации изобретения набор коэффициентов сухого повышающего микширования может включать коэффициентов, и набор коэффициентов сухого повышающего микширования определяется на основании принятых параметров сухого повышающего микширования и основывается на предварительно определенной зависимости между коэффициентами в наборе коэффициентов сухого повышающего микширования. Например, прием параметров сухого повышающего микширования может включать в себя прием не более чем независимо присваиваемых параметров сухого повышающего микширования. Например, сигнал понижающего микширования может получаться в соответствии с предварительно определенным правилом как линейное отображение -канального аудиосигнала, подлежащего реконструкции, а предварительно определенная зависимость между коэффициентами сухого повышающего микширования может основываться на предварительно определенном правиле.

В приведенном в качестве примера варианте реализации изобретения предварительно определенный класс матриц может быть одним из: нижней или верхней треугольных матриц, в которых известные характеристики всех матриц в классе включают предварительно определенные элементы матрицы, равные нулю; симметричных матриц, в которых известные характеристики всех матриц в классе включают предварительно определенные элементы матрицы (на каждой из сторон главной диагонали), являющиеся равными; и произведений ортогональной матрицы и диагональной матрицы, при этом известные характеристики всех матриц в классе включают известные зависимости между предварительно определенными элементами матрицы. Другими словами, предварительно определенный класс матриц может быть классом нижних треугольных матриц, классом верхних треугольных матриц, классом симметричных матриц или классом произведений ортогональной матрицы и диагональной матрицы. Общей характеристикой каждого из упомянутых выше классов является то, что их размерность меньше, чем полное количество элементов матрицы.

В примерном варианте реализации изобретения сигнал понижающего микширования может получаться в соответствии с предварительно определенным правилом, как линейное отображение -канального аудиосигнала, предназначенного для реконструкции. В настоящем примерном варианте реализации изобретения предварительно определенное правило может определять предварительно определенную операцию понижающего микширования, а предварительно определенная матрица может основываться на векторах, перекрывающих пространство ядра предварительно определенной операции понижающего микширования. Например, строки или столбцы предварительно определенной матрицы могут быть векторами, формирующими базис, например ортонормальный базис для пространства ядра предварительно определенной операции понижающего микширования.

В примерном варианте реализации изобретения прием одноканального сигнала понижающего микширования совместно с связанными параметрами сухого и влажного повышающего микширования может включать в себя прием временного интервала или временно-частотного фрагмента сигнала понижающего микширования совместно с параметрами сухого и влажного повышающего микширования, связанными с этим временным интервалом или временно-частотным фрагментом. В настоящем примерном варианте реализации изобретения многомерный реконструированный сигнал может соответствовать временному интервалу или временно-частотному фрагменту -канального аудиосигнала, подлежащего реконструкции. Другими словами, реконструкция -канального аудиосигнала может по меньшей мере в некоторых примерных вариантах реализации изобретения выполняться по одному временному интервалу или временно-частотному фрагменту за время. Системы аудиокодирования/декодирования обычно разбивают временно-частотное пространство на временно-частотные фрагменты, например, используя подходящие банки фильтров для входных аудиосигналов. Поскольку временной/частотный фрагмент в общем означает часть временно-частотного пространства, соответствующего временному интервалу/сегменту и частотному поддиапазону.

В соответствии с примерными вариантами реализации изобретения воплощается система аудиодекодирования, содержащая первую секцию параметрической реконструкции, выполненной с возможностью реконструировать -канальный аудиосигнал на основании первого одноканального сигнала понижающего микширования и связанных параметров сухого и влажного повышающего микширования, где . Первая секция параметрической реконструкции содержит первую декоррелирующую секцию выполненную с возможностью приема первого сигнала понижающего микширования и вывода, на основании его, первого -канального декоррелированного сигнала. Первая секция параметрической реконструкции также содержит первую секцию сухого повышающего микширования, выполненную с возможностью: приема параметров сухого повышающего микширования и сигнала понижающего микширования; определение первого набора коэффициентов сухого повышающего микширования на основании параметров сухого повышающего микширования; и вывода первого сигнала сухого повышающего микширования, рассчитанного с помощью линейного отображения первого сигнала понижающего микширования в соответствии с первым набором коэффициентов сухого повышающего микширования. Другими словами, каналы первого сигнала сухого повышающего микширования получаются при умножении одноканального сигнала понижающего микширования на соответствующие коэффициенты, которые могут быть собственно коэффициентами сухого повышающего микширования или которые могут быть коэффициентами, контролируемыми с помощью коэффициентов сухого повышающего микширования. Первая секция параметрической реконструкции дополнительно содержит первую секцию влажного повышающего микширования, выполненную с возможностью: приема параметров влажного повышающего микширования и первого декоррелированного сигнала; заполнения первой вспомогательной матрицы, содержащей большее количество элементов, чем количество принятых параметров влажного повышающего микширования, основанных на принятых параметрах влажного повышающего микширования и знании того, что первая вспомогательная матрица принадлежит к первому предварительно определенному классу матриц, то есть применяя характеристики конкретных матричных элементов, поддерживаемые для всех матриц в предварительно определенном классе матриц; получение первого набора коэффициентов влажного повышающего микширования при помощи умножения первой вспомогательной матрицы с первой предварительно определенной матрицей, при этом первый набор коэффициентов влажного повышающего микширования соответствует матрице, получаемой при перемножении, и содержит больше коэффициентов, чем число элементов в первой вспомогательной матрице; и вывод первого сигнала влажного повышающего микширования, вычисленного при помощи линейного отображения первого декоррелированного сигнала в соответствии с первым набором коэффициентов влажного повышающего микширования, то есть при помощи формирования линейных комбинаций каналов декоррелированного сигнала, используя коэффициенты влажного повышающего микширования. Первая секция параметрической реконструкции также содержит первую объединяющую секцию, выполненную с возможностью приема первого сигнала сухого повышающего микширования и первого сигнала влажного повышающего микширования и объединения этих сигналов для получения первого многомерного подлежащего реконструкции сигнала, соответствующего подлежащему реконструкции -мерному аудиосигналу.

В соответствии с примерными вариантами реализации изобретения система аудиодекодирования может дополнительно содержать вторую секцию параметрической реконструкции, работающую независимо от первой секции параметрической реконструкции и выполненную с возможностью реконструировать -канальный аудиосигнал на основании второго одноканального сигнала понижающего микширования и связанных параметров сухого и влажного повышающего микширования, где . Для примера можно принять, что или что . В настоящем примерном варианте реализации изобретения вторая секция параметрической реконструкции может содержать вторую декоррелирующую секцию, вторую секцию сухого повышающего микширования, вторую секцию влажного повышающего микширования и вторую объединияющую секцию, и секции второй секции параметрической реконструкции могут быть выполнены аналогично соответствующим секциям первой секции параметрической реконструкции. В настоящем примерном варианте реализации изобретения вторая секция влажного повышающего микширования может быть выполнена с возможностью использования второй вспомогательной матрицы, принадлежащей второму предварительно определенному классу матриц, и второй предварительно определенной матрицы. Второй предварительно определенный класс матриц и вторая предварительно определенная матрица могут отличаться или быть эквивалентны первому предварительно определенному классу матриц и первой предварительно определенной матрице, соответственно.

В примерном варианте реализации изобретения система аудиодекодирования может быть приспособлена для реконструкции многоканального аудиосигнала на основании множества каналов понижающего микширования и связанных параметров сухого и влажного повышающего микширования. В настоящем примерном варианте реализации изобретения система аудиодекодирования может содержать: множество секций реконструкции, включая секции параметрической реконструкции, выполненные с возможностью независимо реконструировать соответствующие наборы каналов аудиосигналов на основании соответствующих каналов понижающего микширования и соответствующих связанных параметров сухого и влажного повышающего микширования; и секцию управления, выполненную с возможностью приема сигналов, указывающих формат кодирования мультиканального аудиосигнала соответствующего разделению части каналов многоканального аудиосигнала на наборы каналов, представленные посредством соответствующих каналов понижающего микширования, и, по меньшей мере для некоторых каналов понижающего микширования, посредством соответствующих связанных параметров сухого и влажного микширования. В настоящем примерном варианте реализации изобретения формат кодирования может дополнительно соответствовать набору предварительно определенных матриц для получения коэффициентов влажного повышающего микширования, связанных по меньшей мере с некоторыми из соответствующих наборов каналов на основании соответствующих параметров влажного повышающего микширования. Опционально, формат кодирования может дополнительно соответствовать набору предварительно определенных классов матриц, показывая то, как соответствующие вспомогательные матрицы заполняются на основании соответствующих наборов параметров влажного повышающего микширования.

В приведенном примерном варианте реализации изобретения система декодирования может быть выполнена с возможностью реконструкции многоканального аудиосигнала при использовании первого поднабора из множества секций реконструкции, в ответ на принятые сигналы, указывающие на первый формат кодирования. В примерном варианте реализации изобретения система декодирования может быть выполнена с возможностью реконструкции многоканального аудиосигнала при использовании второго поднабора из множества секций реконструкции в ответ на принятый сигнал, указывающий на второй формат кодирования и по меньшей мере один из первого и второго поднаборов секций реконструкции может содержать первую секцию параметрической реконструкции.

В зависимости от композиции аудиоконтента многоканального аудиосигнала доступной ширины полосы частот для передачи от стороны кодировщика на сторону декодировщика, требуемого качества воспроизведения, воспринимаемого слушателем, и/или требуемой достоверности аудиосигнала, подлежащего реконструкции со стороны декодировщика, наиболее подходящий формат кодирования может отличаться для различных приложений и/или временных периодов. Поддерживая множество форматов кодирования для многоканального аудиосигнала, система аудиодекодирования в представленном примерном варианте реализации изобретения позволяет стороне кодировщика использовать формат кодирования более конкретно подходящий под конкретные обстоятельства.

В примерном варианте реализации изобретения множество секций реконструкции могут содержать одноканальные секции реконструкции, выполненные с возможностью независимо реконструировать отдельный аудиоканал на основании канала понижающего микширования, в котором закодирован не более чем один аудиоканал. В приведенном примерном варианте реализации изобретения по меньшей мере один из первого и второго поднаборов секций реконструкции может содержать одноканальную секцию реконструкции. Некоторые каналы мультиканального аудиосигнала могут быть частично важны для общего впечатления от мультиканального аудиосигнала, как для восприятия слушателем. Применяя одноканальную секцию реконструкции для кодирования, например, такого канала отдельно в своем собственном канале понижающего микширования, в то время как другие каналы кодируются параметрически вместе в другие каналы понижающего микширования, достоверность подлежащего реконструкции мультиканального аудиосигнала может быть увеличена. В некоторых примерных вариантах реализации изобретения аудиоконтент одного канала многоканального аудиосигнала может быть другого типа, чем аудиоконтент других каналов многоканального аудиосигнала, и достоверность многоканального аудиосигнала при реконструкции может быть увеличена при применении формата кодирования, в котором этот канал закодирован отдельно в собственный канал понижающего микширования.

В примерном варианте реализации изобретения первый формат кодирования может соответствовать реконструкции многоканального аудиосигнала из меньшего числа каналов понижающего микширования, чем второй формат кодирования. Применяя меньшее количество каналов понижающего микширования, требуемая ширина полосы частот для передачи со стороны кодировщика на сторону декодировщика может быть уменьшена. Применение большего количества каналов понижающего микширования, может улучшить достоверность и/или ощущаемое качество аудио многоканального аудиосигнала, подлежащего реконструкции.

В соответствии со вторым аспектом примерные варианты реализации изобретения предлагают системы аудиокодирования, а также способы и компьютерные программные продукты для кодирования многоканального аудиосигнала. Предлагаемые системы кодирования, способы и компьютерные программные продукты в соответствии со вторым аспектом могут в общем иметь одинаковые особенности и преимущества. Более того, представленные выше преимущества систем декодирования, способы и компьютерные программные продукты в соответствии с первым аспектом могут быть в общем действительны для соответствующих особенностей систем кодирования, способов и компьютерных программных продуктов в соответствии со вторым аспектом.

В соответствии с примерными вариантами реализации изобретения предлагается способ для кодирования -канального аудиосигнала в качестве одноканального сигнала понижающего микширования и метаданных, подходящих для параметрической реконструкции аудиосигнала посредством сигнала понижающего микширования и ()-канального декоррелированного сигнала, определенного на основании сигнала понижающего микширования, причем . Способ включает в себя: прием аудиосигнала; вычисление в соответствии с предварительно определенным правилом одноканального сигнала понижающего микширования как линейного отображения аудиосигнала; и определение набора коэффициентов повышающего микширования для определения линейного отображения сигнала понижающего микширования, аппроксимирующего аудиосигнал, например, с помощью аппроксимации на основе минимальной среднеквадратической погрешности при предположении, что для реконструкции доступен только сигнал понижающего микширования. Способ дополнительно включает в себя определение вспомогательной матрицы на основании разницы между ковариантностью принятого аудиосигнала и ковариантностью аудиосигнала, аппроксимированного с помощью линейного отображения сигнала понижающего микширования, при этом вспомогательная матрица при умножении на предварительно определенную матрицу соответствует набору коэффициентов влажного повышающего микширования, определяющих линейное отображение декоррелированного сигнала как части параметрической реконструкции аудиосигнала, и при этом набор коэффициентов влажного повышающего микширования содержит больше коэффициентов, чем количество элементов во вспомогательной матрице. Способ дополнительно включает в себя вывод сигнала понижающего микширования вместе с параметрами сухого повышающего микширования, из которых выводится набор коэффициентов повышающего микширования, и параметрами влажного повышающего микширования, причем вспомогательная матрица имеет большее количество элементов, чем количество выходных параметров влажного повышающего микширования, и причем вспомогательная матрица определяется уникально выводом параметров влажного повышающего микширования, что обеспечивает принадлежность вспомогательной матрицы к предварительно определенному классу матриц.

Параметрически реконструированная копия аудиосигнала на стороне декодировщика содержит, в качестве одного из вложенного сигнал сухого повышающего микширования, сформированный линейным отображением сигнала понижающего микширования, и в качестве дополнительного вложения сигнал влажного повышающего микширования, сформированный линейным отображением декоррелированного сигнала. Набор коэффициентов сухого повышающего микширования определяет линейное отображение сигнала понижающего микширования, и набор коэффициентов влажного повышающего микширования определяет линейное отображение декоррелированного сигнала. Выводя параметры влажного повышающего микширования, которых меньше, чем количество коэффициентов влажного повышающего микширования, и из которых коэффициенты влажного повышающего микширования извлекаются на основании предварительно определенной матрицы и предварительно определенного класса матриц, количество информации, посылаемой на сторону декодировщика для обеспечения реконструкции -канального аудиосигнала, может быть уменьшено. При уменьшении количества данных, необходимого для параметрической реконструкции, требуемая ширина полосы частот для передачи параметрического отображения -канального аудиосигнала, и/или требуемый размер памяти для хранения такого отображения, могут быть уменьшены.

Вспомогательная матрица может быть определена на основании разницы между ковариацией принятого аудиосигнала и ковариацией аудиосигнала, аппроксимированного линейным отображением сигнала понижающего микширования, например, для ковариации сигнала, полученного линейным отображением декоррелированного сигнала, для обеспечения ковариации аудиосигнала аппроксимированного линейным отображением сигнала понижающего микширования.

В примерном варианте реализации изобретения определение вспомогательной матрицы может включать в себя определение вспомогательной матрицы, такой как ковариация сигнала, полученного при линейном отображении декоррелированного сигнала, определенного набором коэффициентов влажного повышающего микширования, аппроксимируется или в значительной степени совпадает с разницей между ковариацией принятого аудиосигнала и ковариацией аудиосигнала, аппроксимированного линейным отображением сигнала понижающего микширования. Другими словами, вспомогательная матрица может определяться таким образом, что реконструированная копия аудиосигнала, полученная как сумма сигнала сухого повышающего микширования, сформированного линейным отображением сигнала понижающего микширования, и сигнала влажного повышающего микширования, сформированного линейным отображением декоррелированного сигнала, целиком или по меньшей мере приблизительно восстанавливает ковариацию принятого аудиосигнала.

В примерном варианте реализации изобретения вывод параметров влажного повышающего микширования может включать в себя выведение не более чем независимо присваиваемых параметров влажного повышающего микширования. В настоящем примерном варианте реализации изобретения вспомогательная матрица может содержать элементов матрицы и может быть однозначно определяемой выводом параметров влажного повышающего микширования, что обеспечивает принадлежность вспомогательной матрицы к предварительно определенному классу матриц. В настоящем примерном варианте реализации изобретения набор коэффициентов влажного повышающего микширования может содержать коэффициентов.

В примерном варианте реализации изобретения набор коэффициентов сухого повышающего микширования может содержать коэффициентов. В настоящем примерном варианте реализации изобретения вывод параметров сухого повышающего микширования может включать в себя вывод не более чем параметров сухого повышающего микширования, а набор коэффициентов сухого повышающего микширования может быть получен из параметров сухого повышающего микширования при использовании предварительно определенного правила.

В примерном варианте реализации изобретения упомянутый определенный набор коэффициентов сухого повышающего микширования может определять линейное отображение сигнала понижающего микширования соответствующее аппроксимации аудиосигнала на основе минимальной среднеквадратической погрешности, то есть среди набора линейных отображений сигнала понижающего микширования, упомянутый определенный набор коэффициентов сухого повышающего микширования может определять линейное отображение, которое наилучшим образом аппроксимирует аудиосигнал в смысле минимальной среднеквадратической погрешности.

В соответствии с примерным вариантом реализации изобретения предлагается система аудиокодирования, содержащая секцию параметрического кодирования выполненную с возможностью кодирования -канального аудиосигнала в качестве одноканального сигнала понижающего микширования и метаданных, подходящих для параметрической реконструкции аудиосигнала из сигнала понижающего микширования и -канального декоррелированного сигнала, определяемого на основании сигнала понижающего микширования, где . Секция параметрического кодирования содержит: секцию понижающего микширования, выполненную с возможностью приема аудиосигнала и вычисления в соответствии с предварительно определенным правилом, одноканального сигнала понижающего микширования как линейного отображения аудиосигнала; и первую анализирующую секцию, выполненную с возможностью определять набор коэффициентов сухого повышающего микширования для определения линейного отображения сигнала понижающего микширования, аппроксимирующего аудиосигнал. Секция параметрического кодирования дополнительно содержит вторую анализирующую секцию, выполненную с возможностью определения вспомогательной матрицы на основании разницы между ковариацией принятого аудиосигнала и ковариацией аудиосигнала, аппроксимированого линейным отображением сигнала понижающего микширования, причем вспомогательная матрица при умножении на предварительно определенную матрицу, соответствующую набору коэффициентов влажного повышающего микширования, определяет линейное отображение декоррелированного сигнала как части параметрической реконструкции аудиосигнала, при этом набор коэффициентов влажного повышающего микширования содержит большее количество коэффициентов, чем количество элементов во вспомогательной матрице. Секция параметрического кодирования дополнительно выполнена с возможностью вывода сигнала понижающего микширования совместно с параметрами сухого повышающего микширования, из которых может выводиться набор коэффициентов сухого повышающего микширования, и параметрами влажного повышающего микширования, при этом вспомогательная матрица содержит большее количество элементов, чем количество выходных параметров влажного повышающего микширования, и при этом вспомогательная матрица однозначно определяется выходными параметрами влажного повышающего микширования, обеспечивая принадлежность вспомогательной матрицы к предварительно определенному классу матриц.

В примерном варианте реализации изобретения система аудиокодирования может быть выполнена с возможностью представления многоканального аудиосигнала в форме множества каналов понижающего микширования и связанных параметров сухого и влажного повышающего микширования. В настоящем примерном варианте реализации изобретения система аудиокодирования может содержать: множество секций кодирования, включая секции параметрического кодирования, выполненные с возможностью независимо вычислять соответствующие каналы понижающего микширования и соответствующие связанные параметры повышающего микширования, основанные на соответствующих наборах каналов аудиосигналов. В представленном примерном варианте реализации изобретения система аудиокодирования может дополнительно содержать секцию управления, выполненную с возможностью определения формата кодирования для многоканального аудиосигнала, соответствующего разделению каналов многоканального аудиосигнала, на наборы каналов, подлежащих представлению посредством соответствующих каналов понижающего микширования и, для по меньшей мере некоторых каналов понижающего микширования, посредством соответствующих связанных параметров сухого и влажного повышающего микширования. В настоящем примерном варианте реализации изобретения формат кодирования может дополнительно соответствовать набору предварительно определенных правил для вычисления по меньшей мере некоторых из соответствующих каналов понижающего микширования. В настоящем примерном варианте реализации изобретения система кодирования может быть выполнена с возможностью кодирования многоканального аудиосигнала при использовании первого поднабора из множества секций кодирования, в ответ на упомянутый определенный формат кодирования, являющийся первым форматом кодирования. В настоящем примерном варианте реализации изобретения система аудиокодирования может быть выполнена с возможностью кодирования многоканального аудиосигнала при использовании второго поднабора из множества секций кодирования в ответ на упомянутый определенный формат кодирования, являющийся вторым форматом кодирования, и по меньшей мере один из первого и второго поднаборов секций кодирования может содержать первую секцию параметрического кодирования. В настоящем примерном варианте реализации изобретения секция управления может в качестве примера определять формат кодирования на основании доступной ширины полосы частот для передачи кодированной версии многоканального аудиосигнала на сторону декодера, на основании аудиоконтента каналов многоканального аудиосигнала и/или на основании входного сигнала отображающего желаемый формат кодирования.

В примерном варианте реализации изобретения множество секций кодирования может содержать одноканальные секции кодирования, выполненные с возможностью независимо кодировать не более чем отдельный аудиоканал в канале понижающего микширования, и по меньшей мере первый и второй поднаборы секций кодирования могут содержать одноканальную секцию кодирования.

В соответствии с примерными вариантами реализации изобретения предлагается компьютерный программный продукт, содержащий компьютерно-читаемый носитель, с командами для выполнения любого из способов первого или второго аспектов.

В соответствии с примерными вариантами реализации изобретения можно предположить, что или в любом из способов, систем кодирования, систем декодирования и компьютерных программных продуктов первого и второго аспектов.

Дополнительные примерные варианты реализации изобретения определены в зависимых пунктах формулы изобретения. Следует отметить, что примерные варианты реализации изобретения включают все комбинации особенностей, даже если приведены во взаимно отличающихся пунктах формулы изобретения.

II. Описание примерных вариантов реализации изобретения

Со стороны кодировщика, который будет описан со ссылкой на Фиг. 3 и 4, одноканальный сигнал понижающего микширования вычисляется как линейное отображение -канального аудиосигнала в соответствии с формулой:

, (1)

где является коэффициентами понижающего микширования, представляемыми матрицей понижающего микширования . Со стороны декодировщика, который будет описан со ссылкой на Фиг. 1 и 2, параметрическая реконструкция -канального аудиосигнала осуществляется в соответствии с формулой:

, (2)

где являются коэффициентами сухого повышающего микширования, представляемыми матрицей сухого повышающего микширования , являются коэффициентами влажного повышающего микширования, представленными матрицей влажного повышающего микширования , и являются каналами ()-канального декоррелированного сигнала , генерируемого на основе сигнала понижающего микширования . Если каналы каждого аудиосигнала представлены как строки, ковариантная матрица оригинального аудиосигнала может быть выражена как , и ковариантная матрица реконструированного аудиосигнала может быть выражена как . Следует отметить, что если для примера аудиосигналы представлены как строки, содержащие комплексные значения коэффициентов трансформации, вещественная часть , где является комплексно связанным транспонированием матрицы , может быть, например, принято вместо .

С целью обеспечения достоверной реконструкции оригинального аудиосигнала восстановление полной ковариантности может быть преимуществом для реконструкции, заданной выражением (2), то есть может быть преимуществом для воплощения матриц сухого и влажного повышающего микширования и таким образом, что

. (3)

Одним из подходов является сначала найти матрицу сухого повышающего микширования , дающую наилучшее "сухое" повышающее микширование в смысле наименьших квадратов, решая нормальные уравнения

(4)

Для , с матрицей решающей уравнение (4), утверждается, что

. (5)

При условии что каналы декоррелированного сигнала взаимно некоррелированы и все имеют одинаковую энергию эквивалентную энергии одноканального сигнала понижающего микширования , позитивное определение отсутствующей ковариантности может быть разложено на множители в соответствии с формулой:

. (6)

Полная ковариантность может быть восстановлена в соответствии с уравнением (3), используя матрицу сухого повышающего микширования , решающую уравнение (4), и матрицу влажного повышающего микширования , решающую уравнение (6). Выражения (1) и (4) означают, что , и таким образом, что

, (7)

для недегенеративных матриц понижающего микширования . Уравнения (5) и (7) означают, что и

. (8)

Таким образом, отсутствующая ковариация имеет ранг и может действительно быть предоставлена при использовании декоррелированного сигнала с взаимно некоррелироваными каналами. Уравнения (6) и (8) означают, что , поэтому столбцы матрицы влажного повышающего микширования решающие уравнение (6), могут быть построены из векторов, пролегающих через пространство ядра матрицы понижающего микширования . Вычисления для нахождения подходящей матрицы влажного повышающего микширования может однако быть перемещено в это нижнее размерное пространство.

Пусть является матрицей размера содержащей ортонормальный базис для пространства ядра матрицы понижающего микширования , то есть линейное пространство векторов с . Примерами таких предварительно определенных матриц для , , и соответственно являются следующие:

, и . (9)

В базисе, заданном V, отсутствующая ковариация может быть выражена как . Для нахождения матрицы влажного повышающего микширования решение уравнения (6) может вначале быть обнаружено матрицей при решении , и затем получить как , где является квадратным корнем энергии одноканального сигнала понижающего микширования . Другие подходящие матрицы повышающего микширования могут быть получены как , где является ортогональной матрицей. Альтернативно, можно изменить масштаб отсутствующей ковариации энергией одноканального сигнала понижающего микширования и взамен решить уравнение

, (10)

где , и получено как

. (11)

Когда входные параметры квантуются и желаемый выходной параметр содержит неозвученный канал, свойства предварительно определенной матрицы , как утверждается выше, могут быть неподходящими. В качестве примера для , более удачный выбор для второй матрицы (9) будет следующим:

. (12)

К счастью, требование того, чтобы столбцы матрицы были парные ортогональные, может быть отброшено, так как эти столбцы линейно не зависимы. Желаемое решение в затем получается посредством с , псевдоинверсии .

Матрица является позитивной квазиопределенной матрицей размера и эти некоторые подходы для нахождения решений уравнения (10) приводят к решениям в соответствующих классах матриц размера , то есть в которых матрицы однозначно определяются элементами матрицы. Решения могут, например, быть получены при использовании:

a. разложения Холецкого, приводящего к нижнему треугольнику ;

b. позитивного квадратного корня, приводящего к симметричному позитивному квазиопределенному ; или

c. поляра, приводящего к формы , где является ортогональным и является диагональным.

Более того, существуют нормализованные версии опций а) и b), в которых может выражаться как , где является диагональным и имеет все диагональные элементы равные единице. Альтернативы a, b и c, выше, предоставляют решения в различных классах матриц, то есть нижние треугольные матрицы, симметричные матрицы и произведения диагональных и ортогональных матриц. Если класс матриц, к которым принадлежит известен со стороны декодера, то есть, если известно, что принадлежит к предварительно определенному классу матриц, например, в соответствии с любой приведенной выше альтернативой a, b и c, может быть заполнен на основании только из его элементов. Если также матрица известна на стороне декодировщика, например, если известно, что является одной из матриц данных в (9), матрица влажного повышающего микширования , необходимая для реконструкции в соответствии с уравнением (2), может быть получена с помощью выражения (11).

Фиг. 3 является обобщенной блок-схемой секции 300 параметричекого кодирования в соответствии с примерным вариантом реализации изобретения. Секция 300 параметрического кодирования выполнена с возможностью кодирования -канального аудиосигнала в качестве одноканального сигнала понижающего микширования и метаданных, подходящих для параметрической реконструкции аудиосигнала в соответствии с уравнением (2). Секция 300 параметрического кодирования содержит секцию 301 понижающего микширования, которая получает аудиосигнал и рассчитывает, в соответствии с предварительно определенным правилом, одноканальный сигнал понижающего микширования как линейное отображение аудиосигнала . В настоящем примерном варианте реализации изобретения секция 301 понижающего микширования рассчитывает сигнал понижающего микширования в соответствии с уравнением (1), в котором матрица понижающего микширования предварительно определена и соответствует предварительно определенному правилу. Первая анализирующая секция 302 определяет набор коэффициентов сухого повышающего микширования, представленных матрицей сухого повышающего микширования , с тем, чтобы определить линейное отображение сигнала понижающего микширования , аппроксимирующего аудиосигнал . Это линейное отображение сиганала понижающего микширования обозначено в уравнении (2). В настоящем варианте реализации изобретения коэффициентов сухого повышающего микширования определяются в соответствии с уравнением (4) так, что линейное отображение сигнала понижающего микширования соответствует аппроксимации аудиосигнала на основе минимальной среднеквадратической погрешности. Вторая анализирующая секция 303 определяте вспомогательную матрицу на основании разницы между ковариационной матрицей принятого аудиосигнала и ковариационной матрицей аудиосигнала, аппроксимированного линейным отображением сигнала понижающего микширования . В настоящем примерном варианте реализации изобретения ковариационные матрицы рассчитываются первой и второй секциями 304, 305 обработки соответственно и затем передаются второй анализирующей секции 303. В настоящем примерном варианте реализации изобретения вспомогательная матрица определяется в соответствии с выше описанным способом b для решения уравнения (10), приводящего к вспомогательной матрице , которая является симметричной. Как указано в уравнениях (1) и (11), вспомогательная матрица , при умножении на предварительно определенную матрицу , определяет, с помощью набора параметров влажного повышающего микширования , линейное отображение декоррелированого сигнала в качестве части параметрической реконструкции аудиосигнала на стороне декодировщика. В настоящем примерном варианте реализации изоберетения вспомогательная матрица является второй матрицей в (9) для случая , и третья матрица в (9) для случая . Секция 300 параметрического кодирования выводит сигнал понижающего микширования с параметрами сухого повышающего микширования и параметрами влажного повышающего микширования . В настоящем примерном варианте реализации изобретения из коэффициентов сухого повышающего микширования являются параметрами сухого повышающего микширования , и оставшийся один коэффициент повышающего сухого микширования получается из параметров сухого повышающего микширования с помощью уравнения (7), если известна предварительно определенная матрица понижающего микширования . Поскольку вспомогательная матрица принадлежит к классу симметричных матриц, однозначно определяется из ее элементов. В настоящем примерном варианте реализации изобретения элементов вспомогательной матрицы являются таким образом параметрами влажного повышающего микширования , из которых может выводиться остаток вспомогательной матрицы , поскольку известно, что она симметрична.

Фиг. 4 является обобщенной блок-схемой системы 400 аудиокодирования в соответствии с примерным вариантом реализации изобретения, содержащая секцию 300 параметрического кодирования, описанную со ссылкой на Фиг. 3. В настоящем примерном варианте реализации изобретения аудиоконтент, например, записанный одним или более акустических преобразователей 401, или сгенерированный авторским аудиооборудованием 401, предоставляется в форме -канального аудиосигнала . Анализирующая секция 402 квадратурного зеркального фильтра (QMF) преобразует аудиосигнал , временной сегмент за временным сегментом в QMF область для обработки секцией 300 параметрического кодирования аудиосигнала в форме временно-частотных фрагментов. Сигнал понижающего микширования выводится секцией 300 параметрического кодирования и трансформируется обратно из QMF области секцией 403 QMF синтеза и трансформируется в область модифицированного дискретного косинус-преобразования (MDCT) секцией 404 трансформации. Секции 405 и 406 квантования квантуют параметры сухого повышающего микширования и параметры влажного повышающего микширования , соответственно. Например, может применяться равномерное квантование с размером шага 0,1 или 0,2 (безразмерно), с последующим энтропийным кодированием в форме кодирования Хаффмана. Грубое квантование с размером шага 0,2 может, например, использоваться для экономии ширины полосы частот передачи, а более подробное квантование с размером шага 0,1 может, например, использоваться для улучшения достоверности реконструкции на стороне декодера. MDCT-трансформированный сигнал понижающего микширования и квантованные параметры сухого повышающего микширования , и параметры влажного повышающего микширования затем объединяются в поток битов данных с помощью мультиплексора 407 для передачи на сторону декодировщика. Система 400 аудиокодирования может также содержать основной кодировщик (не проиллюстрирован на Фиг. 4), выполненный с возможностью кодирования сигнала понижающего микширования с использованием воспринимаемого аудиокодека, такого как Dolby Digital или MPEG AAC, до того как сигнал понижающего микширования передается мультиплексору 407.

Фиг. 1 является обобщенной блок-схемой секции 100 параметрической реконструкции в соответствии с примерным вариантом реализации изобретения, выполненным с возможностью реконструкции -канального аудиосигнала на основании одноканального сигнала понижающего микширования и связанных параметров сухого повышающего микширования и параметров влажного повышающего микширования . Секция 100 параметрической реконструкции адаптирована для осуществления реконструкции в соответствии с уравнением (2), то есть с использованием параметров сухого повышающего микширования и параметров влажного повышающего микширования . Однако, взамен получения собственно параметров сухого повышающего микширования параметров влажного повышающего микширования , получаются параметры сухого повышающего микширования и влажного повышающего микширования , из которых выводятся параметры сухого повышающего микширования и параметры влажного повышающего микширования . Секция 101 декорреляции получает сигнал понижающего микширования и выводит, основываясь на нем, -канальный декоррелированный сигнал . В настоящем примерном варианте реализации изобретения каналы декоррелированного сигнала выводятся при обработке сигнала понижающего микширования , включая применение соответствующих фазовых фильтров к сигналу понижающего микширования , для того чтобы предоставить каналы, некоррелированные с сигналом понижающего микширования , и с аудиоконтентом, который спектрально одинаков и воспринимается слушателем как такой же, что и сигнал понижающего микширования . -канальный декоррелированный сигнал служит для увеличения пространственности реконструированной версии -канального аудиосигнала , как это воспринимается слушателем. В настоящем примерном варианте реализации изобретения каналы декоррелированного сигнала содержат по меньшей мере приблизительно такой же спектр, как и одноканальный сигнал понижающего микширования , и формируют, совместно с одноканальным сигналом понижающего микширования , по меньшей мере приблизительно взаимно некоррелированные каналы. Секция 102 сухого повышающего микширования получает параметры сухого повышающего микширования и сигнал понижающего микширования . В настоящем примерном варианте реализации изобретения параметры сухого повышающего микширования совпадают с первым из коэффициентов сухого повышающего микширования , и оставшиеся коэффициенты сухого повышающего микширования определяются на основании предварительно определенной зависимости между коэффициентами сухого повышающего микширования данного уравнением (7). Секция 102 сухого повышающего микширования выводит сигнал сухого повышающего микширования, рассчитанный посредством линейного отображения сигнала понижающего микширования в соответствии с набором коэффициентов сухого повышающего микширования , и обозначается в уравнении (2). Секция 103 влажного повышающего микширования принимает параметры влажного повышающего микширования и декоррелированный сигнал . В настоящем примерном варианте реализации изобретения параметры влажного повышающего микширования являются элементами вспомогательной матрицы , определяемой на стороне кодировщика в соответствии с уравнением (10). В настоящем примерном варианте реализации изобретения секция 103 влажного повышающего микширования заполняет оставшиеся элементы вспомогательной матрицы , поскольку известно, что вспомогательная матрица принадлежит к предварительно определенному классу матриц, то есть, что она симметрична, и с использованием соответствующих взаимозависимостей между элементами матрицы. Секция 103 влажного повышающего микширования затем получает набор коэффициентов влажного повышающего микширования , используя уравнение (11), то есть умножая вспомогательную матрицу на предварительно определенную матрицу , то есть вторую матрицу в (9) для случая , и третью матрицу в (9) для случая . Однако коэффициенты влажного повышающего микширования выводятся из принятых независимо присваиваемых параметров влажного повышающего микширования . Секция 103 влажного повышающего микширования выводит сигнал влажного повышающего микширования, рассчитанный посредством линейного отображения декоррелированного сигнала в соответствии с набором коэффициентов влажного повышающего микширования , и обозначаемого как в уравнении (2). Объединяющая секция 104 принимает сигнал сухого повышающего микширования и сигнал влажного повышающего микширования и объединяет эти сигналы для получения первого многомерного реконструированного сигнала , соответствующего -канальному подлежащему реконструкции аудиосигналу . В представленном примерном варианте реализации изобретения объединяющая секция 104 получает соответствующие каналы реконструированного сигнала , объединяя аудиоконтент соответствующих каналов сигнала сухого повышающего микширования с соответствующими каналами сигнала влажного повышающего микширования , в соответствии с уравнением (2).

Фиг. 2 является обобщенной блок-схемой системы 200 аудиодекодирования, соответствующей примерному варианту реализации изобретения. Система 200 аудиодекодирования содержит секцию 100 параметрической реконструкции, описанную со ссылкой на Фиг. 1. Приемная секция 201, например, содержащая демультиплексор, принимает поток битов данных передаваемый от системы 400 аудиокодирования, описанной со ссылкой на Фиг. 4, и восстанавливает сигнал понижающего микширования и связанные параметры сухого повышающего микширования и параметры влажного повышающего микширования из потока битов данных . В случае сигнала понижающего микширования , закодированного в потоке битов данных , используется воспринимаемый аудиокодек, такой как Dolby Digital или MPEG AAC, система 200 аудиодекодирования может содержать центральный декодер (не проиллюстрирован на Фиг. 2), выполненный с возможностью декодирования сигнала понижающего микширования при его восстановлении из потока битов данных . Секция 202 преобразования преобразует сигнал понижающего микширования , выполняя инверсный MDCT, и QMF анализирующая секция 203 преобразует сигнал понижающего микширования в QMF область для обработки посредством секции 100 параметрической реконструкции сигнала понижающего микширования в форме временно-частотных фрагментов. Секции 204 и 205 деквантования деквантуют параметры сухого повышающего микширования и параметры влажного повышающего микширования , например, из формата статистического кода, до отправки их в секцию 100 параметрической реконструкции. Как описано со ссылкой на Фиг. 4, квантование может выполняться с одной или двумя разными размерами шагов, например 0,1 или 0,2. Актуальный использующийся размер шага квантования может быть предварительно определен или может быть передан в систему 200 аудиодекодирования со стороны кодировщика, например с помощью потока битов данных . В некоторых примерных вариантах реализации изобретения коэффициенты сухого повышающего микширования и коэффициенты влажного повышающего микширования могут выводиться из параметров сухого повышающего микширования и параметров влажного повышающего микширования соответственно уже в соответствующих секциях 204 и 205 деквантования, которые могут опционально рассматриваться как участок секции 102 сухого повышающего микширования и секции 103 влажного повышающего микширования, соответственно. В настоящем примерном варианте реализации изобретения реконструированный аудиосигнал , выданный секцией 100 параметрической реконструкции, трансформируется обратно из QMF области посредством секции 206 QMF синтеза до передачи в качестве выходного сигнала системы 200 аудиодекодирования для проигрывания на комбинированной акустической системе 207.

Фиг. 5-11 иллюстрируют альтернативные способы представления 11.1-канального аудиосигнала с помощью каналов понижающего микширования в соответствии с примерными вариантами реализации изобретения. В настоящих примерных вариантах реализации изобретения 11.1-канальный аудиосигнал содержит следующие каналы: левый (L), правый (R), центральный (C), низкочастотные эффекты (LFE), левый боковой (LS), правый боковой (RS), левый тыловой (LB), правый тыловой (RB), верхний фронтальный левый (TFL), верхний фронтальный правый (TFR), верхний тыловой левый (TBL) и верхний тыловой правый (TBR), которые обозначены на Фигурах 5-11 упомянутыми выше сокращениями. Альтернативные способы представления 11.1-канального аудиосигнала соответствуют альтернативным разделениям каналов в наборы каналов, при этом каждый набор представлен отдельным сигналом понижающего микширования, и опционально связанными параметрами сухого и влажного повышающего микширования. Кодирование каждого из наборов каналов в его соответствующий одноканальный сигнал понижающего микширования (и метаданных) может выполняться независимо и параллельно. Подобным образом реконструкция соответствующих наборов каналов из их соответствующих одноканальных сигналов понижающего микширования может выполняться независимо и параллельно.

Следует понимать, что в примерных вариантах реализации изобретения описанных со ссылками на Фиг. 5-11 (а также далее со ссылками на Фиг. 13-16), ни один из реконструированных каналов может не содержать вложений из более чем одного канала понижающего микширования и любые декоррелированные сигналы выводимые из этого одного сигнала понижающего микширования, то есть вложения из множества каналов понижающего микширования не объединяются/смешиваются во время параметрической реконструкции.

На Фиг. 5 каналы LS, TBL и LB из группы 501 каналов представлены одним каналом понижающего микширования ls (и его соответствующими метаданными). Секция 300 параметрического кодирования, описанная со ссылкой на Фиг. 3, может быть использована с для представления трех аудиоканалов LS, TBL и LB одним каналом понижающего микширования ls и связанными параметрами сухого и влажного повышающего микширования. Учитывая, что предварительно определенная матрица и предварительно определенный класс матриц вспомогательной матрицы , оба ассоциируются с кодированием, выполняемым в секции 300 параметрического кодирования, известной на стороне декодировщика, секция 100 параметрической реконструкции, описанная со ссылкой на Фиг. 1, может быть использована для реконструкции трех каналов LS, TBL и LB из сигнала понижающего микширования ls и связанных параметров сухого и влажного повышающего микширования. Таким же образом, каналы RS, TBR и RB из группы 502 каналов представленных одним каналом понижающего микширования rs, и другой пример секции 300 параметрического кодирования может быть использован параллельно с первой секцией кодирования для отображения трех каналов RS, TBR и RB одним каналом понижающего микширования rs и связанными параметрами сухого и влажного повышающего микширования. Более того, учитывая, что предварительно определенная матрица и предварительно определенный класс матриц, к которому принадлежит вспомогательная матрица , оба ассоциирующиеся со вторым примером секции 300 параметрического кодирования, известны со стороны декодировщика, другой пример секции 100 параметрической реконструкции может быть использован параллельно с первой секцией параметрической реконструкции для реконструкции трех каналов RS, TBR и RB из сигнала понижающего микширования rs и связанных параметров сухого и влажного повышающего микширования. Другая группа 503 каналов содержит только два канала L и TFL, отображаемые каналом понижающего микширования l. Кодирование этих двух каналов в канал понижающего микширования l и связанные параметры сухого и влажного повышающего микширования может выполняться секцией кодирования и секцией реконструкции аналогично описанным со ссылками на Фиг. 3 и 1 соответственно, но для . Другая группа 504 каналов содержит только один канал LFE, отображаемый только каналом понижающего микширования LFE. В этом случае не требуется понижающее микширование и канал понижающего микширования LFE может быть собственно каналом LFE, опционально трансформированным в MDCT область и/или закодированным при помощи воспринимаемого аудиокодека.

Общее количество каналов понижающего микширования используемых на Фиг. 5-11 для представления 11.1-канального аудиосигнала изменяется. Например, пример, проиллюстрированный на Фиг. 5, использует 6 каналов понижающего микширования, хотя пример на Фиг. 7 использует 10 каналов понижающего микширования. Различные конфигурации понижающего микширования могут подходить для различных ситуаций, например, в зависимости от доступной ширины полосы частот для передачи сигналов понижающего микширования и связанного параметра повышающего микширования, и/или требований того, насколько достоверной должна быть реконструкция 11.1-канального аудиосигнала.

В соответствии с примерными вариантами реализации изобретения система 400 аудиокодирования, описанная со ссылками на Фиг. 4, может содержать множество секций параметрического кодирования, включая секцию 300 параметрического кодирования, описанную со ссылкой на Фиг. 3. Система 400 аудиокодирования может содержать секцию управления (не показана на Фиг. 4), выполненную с возможностью определять/выбирать формат кодирования для 11.1-канального аудиосигнала из коллекции форматов кодирования, соответствующих определенным частям 11.1-канального аудиосигнала, проиллюстрированного на Фиг. 5-11. Формат кодирования дополнительно соответствует набору предварительно определенных правил (по меньшей мере некоторые из них могут соответствовать) для вычисления соответствующих каналов понижающего микширования, набору предварительно определенных классов матриц (по меньшей мере некоторые из них могут соответствовать) для вспомогательных матриц и набору предварительно определенных матриц (по меньшей мере некоторые из них могут соответствовать) для получения коэффициентов влажного повышающего микширования, связанных по меньшей мере с некоторыми из соответствующих наборов каналов на основании соответствующих связанных параметров влажного повышающего микширования. В соответствии с представленными примерными вариантами реализации изобретения система аудиокодирования выполнена с возможностью кодирования 11.1-канального аудиосигнала с использованием поднабора множества секций кодирования подходящих для определенного формата кодирования. Если, например, определенный формат кодирования соответствует части 11.1 каналов, проиллюстрированных на Фиг. 1, система кодирования может использовать 2 секции кодирования, выполненные с возможностью представления соответствующих наборов 3 каналов посредством соответствующих одиночных каналов понижающего микширования, 2 секции кодирования выполнены с возможностью представления соответствующих наборов 2 каналов посредством соответствующих одиночных каналов понижающего микширования, и 2 секции кодирования выполнены с возможностью представления соответствующих одиночных каналов как соответствующих одиночных каналов понижающего микширования. Все сигналы понижающего микширования и связанных параметров влажного и сухого повышающего микширования могут быть закодированы в одном и том же потоке битов данных , для передачи на сторону декодера. Следует отметить, что компактный формат метаданных, прилагаемых с каналами понижающего микширования, то есть параметры влажного повышающего микширования и параметры сухого повышающего микширования, могут использоваться некоторыми секциями кодирования, хотя по меньшей мере в некоторых примерных вариантах реализации изобретения могут использоваться другие форматы метаданных. Например, некоторые секции кодирования могут выводить полное количество коэффициентов влажного и сухого повышающего микширования взамен параметров влажного и сухого повышающего микширования. Предусмотрены также варианты реализации изобретения, в которых некоторые каналы закодированы для реконструкции с использованием менее чем декоррелированных каналов (или даже вовсе без декорреляции), и в которых метаданные для параметрической реконструкции могут таким образом принимать другую форму.

В соответствии с примерным вариантом реализации изобретения система 200 аудиодекодирования, описанная со ссылкой на Фиг. 2, может содержать соответствующее множество секций реконструкции, включая секцию 100 параметрической реконструкции, описанную со ссылкой на Фиг. 1, для реконструкции соответствующих наборов каналов 11.1-канального аудиосигнала, отображенного соответствующими сигналами понижающего микширования. Система 200 аудиодекодирования может содержать секцию управления (не проиллюстрирована на Фиг. 2), выполненную с возможностью получения передачи от стороны кодирования указывающей на определенный формат кодирования и система 200 аудиодекодирования может использовать соответствующий поднабор множества секций реконструкции для реконструкции 11.1-канального аудиосигнала из принятых сигналов понижающего микширования и связанных параметров сухого и влажного повышающего микширования.

Фиг. 12-13 иллюстрируют альтернативные способы представления 13.1-канального аудиосигнала с помощью каналов понижающего микширования, в соответствии с примерными вариантами реализации изобретения. 13.1-канальный аудиосигнал содержит следующие каналы: левый экран (LSCRN), левый простор (LW), правый экран (RSCRN), правый простор (RW), центр (C), низкочастотные эффекты (LFE), левый боковой (LS), правый боковой (RS), левый тыловой (LB), правый тыловой (RB), верхний фронтальный левый (TFL), верхний фронтальный правый (TFR), верхний тыловой левый (TBL) и верхний тыловой правый (TBR). Кодирование соответствующих групп каналов как соответствующих каналов понижающего микширования может выполняться соответствующими секциями кодирования работающими независимо параллельно, как описано выше со ссылками на Фиг. 5-11. Подобным образом реконструкция соответствующих групп каналов основанных на соответствующих каналах понижающего микширования и связанных параметрах повышающего микширования могут выполняться соответствующими секциями реконструкции, работающими независимо и параллельно.

Фиг. 14-16 иллюстрируют альтернативные способы представления 22.2-канального аудиосигнала с помощью сигналов понижающего микширования в соответствии с примерными вариантами реализации изобретения. 22.2-канальный аудиосигнал содержит следующие каналы: низкочастотные эффекты 1 (LFE1), низкочастотные эффекты 2 (LFE2), нижний фронтальный центр (BFC), центр (C), верхний фронтальный центр (TFC), левый простор (LW), нижний фронтальный левый (BFL), левый (L), верхний фронтальный левый (TFL), верхний боковой левый (TSL), верхний тыльный левый (TBL), левый боковой (LS), левый тыльный (LB), верхний центр (TC), верхний тыльный центр (TBC), центр тыльный (CB), нижний фронтальный правый (BFR), правый (R), правый простор (RW), верхний фронтальный правый (TFR), верхний боковой правый (TSR), верхний тыльный правый (TBR), правый боковой (RS), и правый тыльный (RB). Часть 22.2-канального аудиосигнала, проиллюстрированная на Фиг. 16, содержит группу 1601 каналов содержащую четыре канала. Секция 300 параметрического кодирования, описанная со ссылкой на Фиг. 3, но воплощенная с , может быть использована для кодирования этих каналов в качестве сигнала понижающего микширования и связанных параметров влажного и сухого повышающего микширования. Аналогично секция 100 параметрической реконструкции, описанная со ссылкой на Фиг. 1, но воплощенная с , может быть использована для реконструкции этих каналов посреодством сигнала понижающего микширования и связанных параметров влажного и сухого повышающего микширования.

III. Эквиваленты, расширения, альтернативы и разное

Дополнительные варианты реализации изобретения настоящего описания станут очевидны специалисту в данной области техники после изучения приведенного выше описания. Хотя настоящее описание и графические материалы описывают варианты реализации изобретения и примеры, данное описание не ограничивается этими конкретными примерами. Многочисленные модификации и изменения могут быть сделаны без выхода за границы объема настоящего описания изобретения, который определяется приложенной формулой изобретения. Любые обозначения ссылок, встречающиеся в формуле изобретения, не следует рассматривать как ограничивающие границы ее объема.

Дополнительно, изменения описанных вариантов реализации изобретения могут быть понятны и использованы специалистом в данной области техники, использующим описание, из изучения графических материалов, описания и приложенной формулы изобретения. В формуле изобретения слово "содержит" не исключает другие элементы или этапы, и формы единитственного числа не исключают формы множественного числа. Сам по себе факт, что конкретные меры упоминаются во взаимно различающихся зависимых пунктах формулы, не означает, что комбинация этих мер не может быть использована для преимущества.

Устройства и способы, описанные выше в данном документе, могут быть реализованы в виде программного обеспечения, встроенного программного обеспечения, аппаратного обеспечения или их комбинации. При реализации в виде аппаратного обеспечения разделение задач между функциональными единицами, упоминаемыми выше в описании, не обязательно соответствует единицам физических устройств; напротив, один физический компонент может иметь множество функций и одна одна задача может решаться работой нескольких объединенных физических компонентов. Определенные компоненты или все компоненты могут быть воплощены как программное обеспечение, выполняемое цифровым сигнальным процессором или микропроцессором, или могут быть воплощены как аппаратное обеспечение или как специализированная интегральная схема. Такое программное обеспечение может быть распределено на компьютерно-читаемом носителе, который может содержать носитель данных компьютера (или постоянный носитель) и передающую среду (или временный носитель). Как хорошо известно специалисту в данной области техники, термин компьютерно-читаемый носитель включает как временный, так и постоянный, портативный и стационарный носитель, воплощенный любым способом или технологией для хранения информации, такой как компьютерно-читаемые команды, структуры данных, программные модули и другие данные. Компьютерно-читаемый носитель включает, но без ограничений, RAM, ROM, EEPROM, флэш-память или другие технологии памяти, компакт-диски формата CD-ROM, компакт-диски формата DVD или другие хранилища на оптических дисках, магнитных кассетах, магнитной пленке, магнитных дисковых хранилищах или других магнитных запоминающих устройствах, или любом другом носителе, который может использоваться для хранения желаемой информации и который может быть доступен компьютеру. Дополнительно, специалисту в данной области техники хорошо известно, что передающая среда обычно включает компьютерно-читаемые команды, структуры данных, программные модули или другие данные в модулированном данными сигнале, таком как несущая волна или другой механизм передачи данных, и включает любую среду передачи информации.