Результат интеллектуальной деятельности: МАТРИЦЫ ОПТИМАЛЬНОГО МИКШИРОВАНИЯ И ИСПОЛЬЗОВАНИЕ ДЕКОРРЕЛЯТОРОВ ПРИ ОБРАБОТКЕ ПРОСТРАНСТВЕННОГО ЗВУКА

Настоящее изобретение относится к обработке звуковых сигналов и, в частности, к устройству и к способу, в которых используют матрицы оптимального микширования и, кроме того, к использованию декорреляторов при обработке пространственного звука.

Обработка звуковых сигналов становится все более и более важной. При перцепционной обработке пространственного звука типичным предположением является то, что пространственный аспект воспроизводимого громкоговорителем звука, определяется, в частности, значениями энергии и согласованными по времени зависимостями между звуковыми каналами в воспринимаемых диапазонах частот. Это основано на представлении о том, что эти характеристики при воспроизведении через громкоговорители передаются в интерауральные разности уровней, в интерауральные разности по времени и в интерауральные когерентности, которые являются бинауральными стимулами пространственного восприятия. Из этой концепции появились различные способы пространственной обработки, включающее в себя микширование с увеличением количества каналов, см. публикацию

[1] C. Faller, "Multiple-Loudspeaker Playback of Stereo Signals”, Journal of the Audio Engineering Society, Vol. 54, No. 11, pp. 1051-1064, June 2006,

пространственный микрофонный эффект, см., например, публикации

[2] V. Pulkki, "Spatial Sound Reproduction with Directional Audio Coding”, Journal of the Audio Engineering Society, Vol. 55, No. 6, pp. 503-516, June 2007; и

[3] C. Tournery, C. Faller, F. Küch, J. Herre, "Converting Stereo Microphone Signals Directly to MPEG Surround”, 128th AES Convention. May 2010;

и эффективную стереофоническую и многоканальную передачу, см., например, публикации

[4] J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, "Parametric Coding of Stereo Audio”, EURASIP Journal on Applied Signal Processing, Vol. 2005, No. 9, pp. 1305-1322, 2005; и

[5] J. Herre. K. Kjörling, J. Breebaart, C. Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Rödén, W. Oomen, K. Linzmeier and K. S. Chong, "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", Journal of the Audio Engineering Society, Vol. 56. No. 11, pp. 932-955. November 2008.

Тесты на прослушивание подтвердили пользу этой концепции в каждом применении, см., например, [1, 4, 5] и, например, публикацию

[6] J. Vilkamo, V. Pulkki, “Directional Audio Coding: Virtual Microphone-Based Synthesis and Subjective Evaluation". Journal of the Audio Engineering Society, Vol. 57, No. 9, pp. 709-724, September 2009.

Все эти технологии, несмотря на различия в применении, имеют одну и ту же основную задачу, которая состоит в генерации из набора входных каналов набора выходных каналов с заданными энергиями и зависимостями в виде функции от времени и частоты, которая, как можно предположить, является общей основной задачей при перцепционной обработке пространственного звука. Например, применительно к кодированию направленного звука (DirAC), см., например, [2], исходными каналами обычно являются сигналы с микрофонов первого порядка, которые обрабатывают посредством микширования, амплитудного панорамирования и декорреляции для перцепционной аппроксимации измеренного звукового поля. При микшировании с увеличением количества каналов (см. [1]) входные стереоканалы снова, как функцию времени и частоты, адаптивно распределяют в схему окружающего звука.

Задачей настоящего изобретения является создание усовершенствованных концепций для генерации набора выходных каналов с заданными свойствами из набора входных каналов. Задача настоящего изобретения решается посредством устройства по пункту 1 формулы изобретения, способа по пункту 25 формулы изобретения и компьютерной программы по пункту 26 формулы изобретения.

Предложено устройство для генерации выходного звукового сигнала, имеющего два или более выходных звуковых каналов, из входного звукового сигнала, имеющего два или более входных звуковых каналов. Это устройство содержит блок предоставления и процессор сигналов. Блок предоставления выполнен с возможностью предоставления первой ковариантности входного звукового сигнала. Процессор сигналов выполнен с возможностью генерации выходного звукового сигнала путем применения правила микширования, по меньшей мере, к двум из двух или более входных звуковых каналов. Процессор сигналов сконфигурирован с возможностью определения правила микширования на основании первой ковариантности входного звукового сигнала и на основании второй ковариантности выходного звукового сигнала, причем вторая ковариантность является иной, чем первая ковариантность.

Например, энергии каналов и согласованные по времени зависимости могут быть выражены вещественной частью ковариационной матрицы сигнала, например, в воспринимаемых диапазонах частот. Ниже представлена концепция обработки пространственного звука, обычно применяемая в этой области. Эта концепция содержит техническое решение с адаптивным микшированием для достижения заданной целевой ковариантности (второй ковариантности), например, заданной целевой ковариационной матрицы, за счет наилучшего использования независимых компонентов во входных каналах. В одном из вариантов осуществления изобретения может быть предусмотрено средство ввода необходимого количества декоррелированной звуковой энергии, когда цель не достигнута иным способом. Такая концепция является надежной по своей функции и может применяться в многочисленных вариантах использования. Целевая ковариантность может быть, например, предоставлена пользователем. Например, согласно одному из вариантов осуществления изобретения, устройство может иметь средство, обеспечивающее возможность ввода ковариантности пользователем.

Согласно одному из вариантов осуществления изобретения, блок предоставления может быть выполнен с возможностью предоставления первой ковариантности, причем первая ковариантность имеет первое состояние для первого частотно-временного элемента, и при этом первая ковариантность имеет второе состояние, являющееся иным, чем первое состояние, для второго частотно-временного элемента, являющегося иным, чем первый частотно-временной элемент. Блок предоставления не обязательно должен выполнять анализ для получения ковариантности, но может предоставлять эти данные из запоминающего устройства, за счет ввода данных пользователем или из аналогичных источников.

В другом варианте осуществления изобретения процессор сигналов может быть выполнен с возможностью определения правила микширования на основании второй ковариантности, причем вторая ковариантность имеет третье состояние для третьего частотно-временного элемента, и при этом вторая ковариантность имеет четвертое состояние, являющееся иным, чем третье состояние, для четвертого частотно-временного элемента, являющегося иным, чем третий частотно-временной элемент.

Согласно еще одному варианту осуществления изобретения, процессор сигналов выполнен с возможностью генерации выходного звукового сигнала путем применения правила микширования так, что каждый из двух или более выходных звуковых каналов зависит от каждого из двух или более входных звуковых каналов.

В еще одном варианте осуществления изобретения процессор сигналов может быть выполнен с возможностью определения правила микширования так, что мера погрешности является минимизированной. Мерой погрешности может являться, например, сигнал абсолютной разности между опорным выходным сигналом и реальным выходным сигналом.

В одном из вариантов осуществления изобретения мерой погрешности может являться, например, мера, зависящая от

,

где - выходной звуковой сигнал, причем

,

где - входной звуковой сигнал, а - матрица отображения, которая может являться специфической для конкретного применения, при этом - опорный целевой выходной звуковой сигнал.

Согласно еще одному варианту осуществления изобретения, процессор сигналов может быть выполнен с возможностью определения правила микширования так, что

минимизировано, где - оператор математического ожидания, в - заданная опорная точка, а - выходной звуковой сигнал.

Согласно еще одному варианту осуществления изобретения, процессор сигналов может быть сконфигурирован с возможностью определения правила микширования путем определения второй ковариантности, причем процессор сигналов может быть сконфигурирован с возможностью определения второй ковариантности на основании первой ковариантности.

Согласно еще одному варианту осуществления изобретения, процессор сигналов может быть выполнен с возможностью определения матрицы микширования в качестве правила микширования, причем процессор сигналов может быть выполнен с возможностью определения матрицы микширования на основании первой ковариантности и на основании второй ковариантности.

В еще одном варианте осуществления изобретения блок предоставления может быть выполнен с возможностью анализа первой ковариантности путем определения первой ковариационной матрицы входного звукового сигнала, и при этом процессор сигналов может быть сконфигурирован с возможностью определения правила микширования на основании второй ковариационной матрицы выходного звукового сигнала в качестве второй ковариантности.

Согласно еще одному варианту осуществления изобретения, блок предоставления может быть выполнен с возможностью определения первой ковариационной матрицы так, что каждое диагональное значение первой ковариационной матрицы может указывать энергию одного из входных звуковых каналов, а каждое значение первой ковариационной матрицы, не являющееся диагональным значением, может указывать межканальную корреляцию между первым входным звуковым каналом и отличным от него вторым входным звуковым каналом.

Согласно еще одному варианту осуществления изобретения, процессор сигналов может быть сконфигурирован с возможностью определения правила микширования на основании второй ковариационной матрицы, причем каждое диагональное значение второй ковариационной матрицы может указывать энергию одного из выходных звуковых каналов, а каждое значение второй ковариационной матрицы, не являющееся диагональным значением, может указывать межканальную корреляцию между первым выходным звуковым каналом и вторым выходным звуковым каналом.

Согласно еще одному варианту осуществления изобретения, процессор сигналов может быть выполнен с возможностью определения матрицы микширования так, что:

,

при этом

,

где - матрица микширования, - первая ковариационная матрица, - вторая ковариационная матрица, - первая транспонированная матрица первой разложенной матрицы , - вторая транспонированная матрица второй разложенной матрицы , - матрица, обратная первой разложенной матрице , а - первая унитарная матрица.

В еще одном варианте осуществления изобретения процессор сигналов может быть выполнен с возможностью определения матрицы микширования так, что

,

где

,

где - третья транспонированная матрица второй унитарной матрицы , а - третья унитарная матрица, при этом

,

где - четвертая транспонированная матрица матрицы микширования с сокращением количества каналов, - пятая транспонированная матрица третьей унитарной матрицы , а - диагональная матрица.

Согласно еще одному варианту осуществления изобретения, процессор сигналов выполнен с возможностью определения матрицы микширования в качестве правила микширования, причем процессор сигналов выполнен с возможностью определения матрицы микширования на основании первой ковариантности и на основании второй ковариантности, блок предоставления выполнен с возможностью предоставления или анализа первой ковариантности путем определения первой ковариационной матрицы входного звукового сигнала, а процессор сигналов сконфигурирован с возможностью определения правила микширования на основании второй ковариационной матрицы выходного звукового сигнала в качестве второй ковариантности, причем процессор сигналов сконфигурирован с возможностью модифицирования, по меньшей мере, некоторых диагональных значений диагональной матрицы , когда значения диагональной матрицы равны нулю или являются меньшими, чем заданное пороговое значение, так, чтобы эти значения были большими или равными пороговому значению, а это процессор сигналов выполнен с возможностью определения матрицы микширования на основании диагональной матрицы. Однако пороговое значение не обязательно должно являться заданным, но также может иметь функциональную зависимость.

В еще одном варианте осуществления изобретения процессор сигналов сконфигурирован с возможностью модифицирования, по меньшей мере, некоторые диагональных значений диагональной матрицы , причем и , где - первая ковариационная матрица, - диагональная матрица, - вторая матрица, - третья транспонированная матрица, а - четвертая транспонированная матрица пятой матрицы . Матрицами и могут являться унитарные матрицы.

Согласно еще одному варианту осуществления изобретения, процессор сигналов выполнен с возможностью генерации выходного звукового сигнала путем применения правила микширования, по меньшей мере, к двум из двух или более входных звуковых каналов для получения промежуточного сигнала и путем добавления разностного сигнала к промежуточному сигналу для получения выходного звукового сигнала.

В еще одном варианте осуществления изобретения процессор сигналов выполнен с возможностью определения матрицы микширования на основании диагональной матрицы усиления и вспомогательной матрицы так, что , где диагональная матрица усиления имеет значение

,

где ,

где - матрица микширования, - диагональная матрица усиления, а - вспомогательная матрица, при этом - вторая ковариационная матрица, а - пятая транспонированная матрица матрицы .

Ниже приведено объяснение предпочтительных вариантов осуществления настоящего изобретения со ссылкой на чертежи, на которых изображено следующее:

на Фиг. 1 проиллюстрировано устройство генерации выходного звукового сигнала, имеющего два или более выходных звуковых каналов, из входного звукового сигнала, имеющего два или более входных звуковых каналов, согласно одному из вариантов осуществления изобретения,

на Фиг. 2 изображен процессор сигналов согласно одному из вариантов осуществления изобретения,

на Фиг. 3 показан пример применения линейной комбинации векторов и для получения нового набора векторов и ,

на Фиг. 4 проиллюстрирована блок-схема устройства согласно другому варианту осуществления изобретения,

на Фиг. 5 показана схема, на которой изображен сигнал с микрофонов со стереосовпадением, подаваемый в кодер стандарта MPEG с объемным звучанием (MPEG Surround) согласно одному из вариантов осуществления изобретения,

на Фиг. 6 изображено устройство согласно другому варианту осуществления изобретения, относящемуся к коррекции ICC/уровня при микшировании с сокращением количества каналов для кодера SAM - MPS,

на Фиг. 7 изображено устройство согласно одному из вариантов осуществления изобретения для усовершенствования микрофонных массивов с малым разнесением,

на Фиг. 8 проиллюстрировано устройство согласно другому варианту осуществления изобретения для слепого улучшения качества пространственного звука при стереофоническом или многоканальном воспроизведении,

на Фиг. 9 проиллюстрировано усовершенствование при размещении громкоговорителей близко друг к другу,

на Фиг. 10 изображен вариант осуществления изобретения, обеспечивающий улучшенное воспроизведение кодирования направленного звука на основании микрофонного сигнала B-формата,

на Фиг. 11 проиллюстрирована таблица 1, в которой показаны численные примеры варианта осуществления изобретения, и

на Фиг. 12 изображена распечатка 1, на которой показан вариант реализации способа согласно одному из вариантов осуществления изобретения посредством программы Matlab.

На Фиг. 1 проиллюстрировано устройство генерации выходного звукового сигнала, имеющего два или более выходных звуковых каналов, из входного звукового сигнала, имеющего два или более входных звуковых каналов, согласно одному из вариантов осуществления изобретения. Это устройство содержит блок 110 предоставления и процессор 120 сигналов. Блок 110 предоставления выполнен с возможностью приема входного звукового сигнала, имеющего два или более входных звуковых каналов. Кроме того, блок 110 предоставления выполнен с возможностью анализа первой ковариантности входного звукового сигнала. Кроме того, блок 110 предоставления выполнен с возможностью предоставления первой ковариантности в процессор 120 сигналов. Кроме того, процессор 120 сигналов выполнен с возможностью приема входного звукового сигнала. Кроме того, процессор 120 сигналов выполнен с возможностью генерации выходного звукового сигнала путем применения правила микширования, по меньшей мере, к двум из двух или более входных каналов входного звукового сигнала. Процессор 120 сигналов сконфигурирован с возможностью определения правила микширования на основании первой ковариантности входного звукового сигнала и на основании второй ковариантности выходного звукового сигнала, причем вторая ковариантность является иной, чем первая ковариантность.

На Фиг. 2 проиллюстрирован процессор сигналов согласно одному из вариантов осуществления изобретения. Этот процессор сигналов содержит блок 210 составления матрицы оптимального микширования и блок 220 микширования. Блок 210 составления матрицы оптимального микширования составляет матрицу оптимального микширования. Для этого блок 210 составления матрицы оптимального микширования использует первую ковариантность 230 (например, ковариантность на входе) диапазона частот стереофонического или многоканального входного звукового сигнала, принятого, например, блоком 110 предоставления из варианта осуществления изобретения, показанного на Фиг. 1. Кроме того, блок 210 составления матрицы оптимального микширования определяет матрицу микширования на основании второй ковариантности 240, например, целевой ковариационной матрицы, которая может зависеть от применения. Матрица оптимального микширования, составленная блоком 210 составления матрицы оптимального микширования, может быть использована в качестве матрицы отображения канала. Затем матрица оптимального микширования может быть подана в блок 220 микширования. Блок 220 микширования применяет матрицу оптимального микширования для стереофонического или многоканального диапазона частот на входе для получения на выходе стереофонического или многоканального диапазона частот выходного звукового сигнала. Выходной звуковой сигнал имеет желательную вторую ковариантность (целевую ковариантность).

Для более подробного объяснения вариантов осуществления настоящего изобретения введены следующие определения. Теперь заданы комплексные входной и выходной сигналы и с нулевым средним значением, где - индекс времени, - индекс частоты, - индекс входного канала, а - индекс выходного канала. Кроме того, заданы сигнальные векторы входного звукового сигнала и выходного звукового сигнала :

, (1)

где и - общее количество каналов на входе и на выходе. Кроме того, , и заданы сигналы с заполнением нулями равной размерности:

(2)

Сигналы с заполнением нулями могут использоваться в формулировке до тех пор, пока полученное решение не будет распространено на векторы различной длины.

Как был объяснено выше, широко используемой мерой для описания пространственного аспекта многоканального звука является комбинация энергий каналов и согласованных по времени зависимостей. Эти свойства содержатся в вещественной части ковариационных матриц, заданных следующим образом:

(3)

В уравнении (3) и ниже представляет собой оператор математического ожидания. представляет собой оператор вещественной части, а и - сопряженные транспонированные матрицы и . Оператор математического ожидания представляет собой математический оператор. При практическом применении его заменяют оценочным значением, таким как, например, среднее значение за определенный промежуток времени. В приведенных ниже разделах использование термина "ковариационная матрица" относится к этому вещественнозначному определению. и являются симметричными и положительно полуопределенными, и, следовательно, могут быть заданы такие вещественные матрицы и , что:

(4)

Такие разложения могут быть получены, например, с использованием разложения Холецкого (Cholesky) или разложения по собственным значениям, см., например, публикацию:

[7] Golub, G.H. and Van Loan, C.F., "Matrix computations”, Johns Hopkins Univ Press, 1996.

Следует отметить, что существует бесконечное число разложений, удовлетворяющих уравнению (4). Для любых ортогональных матриц и матрицы и также удовлетворяют этому условию, поскольку

(5)

В случаях использования стереозвука ковариационная матрица часто задают в виде энергий каналов и межканальной корреляции (ICC), например, в [1, 3, 4]. Диагональные значения являются энергиями каналов, а ICC между двумя каналами равна

(6)

и, соответственно, для . Индексы в скобках обозначают строку и столбец матрицы.

Остальным определением является определяемая применением матрица отображения, которая содержит информацию о том, какие входные каналы подлежат использованию в составе каждого выходного канала. Посредством может быть задан опорный сигнал:

(7)

Матрица отображения может содержать изменения размерности и масштабирования, сочетания и переупорядочения каналов. Вследствие дополненного нулями определения сигналов, здесь представляет собой квадратную матрицу N × N, которая может содержать нулевые строки или столбцы. Некоторыми примерами являются следующие:

- Улучшение пространственных характеристик: в тех областях применения, где выходной сигнал должен иметь максимальное сходство с входным сигналом.

- Микширование с сокращением количества каналов: матрица представляет собой матрицу микширования с сокращением количества каналов.

- Пространственный синтез по сигналам с микрофонов первого порядка: может представлять собой, например, матрицу микширования амбифонических микрофонов, а это означает, что представляет собой набор сигналов с виртуальных микрофонов.

Ниже сформулировано, как следует генерировать сигнал из сигнала с ограничивающим условием, что имеет определяемую применением ковариационную матрицу . Применение также определяет матрицу отображения, которая дает опорную точку для оптимизации. Входной сигнал имеет измеренную ковариационную матрицу . Как изложено, в предложенных концепциях для выполнения этого преобразования используют, в первую очередь, концепцию только оптимального микширования каналов, поскольку использование декорреляторов обычно включает в себя качество сигнала, и, во вторую очередь, введение декоррелированной энергии, когда цель не достигается иным способом.

Согласно этим концепциям, соотношение между входным и выходным сигналами может быть записано следующим образом:

, (8)

где - вещественная матрица микширования согласно первичной концепции, а - разностный сигнал согласно вторичной концепции.

Ниже предложены концепции для модификации ковариационной матрицы.

Сначала решают задачу согласно первичной концепции просто путем перекрестного микширования входных каналов. В этом случае уравнение (8) упрощается до

(9)

Из уравнений (3) и (9) получают, что

(10)

Из уравнений (5) и (10) следует, что

, (11)

из чего следует набор решений для , удовлетворяющих уравнению (10),

(12)

Условием для этих решений является существование Остающимся свободным параметром является ортогональная матрица .

Ниже описано то, как находят матрицу , которая обеспечивает оптимальную матрицу . Из всех в уравнении (12) ищут ту, которая дает выходной сигнал, наиболее близкий к заданной опорной точке _, то есть которая минимизирует

, (13a)

то есть которая минимизирует

(13).

Теперь задан такой сигнал , что может быть выбран так, что , поскольку

(14)

Из этого следует, что

(15)

Уравнение (13) может быть записано в следующем виде:

(16)

Из может быть легко показано для вещественной симметричной матрицы , что , что является следом матрицы. Из этого следует, что уравнение (16) принимает вид

(17)

Для следов матрицы может быть легко подтверждено, что

(18)

Используя эти свойства, уравнение (17) принимает вид

. (19)

Только лишь последний член зависит от . Таким образом, задача оптимизации состоит в следующем:

(20)

Можно легко показать для неотрицательной диагональной матрицы и любой ортогональной матрицы , что

(21)

В силу этого путем определения сингулярного разложения , где является неотрицательной и диагональной, а и являются ортогональными, следует, что

(22)

для любой ортогональной . Это равенство справедливо для

, (23)

в силу чего эта дает максимум и минимум меры погрешности в уравнении (13).

Устройство согласно одному из вариантов осуществления изобретения определяет матрицу оптимального микширования с минимальной погрешностью . Следует отметить, что ковариантность входного звукового сигнала и выходного звукового сигнала может изменяться для различных частотно-временных элементов. Для этого блок предоставления из устройства согласно одному из вариантов осуществления изобретения выполнен с возможностью анализа ковариантности входного звукового канала, которая может быть различной для различных частотно-временных элементов. Кроме того, процессор сигналов из устройства согласно одному из вариантов осуществления изобретения выполнен с возможностью определения правила микширования, например, матрицы микширования, на основании второй ковариантности выходного звукового сигнала, причем вторая ковариантность может иметь различные значения для различных частотно-временных элементов.

Поскольку определенная матрица микширования применяется для каждого из входных звуковых каналов входного звукового сигнала, и поскольку каждый из полученных в результате этого выходных звуковых каналов выходного звукового сигнала может, соответственно, зависеть от каждого из входных звуковых каналов, то, следовательно, процессор сигналов из устройства согласно одному из вариантов осуществления изобретения выполнен с возможностью генерации выходного звукового сигнала путем применения правила микширования так, что каждый из двух или более выходных звуковых каналов зависит от каждого из двух или более входных звуковых каналов входного звукового сигнала.

Согласно другому варианту осуществления изобретения, предложено использование декорреляции, когда не существует или является неустойчивой. В описанных выше вариантах осуществления изобретения было предложено такое техническое решение для определения матрицы оптимального микширования, в котором предполагалось, что существует. Однако может существовать не всегда, или обратная ей матрица может содержать очень большие множители, если некоторые из основных составляющих в очень слабы. Эффективным способом регуляризации обратной матрицы является использование сингулярного разложения . Соответственно, обратная матрица выражается следующим образом:

(24)

Проблемы возникают тогда, когда некоторые из диагональных значений неотрицательной диагональной матрицы равны нулю или очень малы. В этом случае концепция, которая обеспечивает надежную регуляризацию обратной матрицы, состоит в замене этих значении более высокими значениями. Результатом этой процедуры является , соответствующая обратная матрица и соответствующая матрица микширования.

Эта регуляризация фактически означает, что в процедуре микширования усиление некоторых из слабых основных составляющих в уменьшено, и следовательно, их сохранность в выходном сигнале также уменьшена, и целевая ковариантность , как правило, не достигается.

Таким образом, согласно одному из вариантов осуществления изобретения, процессор сигналов может быть сконфигурировано так, что модифицирует, по меньшей мере, некоторые диагональные значения диагональной матрицы , когда эти значения диагональной матрицы равны нулю или являются меньшими, чем пороговое значение (пороговое значение может являться заданным или может иметь функциональную зависимость), так, что эти значения являются большими или равными пороговому значению, причем процессор сигналов может быть выполнен с возможностью определения матрицы микширования на основании диагональной матрицы.

Согласно одному из вариантов осуществления изобретения, процессор сигналов может быть сконфигурирован с возможностью модифицирования, по меньшей мере, некоторых диагональных значений диагональной матрицы , причем и , где - первая ковариационная матрица, - диагональная матрица, - вторая матрица, - третья транспонированная матрица, а - четвертая транспонированная матрица пятой матрицы .

Вышеупомянутая потеря составляющей сигнала может быть полностью скомпенсирована разностным сигналом . Исходное соотношение между входным и выходным сигналами будет конкретизировано с регуляризированной инверсией.

(25)

Теперь задают аддитивную составляющую , так что вместо имеют . Кроме того, задают независимый сигнал , так что и

(26)

Можно легко показать, что сигнал

(27)

имеет ковариантность _. В этом случае разностный сигнал для компенсации регуляризации равен

(28)

Из уравнений (27) и (28) следует, что

(29)

Поскольку была задана как стохастический сигнал, то из этого следует, что соответствующим свойством является его ковариационная матрица. Таким образом, любой сигнал, являющийся независимым относительно , который обработан так, что имеет ковариантность , служит в качестве разностного сигнала, который идеально восстанавливает целевую ковариационную матрицу в тех ситуациях, когда использовалась описанная регуляризация. Такой разностный сигнал может быть легко сгенерирован с использованием декорреляторов и предложенного способа микширования каналов.

Аналитическое нахождение оптимального баланса между количеством декоррелированной энергии и усилением слабых составляющих сигнала не является прямолинейным. Это объясняется зависимостью от факторов, специфических для конкретного применения, таких как, например, устойчивость статистических свойств входного сигнала, примененного окна анализа и отношение сигнал/шум (ОСШ) во входном сигнале. Однако довольно прямолинейным способом является регулировка эвристической функции для нахождения этого баланса без очевидных недостатков, как это было сделано в приведенном ниже примере кода.

Согласно этому процессор сигналов устройства согласно одному из вариантов осуществления изобретения может быть выполнен с возможностью генерации выходного звукового сигнала путем применения правила микширования, по меньшей мере, к двум из двух или более входных звуковых сигналов для получения промежуточного сигнала и путем добавления разностного сигнала к промежуточному сигналу для получения выходного звукового сигнала.

Было показано, что когда применяется регуляризация матрицы, обратной , то составляющие сигнала, отсутствующие в общем выходном сигнале, могут быть полностью дополнены разностным сигналом с ковариантностью . Посредством этого может быть гарантировано, что всегда достигается целевая ковариантность . Ниже представлен один способ генерации соответствующего разностного сигнала . Он содержит следующие этапы:

1. Генерация набора сигналов, количество которых равно количеству выходных каналов. Может использоваться сигнал , поскольку он имеет такое же количество каналов, как и выходной сигнал, и каждый выходной сигнал содержит сигнал, подходящий для этого конкретного канала.

2. Декорреляция этого сигнала. Существует множество способов декорреляции, в том числе, фазовые фильтры, свертки с шумовыми пакетами и псевдослучайные задержки в диапазонах частот.

3. Измерение (или предположение) ковариационной матрицы декоррелированного сигнала. Измерение является простейшим и наиболее надежным, но поскольку сигналы исходят из декорреляторов, то можно предположить, что они являются некогерентными. В этом случае достаточным является просто измерение энергии.

4. Применение предложенного способа для генерации матрицы микширования, которая при применении для декоррелированного сигнала обеспечивает генерацию выходного сигнала с ковариационной матрицей . Здесь используют матрицу отображения , поскольку желают оказывать минимальное влияние на содержимое сигнала.

5. Обработка сигнала из декорреляторов при помощи этой матрицы микширования и подача его в выходной сигнал для дополнения отсутствия составляющих сигнала. Посредством этого достигают целевой .

В альтернативном варианте осуществления изобретения декоррелированные каналы добавляют к (по меньшей мере одному) входному сигналу перед составлением матрицы оптимального микширования. В этом случае входной и выходной сигналы имеют одну и ту же размерность, и при условии, что входной сигнал имеет такое же количество независимых составляющих сигнала, что и количество входных каналов, отсутствует необходимость в использовании разностного сигнала . Когда декорреляторы используются таким образом, использование декорреляторов является "невидимым" для предложенной концепции, поскольку входными каналами являются декоррелированные каналы, как и любые другие.

Если использование декорреляторов является нежелательным, то по меньшей мере целевые значения энергии каналов могут быть достигнуты путем перемножения строк матрицы так, что

, (30)

где - диагональная матрица усиления со следующими значениями

, (31)

где .

Во многих областях применения количество входных и выходных каналов является различным. Как описано в Уравнении (2), применено заполнение нулями сигнала с меньшей размерностью, чтобы он имел одну и ту же самую размерность, что и сигнал с более высокой размерностью. Заполнение нулями подразумевает непроизводительные издержки при вычислениях, поскольку некоторые строки или столбцы в результирующей соответствуют каналам с заданной нулевой энергией. С математической точки зрения непроизводительные издержки могут быть уменьшены путем введения матрицы Λ, представляющей собой единичную матрицу, дополненную нулями до размерности N_y×N_x, что эквивалентно использованию сначала заполнения нулями и, в заключение, обрезки до соответствующей размерности N_y×N_x, например,

(32)

Когда переопределена так, что

P=VΛUT, (33)

результирующей является матрица микширования N_y×N_x, которая является той же самой, что и соответствующая часть в случае с заполнением нулями. Следовательно, _, , и могут иметь их естественную размерность, а матрица отображения имеет размерность N_y×N_x.

Входная ковариационная матрица всегда является разлагаемой до , поскольку она является положительной полуопределенной мерой из фактического сигнала. Однако возможно задать такие целевые ковариационные матрицы, которые не являются разлагаемыми по той причине, что они отображают неосуществимые зависимости между каналами. Существуют концепции для обеспечения разложимости, например, регулировка отрицательных собственный значений до нулевых и нормировка энергии, см., например, публикацию

[8] R. Rebonato, P. Jäckel, "The most general methodology to create a valid correlation matrix for risk management and option pricing purposes”, Journal of Risk, Vol. 2, No. 2, pp. 17-28. 2000.

Однако наиболее значимым использованием предложенной концепции является запрос только возможных ковариационных матриц.

Для резюмирования вышеизложенного общая задача может быть перефразирована следующим образом. Во-первых, имеется входной сигнал с определенной ковариационной матрицей. Во-вторых, применение определяет два параметра: целевую ковариационную матрицу и правило относительно того, какие входные каналы подлежат использованию в составе каждого выходного канала. Для выполнения этого преобразования предложено использовать следующие концепции: первичную концепцию, проиллюстрированную на Фиг. 2, которая состоит в том, что целевая ковариантность достигнута с использованием решения для оптимального микширования входных каналов. Эту концепцию считают первичной, поскольку в ней избегают использования декоррелятора, который часто ухудшает качество сигнала. Вторичная концепция имеет место тогда, когда имеется недостаточное количество независимых составляющих с надлежащей энергией. Декоррелированную энергию вводят для компенсации отсутствия этих составляющих. Эти две концепции сообща обеспечивают средство для выполнения надежного регулирования ковариационной матрицы в любом заданном сценарии.

Основной ожидаемой областью применения предложенной концепции является пространственный микрофонный эффект [2, 3], которая является той областью техники, где задачи, связанные с ковариантностью сигнала, в частности, являются особо очевидными вследствие физических ограничений, которые имеют направленные микрофоны. Дальнейшими ожидаемыми вариантами использования являются, в тои числе, усовершенствование стереофонического и многоканального воспроизведения, выявление окружения, микширование с увеличением количества каналов и микширование с сокращением количества каналов.

В приведенном выше описании были даны определения, сопровождаемые получением предложенной концепции. Сначала было предложено техническое решение для перекрестного микширования, затем была предложена концепция введения коррелированной звуковой энергии. После этого было дано описание концепции с различным количеством входных и выходных каналов, а также приведены соображения относительно разложимости ковариационной матрицы. Ниже приведены варианты практического применения, представлен набор численных примеров и приведено заключение. Кроме того, приведен пример кода программы Matlab с полными функциональными возможностями согласно этому документу.

Воспринимаемая пространственная характеристика стереофонического или многоканального звука в значительной степени определяется ковариационной матрицей сигнала в диапазонах частот. Была предложена концепция оптимального и адаптивного перекрестного микширования набора входных каналов с заданной ковариантностью в набор выходных каналов с произвольно определимой ковариантностью. Была предложена еще одна концепция, заключающаяся в том, что декоррелированную энергию вводят только лишь там, где это необходимо, при отсутствии независимых составляющих звукового сигнала с надлежащей энергией. Эта концепция имеет широкое разнообразие областей применения в области обработки пространственных звуковых сигналов.

Энергии каналов и зависимости между каналами (или ковариационная матрица) многоканального сигнала могут быть отрегулированы просто путем линейного и изменяемого во времени перекрестного микширования каналов в зависимости от входных характеристик и желательных целевых характеристик. Эта концепция может быть проиллюстрирована при помощи фактор-представления сигнала, где угол между векторами соответствует зависимости от канала, а амплитуда вектора равна уровню сигнала.

На Фиг. 3 проиллюстрирован пример применения линейной комбинации векторов и для получения нового набора векторов и . Аналогичным образом, уровни звукового канала и их зависимость могут быть модифицированы посредством линейной комбинации. Общее решение включает в себя не векторы, а матричное представление, которое является оптимальным для любого количества каналов.

Матрица микширования для стереофонических сигналов также может быть легко составлена тригонометрическим способом, как видно из Фиг. 3. Результаты являются теми же самыми, что и полученные при помощи математики матриц, но составление является иным.

Если входные каналы являются сильно зависимыми, то получение целевой ковариационной матрицы возможно только с использованием декорреляторов. Также была предложена процедура введения декорреляторов только там, где это необходимо, например, оптимально.

На Фиг. 4 проиллюстрирована блок-схема устройства из варианта осуществления изобретения, в котором применяют технологию микширования. Это устройство содержит модуль 410 анализа ковариационной матрицы и процессор сигналов (не показан), причем процессор сигналов содержит модуль 420 составления матрицы микширования и модуль 430 применения матрицы микширования. Входную ковариантность диапазона частот стереофонического или многоканального входного сигнала анализируют модулем 410 анализа ковариационной матрицы. Результат анализа ковариационной матрицы подают в модуль 420 составления матрицы микширования.

Модуль 420 составления матрицы микширования составляет матрицу микширования на основании результата анализа ковариационной матрицы, на основании целевой ковариационной матрицы и, возможно, также на основании критерия погрешности.

Модуль 420 составления матрицы микширования подает матрицу микширования в модуль 430 применения матрицы микширования. Модуль 430 применения матрицы микширования применяет матрицу микширования для диапазона частот стереофонического или многоканального входного сигнала для получения диапазона частот стереофонического или многоканального выходного сигнала, имеющего, например, заданную целевую ковариантность, в зависимости от целевой ковариационной матрицы.

Подводя итог вышеизложенному, общей целью концепции является расширение, фиксация и/или синтез пространственного звука с наивысшей степенью оптимальности с точки зрения качества звука. Целевая ковариантность, например вторая ковариантность, определяется применением.

Также применимая в полном диапазоне, эта концепция является значимой для восприятия, в особенности, при обработке диапазона частот.

Декорреляторы используют для улучшения (уменьшения) корреляции между каналами. Они делают это, но имеют тенденцию ухудшать общее качество звука, в особенности, с переходной составляющей звукового сигнала.

В предложенной концепции избегают использования декорреляторов, или в некоторых вариантах применения сводят к минимуму их использование. Результатом является одна и та же пространственная характеристика, но без таких потерь качества звука.

Среди других вариантов использования, эта технология может использоваться в кодере SAM-MPS.

Предложенная концепция была реализована для улучшения способа для микрофонов, в котором генерируют поток битов в формате MPEG с объемным звучанием (MPEG surround) (MPEG=экспертная группа по вопросам движущихся изображений) из сигнала из синхронных стереофонических микрофонов первого порядка, см., например, [3]. Способ включает в себя оценку по стереофоническому сигналу направления и размытости звукового поля в диапазонах частот и создание такого потока битов в формате MPEG c объемным звучанием (MPEG surround), который при декодировании на стороне приемника, создает звуковое поле, которое аппроксимирует исходное звуковое поле с точки зрения восприятия.

На Фиг. 5. проиллюстрирована схема, на которой изображен сигнал с микрофонов со стереосовпадением, подаваемый в кодер стандарта MPEG с объемным звучанием (MPEG surround), согласно одному из вариантов осуществления изобретения, в котором реализована предложенная концепция создания сигнала формата MPEG c объемным звучанием (MPEG surround), смикшированного с сокращением количества каналов, из заданного сигнала с микрофона. Всю обработку выполняют по диапазонам частот.

Модуль 520 определения пространственных данных выполнен с возможностью формирования данных с информацией о конфигурации, содержащих данные о пространственном окружении и ICC и/или уровни при микшировании с сокращением количества каналов на основании информации о направлении и о размытости в зависимости от модели 510 звукового поля. Сама модель звукового поля основана на анализе значений ICC и уровней для микрофона в сигнале со стереофонического микрофона. Затем модуль 520 определения пространственных данных подает целевые значения ICC и уровней для микширования с сокращением количества каналов в модуль 530 составления матрицы микширования. Кроме того, модуль 520 определения пространственных данных может быть выполнен с возможностью формирования данных о пространственном окружении и значений ICC и уровней для микширования с сокращением количества каналов в качестве вспомогательной пространственной информации формата MPEG с объемным звучанием (MPEG surround). Затем модуль 530 составления матрицы микширования составляет матрицу микширования на основании предоставленных данных с информацией о конфигурации, например, целевых значений ICC и уровней для микширования с сокращением количества каналов, и подает эту матрицу в модуль 540 микширования. Модуль 540 микширования применяет матрицу микширования для сигнала со стереомикрофона. Таким образом, сигнал генерируют при наличии целевых значений ICC и уровней. Затем сигнал с целевыми ICC и уровнями подают в основной кодер 550. В одном из вариантов осуществления изобретения модули 520, 530 и 540 являются подмодулями процессора сигналов.

В способе, выполняемом устройством из Фиг. 5, должен быть сгенерирован стереофонический сигнал формата MPEG с объемным звучанием (MPEG Surround),смикшированный с сокращением количества каналов. Это включает в себя необходимость регулировки уровней и значений ICC заданного стереофонического сигнала с минимальным влиянием на качество звука. Для этого была применена предложенная концепция перекрестного микширования, и была заметна польза для восприятия концепции из предшествующего уровня техники в [3].

На Фиг. 6 проиллюстрировано устройство согласно другому варианту осуществления изобретения, относящемуся к коррекции ICC/уровня при микшировании с сокращением количества каналов для кодера SAM-MPS. Анализ ICC и уровня выполняют в модуле 602, а модель 610 звукового поля зависит от результатов анализа ICC и уровня, выполняемого модулем 602. Модуль 620 соответствует модулю 520, модуль 630 соответствует модулю 530 и модуль 640 соответствует модулю 540 из Фиг. 5 соответственно. То же самое применимо к основному кодеру 650, который соответствует основному кодеру 550 из Фиг. 5. Описанная выше концепция может быть интегрирована в кодер SAM-MPS для создания из сигналов с микрофонов MPS, смикшированных с сокращением количества каналов с в точности правильными ICC и уровнями. Описанная выше концепция также применима и при прямом воспроизведении "SAM - многоканальный сигнал" без MPS для обеспечения идеальный пространственный синтез наряду с минимизацией объема использования декоррелятора.

Ожидаются усовершенствования применительно к расстоянию до источников, локализации источников, устойчивости, комфортности прослушивания и охвату.

На Фиг. 7 изображено устройство согласно одному из вариантов осуществления изобретения для усовершенствования микрофонных массивов с малым разнесением. Модуль 705 выполнен с возможностью выполнения анализа ковариационной матрицы входного сигнала с микрофона для получения ковариационной матрицы микрофона. Ковариационную матрицу микрофона подают в модуль 730 составления матрицы микширования. Кроме того ковариационную матрицу микрофона используют для получения модели 710 звукового поля. Модель 710 звукового поля может быть основана на иных источниках, чем ковариационная матрица.

Информация о направлении и о размытости, на основании модели звукового поля, затем введена в модуль 720 составления целевой ковариационной матрицы для генерации целевой ковариационной матрицы. Затем модуль 720 составления целевой ковариационной матрицы вводит сгенерированную целевую ковариационную матрицу в модуль 730 составления матрицы микширования.

Модуль 730 составления матрицы микширования выполнен с возможностью генерации матрицы микширования и подает сгенерированную матрицу микширования в модуль 740 применения матрицы микширования. Модуль 740 применения матрицы микширования выполнен с возможностью применения матрицы микширования для входного сигнала с микрофона для получения выходного сигнала с микрофона, имеющего целевую ковариантность. В одном из вариантов осуществления изобретения модули 720, 730 и 740 являются подмодулями процессора сигналов.

Такое устройство при DirAC и SAM функционирует в соответствии с концепцией, которая состоит в оценке направления и размытости исходного звукового поля и в создании такого выходного сигнала, который наилучшим образом воспроизводит оцененное направление и оцененную размытость. Эта процедура обработки сигналов требует обширных настроек ковариационной матрицы для обеспечения правильного пространственного образа. Обработанная концепция является решением этой задачи. За счет предложенной концепции обеспечивается расстояние до источников, локализация источников и/или расстояние между источниками, комфортность прослушивания и/или охват.

На Фиг. 8 проиллюстрирован пример, демонстрирующий вариант осуществления изобретения для слепого улучшения качества пространственного звука при стереофоническом или многоканальном воспроизведении. В модуле 805 выполняют анализ ковариационной матрицы, например, анализ ICC или уровня стереофонического или многоканального содержимого. Затем, в модуле 815 улучшения применяют правило улучшения, например, для получения выходных ICC из входных ICC. Модуль 830 составления матрицы микширования генерирует матрицу микширования на основании результатов анализа ковариационной матрицы, выполненного модулем 805, и на основании информации, полученной из применения правила улучшения, осуществленного в модуле 815 улучшения. Затем в модуле 840 матрицу микширования применяют для стереофонического или многоканального содержимого для получения отрегулированного стереофонического или многоканального содержимого, имеющего целевую ковариантность.

Что касается многоканального звука, например, результатов микширования или записей, то весьма распространенным является нахождение субоптимальности восприятия в пространственном звуке, в особенности, с учетом слишком высокой ICC. Типичным следствием является ухудшенное качество применительно к ширине, охвату, расстоянию, расстоянию между источниками, локализации источников и/или устойчивости источников и комфортности прослушивания. Неофициально было проверено, что эта концепция способна улучшать этих свойства при наличии элементов, имеющих излишне высокие ICC. Наблюдаемыми улучшениями являются ширина, расстояние до источника, исходной локализация/разделение источников, охват и комфортность прослушивания.

На Фиг. 9 проиллюстрирован другой вариант осуществления изобретения для усовершенствования при размещении громкоговорителей близко друг к другу (например, в планшетах, телевизорах). Предложенная концепция, вероятно, является полезной в качестве инструментального средства для улучшения качества стереофонического воспроизведения в тех устройствах воспроизведения, где угол громкоговорителя является слишком узким (например, в планшетах). Предложенная концепция обеспечивает:

- перепанорамирование источников в пределах заданной дуги для соответствия более широкой расстановке громкоговорителей

- увеличение ICC для лучшего соответствия ICC при более широкой расстановке громкоговорителей

- обеспечение лучшей исходной точки для выполнения подавления перекрестных помех, например, с использованием подавления перекрестных помех только лишь при отсутствии какого-либо прямого способа создания желательных бинауральных сигналов.

Ожидаются улучшения относительно ширины, и относительно подавления регулярных перекрестных помех, качества звука и устойчивости.

В другом примере применения, проиллюстрированном на Фиг. 10, изображен вариант осуществления изобретения, обеспечивающий оптимальное воспроизведение кодирования направленного звука (DirAC) на основании сигнала с микрофона в B-формате.

Вариант осуществления изобретения из Фиг. 10 основан на том факте, что современные блоки воспроизведения с DirAC, основанные на совпадающих сигналах с микрофонов, применяют декорреляцию в излишней мере, ухудшая, таким образом, качество звучания. Например, если звуковое поле проанализировано как размытое, то для всех каналов применяют полную корреляцию, даже несмотря на то, что B-формат уже обеспечивает три некогерентные составляющие звукового сигнала в случае горизонтального звукового поля (W, X, Y). Этот эффект присутствует в различной степени, за исключением тех случаев, когда размытость рана нулю.

Кроме того, описанные выше системы, в которых используют виртуальные микрофоны, не гарантируют правильную ковариационную матрицу (уровни и корреляции каналов) на выходе, поскольку виртуальные микрофоны влияют на звук по-разному в зависимости от угла источника, расстановки громкоговорителей и размытости звукового поля.

Предложенная концепция решает обе проблемы. Существуют два альтернативных варианта: создание декоррелированных каналов в качестве дополнительных входных каналов (как показано на чертеже); или использование концепции "декоррелятор-микширование".

На Фиг. 10 модуль 1005 выполняет анализ ковариационной матрицы. Модуль 1018 составления целевой ковариационной матрицы при составлении целевой ковариационной матрицы учитывает не только модель звукового поля, но также и конфигурацию громкоговорителей. Кроме того, модуль 1030 составления матрицы микширования генерирует матрицу микширования не только на основании анализа ковариационной матрицы и целевой ковариационной матрицы, но также и на основании критерия оптимизации, например, матрицы микширования "B-формат - виртуальный микрофон", предоставленной модулем 1032. Модель 1010 звукового поля может соответствовать модели 710 звукового поля из Фиг. 7. Модуль 1040 применения матрицы микширования может соответствовать модулю 740 применения матрицы микширования из Фиг. 7.

В еще одном примере применения предложен вариант осуществления изобретения для пространственного регулирования в способах преобразования каналов, например, микширования с сокращением количества каналов. Преобразование каналов, например, выполнение автоматического микширования с сокращением количества каналов до формата 5.1 из фонограммы в формате 22.2, включает в себя сокращение каналов. Оно может включать в себя потерю или изменение пространственного образа, что может решаться посредством предложенной концепции. И вновь, существуют две альтернативных варианта: в первом варианте эту концепцию используют в области более высокого количества каналов, но для более низкого количества отсутствующих каналов задают каналы с нулевой энергией; в другом варианте матричное решение формулируют непосредственно для различных количеств каналов.

На Фиг. 11 проиллюстрирована таблица 1, в которой приведены численные примеры вышеописанных концепций. Когда сигнал с ковариантностью обработан посредством матрицы микширования и дополнен возможным разностным сигналом с , то выходной сигнал имеет ковариантность . Несмотря на то, что эти численные примеры являются статическими, типичный вариант использования предложенного способа является динамическим. Предполагают, что порядок следования каналов является следующим: L, R, C, Ls, Rs, (Lr, Rr).

В таблице 1 показан набор численных примеров для иллюстрации характера поведения предложенной концепции в некоторых ожидаемых вариантах использования. Матрицы были составлены при помощи кода программы Matlab, приведенного в распечатке 1. Распечатка 1 проиллюстрирована на Фиг. 12.

На распечатке 1 из Фиг. 12 проиллюстрирован вариант реализации предложенной концепции посредством программы Matlab. Этот код программы Matlab был использован в численных примерах и обеспечивает общие функциональные возможности предложенной концепции.

Несмотря на то, что матрицы проиллюстрированы статическими, в типичных областях применения они изменяются по времени и частоте. Расчетный критерий удовлетворяется по определению, если сигнал с ковариантностью обработан посредством матрицы микширования и дополнен возможным разностным сигналом с , а выходной сигнал имеет заданную ковариантность .

В первой и второй строках таблицы проиллюстрирован вариант использования улучшения стереофонического воспроизведения посредством декорреляции сигналов. В первой строке имеется малая, но приемлемая некогерентная составляющая между двумя каналами, и, таким образом, полностью некогерентный выходной сигнал достигается просто путем микширования каналов. Во второй строке корреляция на входе является очень высокой, например, более слабая основная составляющая очень мала. Ее усиление в чрезмерной степени является нежелательным, и, следовательно, встроенный ограничитель начинает требовать введения вместо нее коррелированной энергии, например, теперь не равна нулю.

В третьей строке показан случай микширования с увеличением количества каналов от стерео до 5.0. В этом примере целевая ковариационная матрица задана так, чтобы некогерентная составляющая смикшированного стереофонического сигнала была одинаковой и некогерентно распределенной в боковые и задние громкоговорители, и чтобы когерентная составляющая была подана в центральный громкоговоритель. Разностный сигнал вновь не равен нулю, поскольку увеличена размерность сигнала.

В четвертой строке показан случай простого микширования с увеличением количества каналов от 5.0 до 7.0, где два исходных тыловых канала некогерентно смикшированы с увеличением количества каналов в четыре новые тыловые канала. Этот пример иллюстрирует, что обработка сосредоточена на тех каналах, где требуется регулирование.

В пятой строке изображен случай микширования с сокращением количества каналов из сигнала в формате 5.0 в стереосигнал. Пассивное микширование с сокращением количества каналов, например, применение статической матрицы микширования с сокращением количества каналов, привело бы к усилению когерентных составляющих по сравнению с некогерентными составляющими. Здесь целевая ковариационная матрица была задана так, чтобы сохранить энергию, что выполняется посредством результирующей .

В шестой и седьмой строках проиллюстрирован случай использования пространственного микрофонного эффекта с совпадением. Входные ковариационные матрицы являются результатом помещения идеальных совпадающих микрофонов первого порядка в идеальное диффузное поле. В шестой строке углы между микрофонами являются одинаковыми, а в седьмой строке микрофоны обращены к стандартным углам схемы размещения типа 5.0. В обоих случаях большие недиагональные значения иллюстрируют недостаток, присущий технологиям пассивных совпадающих микрофонов первого порядка в идеальном случае, ковариационная матрица, наилучшим образом представляющая диффузное поле, является диагональной, и, следовательно, она была задана в качестве целевой. В обоих случаях отношение результирующей коррелированной энергии ко всей энергии в точности равно 2/5. Это объясняется тем, что в сигналах от совпадающих по горизонтали микрофонов первого порядка имеется три независимых составляющих сигнала, и что необходимо добавить две составляющих для получения диагональной целевой ковариационной матрицы с пятью каналами.

Было установлено, что пространственное восприятие при стереофоническом и многоканальном воспроизведении зависит, главным образом, от ковариационной матрицы сигнала в существенных для восприятия диапазонах частот.

Была представлена концепция регулирования ковариационной матрицы сигнала путем оптимального перекрестного микширования каналов. Были представлены средства введения декоррелированной энергии, когда это необходимо в случаях отсутствия достаточного количества независимых составляющих сигнала с надлежащей энергией.

Было установлено, что эта концепция является надежной по своему назначению, и было определено большое разнообразие вероятных областей применения.

Ниже представлены варианты осуществления генерации на основании . В качестве первого примера, рассмотрено микширование с увеличением количества каналов от стерео до 5.0. Что касается микширования с увеличением количества каналов от стерео до 5.0, то при микшировании с увеличением количества каналов представляет собой матрицу 2×2, а представляет собой матрицу 5×5 (в этом примере канал низкочастотного динамика не рассматривается). Этапами генерации на основании в каждом частотно-временном элементе, применительно к микшированию с увеличением количества каналов, могут являться, например, следующие:

1. Оценка энергии окружающего и прямого звука в левом и в правом канале. Окружающий звук характеризуется некогерентной составляющей между каналами, которая имеет одинаковую энергию в обоих каналах. Энергия прямого звука представляет собой остаток, когда часть энергии окружающего звука, например, когерентная составляющая энергии удалена из полной энергии, возможно с различными значениями энергии в левом и правом каналах.

2. Оценка угла составляющей прямого звука. Это сделано с использованием закона об амплитудном панорамировании в обратном порядке. В составляющей прямого звука имеется соотношение панорамирования по амплитуде, и имеется только один соответствующий ему угол между фронтальными громкоговорителями.

3. Генерация матрицы 5×5 из нулей в качестве .

4. Введение в диагональ такого количества энергии прямого звука, которое соответствует двум ближайшим громкоговорителям проанализированного направления. Распределение энергии между ними может быть полученным согласно правилам амплитудного панорамирования. Амплитудное панорамирование является когерентным, вследствие чего к соответствующим недиагональным элементам добавляют величину, равную квадратному корню произведения значений энергии двух каналов.

5. Добавление к диагонали , соответствующей каналам L, R, Ls и Rs, количества энергии, соответствующего энергии составляющей окружающего звука. Хорошим вариантом выбора является одинаковое распределение. Теперь имеется целевая .

В качестве другого примера, рассмотрен усовершенствованный вариант. Его целью является улучшение качества восприятия, например, ширины или охвата, путем регулирования когерентности между каналами к нулю. Здесь приведены два различных примера реализации улучшения двумя способами. В качестве первого способа выбирают вариант использования улучшения стереофонического воспроизведения, вследствие чего и представляют собой матрицы 2×2. Этапы являются следующими:

1. Представление ICC (нормированного значения ковариантности от -1 до 1), например, в виде приведенной здесь формулы.

2. Регулировка ICC при помощи функции. Например, ICC_new=sign(ICC)**ICC². Это является довольно умеренное регулировкой. Или ICC_new=sign(ICC)**max(0,abs(ICC)*10-9). Это является более сильной регулировкой.

3. Представление в виде формулы так, что диагональные значения являются теми же самыми, что и в , но недиагональное значение представлено с использованием ICC_new при помощи и той же самой формулы, что и на этапе 1, но обратной.

В вышеупомянутом сценарии отсутствует необходимость в разностном сигнале, поскольку регулирование ICC рассчитано так, что в системе не требуется сильное усиление слабых составляющих сигнала.

Вторым типом реализации способа в этом варианте использования является следующий. Имеется N-канальный входной сигнал, вследствие чего и представляют собой матрицы N×N.

1. Представление в виде формулы через просто путем задания диагональных значений равными диагональным значениям в , а недиагональных значений равными нулю.

2. Активизация способа компенсации усиления в предложенном способе вместо использования разностей. Регуляризация матрицы, обратной , обеспечивает устойчивость системы. Компенсация усиления обеспечивает сохранение значений энергии.

Два описанных способа улучшения дают аналогичные результаты. Последний из них легче реализовать в многоканальном варианте использования.

Наконец, в качестве третьего примера, рассмотрена модель прямого распространения/размытости, например, кодирование направленного звука (DirAC).

DirAC, а также микрофоны пространственной звукозаписи (SAM), обеспечивают интерпретацию звукового поля со следующими параметрами: направление и размытость. Направление представляет собой угол прихода прямой составляющей звукового сигнала. Размытость представляет собой значение от 0 до 1, который дает информацию о том, насколько большое количество общей звуковой энергии рассеяно, например, предполагая, что она приходит некогерентно со всех направлений. Это является приближением звукового поля, но при применении в воспринимаемых диапазонах частот обеспечено хорошее с точки зрения восприятия представление звукового поля. Предполагают, что направление, размытость и общая энергия звукового поля являются известными в частотно-временном элементе. Их представляют в виде формулы с использованием информации в ковариационной матрице микрофона. Имеется N-канальная расстановка громкоговорителей. Этапами генерации , которые являются аналогичными микшированию с увеличением количества каналов, являются следующие:

1. Генерация матрицы N×N из нулей в качестве .

2. Введение в диагональ соответствующей двум ближайшим громкоговорителям проанализированного направления такого количества энергии прямого звука, которое равно (1-размытость)**полная энергия. Распределение энергии между ними может быть получено согласно правилам амплитудного панорамирования. Амплитудное панорамирование является когерентным, вследствие чего к соответствующим недиагональным элементам добавляют величину, равную квадратному корню произведения значений энергии двух каналов.

3. Распределение в диагональ количества рассеянной энергии, равного "размытость*полная энергия". Распределение может быть выполнено, например, так, чтобы больше энергии было распределено в те направления, где громкоговорители расположены редко. Теперь имеется целевая .

Несмотря на то, что некоторые аспекты были описаны применительно к устройству, понятно, что эти аспекты также представляют собой описание соответствующего способа, где блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описанные применительно к этапу способа, также представляют собой описание соответствующего блока, элемента или признака соответствующего устройства.

В зависимости от определенных требований, предъявляемых к реализации, варианты осуществления настоящего изобретения могут быть реализованы аппаратными средствами или посредством программного обеспечения. Реализация может быть осуществлена с использованием цифрового носителя информации, такого как, например, гибкий диск, универсальный цифровой диск (DVD), компакт-диск (CD), постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое PROM (EPROM), электрически стираемое PROM (EEPROM) или флэш-память, на котором хранятся электронно-считываемые управляющие сигналы, взаимодействующие (или способные взаимодействовать) с программируемой компьютерной системой для выполнения соответствующего способа.

Согласно настоящему изобретению, некоторые варианты его осуществления содержат носитель данных, содержащий электронно-считываемые управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой для выполнения одного из описанных здесь способов.

Как правило, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причем программный код действует так, что обеспечивает выполнение одного из способов при выполнении этого компьютерного программного продукта на компьютере. Программный код может храниться, например, на машиночитаемом носителе.

Другие варианты осуществления изобретения содержат компьютерную программу для выполнения одного из описанных здесь способов, которая хранится на машиночитаемом носителе или на некратковременном запоминающем носителе.

Другими словами, следовательно, вариантом осуществления способа, предложенного в настоящем изобретении, является компьютерная программа, содержащая программный код для выполнения одного из описанных здесь способов при выполнении этой компьютерной программы на компьютере.

Следовательно, еще одним вариантом осуществления способов, предложенных в настоящем изобретении, является носитель данных (или цифровой запоминающий носитель, или компьютерно-читаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из описанных здесь способов.

Следовательно, еще одним вариантом осуществления способа, предложенного в настоящем изобретении, является поток данных или последовательность сигналов, которые представляют собой компьютерную программу для выполнения одного из описанных здесь способов. Например, этот поток данных или эта последовательность сигналов могут быть сконфигурированы с возможностью их передачи через соединение для передачи данных, например, через сеть Интернет.

Еще один вариант осуществления изобретения содержит средство обработки, например, компьютер или программируемое логическое устройство, сконфигурированный или выполненный (сконфигурированное или выполненное) с возможностью выполнения одного из описанных здесь способов.

Еще один вариант осуществления изобретения содержит компьютер, имеющий установленную в нем компьютерную программу для выполнения одного из описанных здесь способов.

В некоторых вариантах осуществления изобретения для выполнения некоторых или всех функций описанных здесь способов может использоваться программируемое логическое устройство (например, программируемая пользователем вентильная матрица). В некоторых вариантах осуществления изобретения программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из описанных здесь способов. Как правило, эти способы предпочтительно выполняются каким-либо аппаратным устройством.

Описанные выше варианты осуществления изобретения приведены просто для иллюстрации принципов из настоящего изобретения. Понятно, что для специалистов в данной области техники очевидны возможности модификаций и изменений описанных здесь компоновок и подробностей. Следовательно, подразумевают, что настоящее изобретение ограничено только лишь объемом приведенной ниже формулы изобретения, а не конкретными подробностями, представленными здесь посредством описания и объяснения вариантов осуществления изобретения.

Литература

[1] C. Faller, “Multiple-Loudspeaker Playback of Stereo Signals", Journal of the Audio Engineering Society, Vol. 54, No. 11, pp. 1051-1064. June 2006.

[2] V. Pulkki, “Spatial Sound Reproduction with Directional Audio Coding", Journal of the Audio Engineering Society. Vol. 55. No. 6. pp. 503-516, June 2007.

[3] C. Tournery, C. Faller, F. Küch, J. Herre, “Converting Stereo Microphone Signals Directly to MPEG Surround", 128th AES Convention, May 2010.

[4] J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, “Parametric Coding of Stereo Audio," EURASIP Journal on Applied Signal Processing, Vol. 2005, No. 9. pp. 1305-1322, 2005.

[5] J. Herre, K. Kjörling, J. Breebaart, C. Faller, S. Disch. H. Purnhagen. J. Koppens, J. Hilpert, J. Rödén, W. Oomen. K. Linzmeier and K. S. Chong, "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", Journal of the Audio Engineering Society, Vol. 56, No. 11, pp. 932-955, November 2008.

[6] J. Vilkamo, V. Pulkki, “Directional Audio Coding: Virtual Microphone-Based Synthesis and Subjective Evaluation", Journal of the Audio Engineering Society, Vol. 57, No. 9, pp. 709-724, September 2009.

[7] Golub, G.H. and Van Loan, C.F., “Matrix computations", Johns Hopkins Univ Press, 1996.

[8] R. Rebonato, P. Jäckel, “The most general methodology to create a valid correlation matrix for risk management and option pricing purposes", Journal of Risk, Vol. 2, No. 2, pp. 17-28, 2000.