Результат интеллектуальной деятельности: ПОНИЖАЮЩИЙ МИКШЕР И СПОСОБ ДЛЯ ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ ПО МЕНЬШЕЙ МЕРЕ ДВУХ КАНАЛОВ, И МНОГОКАНАЛЬНЫЙ КОДИРОВЩИК И МНОГОКАНАЛЬНЫЙ ДЕКОДЕР

Настоящее изобретение имеет отношение к обработке аудио и, в частности, к обработке многоканальных аудио сигналов, содержащих два или более аудио каналов.

Сокращение количества каналов является существенным для успешного выполнения многоканального кодирования на низких скоростях передачи битов. Например, схемы параметрического стереофонического кодирования основаны на соответствующем монофоническом понижающем микшировании из левого и правого входных каналов. Полученный таким образом монофонический сигнал должен кодироваться и передаваться монофоническим кодеком наряду со вспомогательной информацией, описывающей акустическую обстановку в параметрической форме. Вспомогательная информация обычно состоит из нескольких параметров на каждый частотный поддиапазон. Они, например, могли бы включать в себя:

• межканальный перепад уровней (ILD), измеряющий перепад уровней (или баланс) между каналами.

• межканальную разновременность (ITD) или межканальную разность фаз (IPD), описывающие, соответственно, разновременность или разность фаз между каналами.

Однако, обработка понижающим микшированием предрасположена создавать гашение (подавление) и расцвечивание сигнала, обусловленные рассогласованием межканальной фазы, что приводит к нежелательным ухудшениям качества. В качестве примера, если каналы когерентны и почти не совпадают по фазе, сигнал понижающего микширования вероятно должен показывать заметное спектральное смещение, такое как характеристики гребенчатого фильтра.

Операция понижающего микширования может выполняться во временной области простым суммированием левого и правого каналов, что находит выражение в

,

где и - левый и правый каналы, - временной индекс, а и - веса, которые определяли микширование. Если веса постоянны во времени, мы говорим о пассивном понижающем микшировании. Оно имеет недостаток, происходя безотносительно к входному сигналу, и качество полученного сигнала понижающего микширования сильно зависит от характеристик входного сигнала. Адаптация веса со временем может уменьшать эту проблему до некоторой степени.

Однако, для решения основных вопросов активное понижающее микширование обычно выполняется в частотной области, например, с использованием краткосрочного преобразования Фурье (STFT). В силу этого, веса могут делаться зависящими от индекса k частоты и временного индекса n, и могут лучше соответствовать характеристикам сигнала. Сигнал понижающего микширования в таком случае выражается в виде:

где M[k,n], L[k,n] и R[k,n] - составляющие STFT сигнала понижающего микширования, левого канала и правого канала, соответственно, на индексе k частоты и временном индексе n. Веса и могут адаптивно настраиваться во времени и по частоте. Это нацелено на сохранение средней энергии или амплитуды двух входных каналов, минимизируя спектральное смещение, вызванное эффектами гребенчатой фильтрации.

Наиболее простой способ для активного понижающего микширования состоит в том, чтобы выравнивать энергию сигнала понижающего микширования, чтобы давало, для каждого элемента разрешения по частоте или поддиапазона, среднюю энергию двух входных каналов [1]. Сигнал понижающего микширования, как показано на фиг. 7b, в таком случае может быть сформулирован в виде:

где

Такое простое решение имеет несколько недостатков. Прежде всего, сигнал понижающего микширования не определен, когда два канала имеют фазоинверсные время-частотные составляющие равной амплитуды (ILD=0 дБ, а IPD=пи). Это в значительной степени является результатом обращения в ноль знаменателя в этом случае. Выходной сигнал простого активного понижающего микширования в этом случае непредсказуем. Этот характер изменения показан на фиг. 7a применительно к различным межканальным перепадам уровней, где фаза графически изображена в качестве функции IPD.

Для ILD=0 дБ сумма двух каналов является разрывной на IPD=пи, давая в результате скачок в пи радиан. В других условиях фаза регулярно и непрерывно развертывается в пределах модуля 2пи.

Вторая природа проблем происходит из существенного расхождения нормирующих коэффициентов передачи для успешного выполнения такого выравнивания энергии. Действительно, нормирующие коэффициенты передачи могут радикально колебаться от кадра к кадру и между смежными частотными поддиапазонами. Это приводит к неестественному расцвечиванию сигнала понижающего микширования и к межблоковым эффектам. Использование синтезирующих окон для STFT и метода суммирования с перекрытием дают в результате сглаженные переходы между обработанными аудио кадрами. Однако, большое изменение нормирующих коэффициентов передачи между следующими друг за другом кадрами по-прежнему может приводить к слышимым переходным артефактам. Более того, это радикальное выравнивание также может приводить к слышимым артефактам, обусловленным помехами дискретизации от боковых лепестков частотной характеристики окна анализа блочного преобразования.

В качестве альтернативы активное понижающее микширование может успешно выполняться посредством осуществления выравнивания фаз двух каналов перед вычислением суммарного сигнала [2-4]. Выравнивание энергии, которое должно выполняться в отношении нового суммарного сигнала, в таком случае, ограничено, поскольку два канала уже совпадают по фазе перед их суммированием. В [2], фаза левого канала используется в качестве начала отсчета для выравнивания двух каналов по фазе. Если фазы левых каналов не являются хорошо обусловленными (например, канала с нулевым или низкоуровневым шумом), это напрямую влияет на сигнал понижающего микширования. В [3] этот важный вопрос решается взятием в качестве начала отсчета фазы суммарного сигнала до сдвига. Однако, проблема особой точки на ILD=0 дБ и IPD= пи не устранена. По этой причине [4] меняет подход, пользуясь параметром широкополосной разности фаз, для того чтобы улучшать стабильность в таком случае. Тем не менее, ни один из этих подходов не принимал во внимание вторую природу проблемы, имеющей отношение к нестабильности. Сдвиг фазы каналов также может приводить к неестественному микшированию входных каналов и может создавать серьезную нестабильность и межблоковые эффекты, особенно когда большие изменения происходят в обработке по времени и частоте.

В заключение, есть более развитые технологии, подобные [5] и [6], которые основаны на наблюдениях, что гашение сигнала во время понижающего микширования происходит только на время-частотных составляющих, которые когерентны между двумя каналами. В [5], когерентные составляющие отфильтровываются перед суммированием некогерентных частей входных каналов. В [6], выравнивание фаз вычисляется только для когерентных составляющих перед суммированием каналов. Более того, выравнивание фаз упорядочивается по времени и частоте ради избежания проблем со стабильностью и отсутствия непрерывности. Обе технологии являются требующими вычислительных ресурсов, поскольку в [5] необходимо, чтобы коэффициенты фильтра идентифицировались в каждом кадре, а в [6] должна вычисляться ковариационная матрица между каналами.

Цель настоящего изобретения состоит в том, чтобы предоставить улучшенную концепцию для понижающего микширования или многоканальной обработки.

Эта цель достигается понижающим микшером по пункту 1 формулы изобретения, способом понижающего микширования по пункту 13 формулы изобретения, многоканальным кодировщиком по пункту 14 формулы изобретения, способом многоканального кодирования по пункту 15 формулы изобретения, системой обработки аудио сигнала по пункту 16 формулы изобретения, способом обработки аудио сигнала по пункту 17 формулы изобретения или компьютерной программой по пункту 18 формулы изобретения.

Настоящее изобретение основано на сведениях, что понижающий микшер для понижающего микширования по меньшей мере двух каналов многоканального сигнала, имеющего два или более каналов, не только выполняет сложение по меньшей мере двух каналов для вычисления сигнала понижающего микширования из по меньшей мере двух каналов, но понижающий микшер дополнительно содержит вычислитель дополняющего сигнала для вычисления дополняющего сигнала из многоканального сигнала, при этом, дополняющий сигнал отличен от сигнала неполного понижающего микширования. Более того, понижающий микшер содержит сумматор для сложения сигнала неполного понижающего микширования и дополняющего сигнала, чтобы получать сигнал понижающего микширования многоканального сигнала. Эта процедура полезна, поскольку дополняющий сигнал, будучи отличным от сигнала неполного понижающего микширования, заполняет любые пробелы временной области или спектральной области в пределах сигнала понижающего микширования, которые могут возникать вследствие некоторых комбинаций фаз по меньшей мере двух каналов. В частности, когда два канала совпадают по фазе, тогда типично не должно возникать никаких проблем, когда выполняется простое сложение двух каналов друг с другом. Однако, когда два канала не совпадают по фазе, тогда сложение друг с другом этих двух каналов дает в результате сигнал с очень низкой энергией, даже приближающейся к нулевой энергии. Однако, вследствие того обстоятельства, что дополняющий сигнал теперь добавляется к сигналу неполного понижающего микширования, получающийся в конечном счете сигнал понижающего микширования по-прежнему обладает значительной энергией или по меньшей мере не показывает такие серьезные колебания энергии.

Настоящее изобретение полезно, поскольку оно вводит процедуру для понижающего микширования двух или более каналов, нацеленную на минимизацию типичного гашения (подавления) сигнала и нестабильностей, наблюдаемых в традиционном понижающем микшировании.

Более того, варианты осуществления полезны, поскольку они представляют собой процедуру низкой сложности, которая обладает потенциальной возможностью минимизировать обычные проблемы от многоканального понижающего микширования.

Предпочтительные варианты осуществления полагаются на управляемое выравнивание энергии или амплитуды суммарного сигнала, смешанного с дополняющим сигналом, который также получен из входных сигналов, но отличен от сигнала неполного понижающего микширования. Выравнивание энергии суммарного сигнала управляется, чтобы избежать проблем в особой точке, но также и для минимизации значительных ухудшений сигнала, обусловленных большими колебаниями коэффициента передачи. Предпочтительно, дополняющий сигнал здесь должен компенсировать остаточные потери энергии или компенсировать по меньшей мере часть этих остаточных потерь энергии.

В варианте осуществления, процессор выполнен с возможностью вычислять сигнал неполного понижающего микширования, так чтобы выполнялось связанное с энергией или связанное с амплитудой соотношение между по меньшей мере двумя каналами и каналом неполного понижающего микширования, когда по меньшей мере два канала совпадают по фазе и так, что потери энергии создаются в сигнале неполного понижающего микширования, когда по меньшей мере два канала не совпадают по фазе. В этом варианте осуществления, вычислитель дополняющего сигнала выполнен с возможностью вычислять дополняющий сигнал, так чтобы потери энергии сигнала неполного понижающего микширования частично или полностью компенсировались сложением воедино сигнала неполного понижающего микширования и дополняющего сигнала.

В варианте осуществления, вычислитель дополняющего сигнала выполнен с возможностью вычисления дополняющего сигнала, так чтобы дополняющий сигнал имел показатель когерентности 0,7 относительно сигнала неполного понижающего микширования, где показатель когерентности 0,0 показывает полную некогерентность, а показатель когерентности 1,0 показывает полную когерентность. Таким образом, гарантируется, что сигнал неполного понижающего микширования с одной стороны и дополняющий сигнал с другой стороны в существенно отличны друг от друга.

Предпочтительно, понижающее микширование формирует суммарный сигнал двух каналов, такой как L+R, как происходит в традиционных подходах пассивного или активного понижающего микширования. Коэффициенты передачи, применяемые к этому суммарному сигналу, которые впоследствии называются W₁, нацелены на выравнивание энергии суммарного канала для приведения в соответствие со средней энергией или средней амплитудой входных каналов. Однако, в противоположность традиционным подходам активного понижающего микширования, значения W₁ ограничены для избежания проблем нестабильности и для избежания того, чтобы соотношения энергий восстанавливались на основании ухудшенного суммарного сигнала.

Второе микширование выполняется с дополняющим сигналом. Дополняющий сигнал выбирается так, чтобы его энергия не обращалась в ноль, когда L и R не совпадают по фазе. Весовые коэффициенты W₂ компенсируют выравнивание энергии, обусловленное ограничением, привнесенным в значения W₁.

Предпочтительные варианты осуществления впоследствии обсуждены со ссылкой на прилагаемые чертежи, на которых:

фиг. 1 - структурная схема понижающего микшера в соответствии с вариантом осуществления;

фиг. 2a - блок-схема последовательности операций способа для иллюстрации признака компенсации потерь энергии;

фиг. 2b - структурная схема, иллюстрирующая вариант осуществления вычислителя дополняющего сигнала;

фиг. 3 - принципиальная структурная схема, иллюстрирующая понижающий микшер, работающий в спектральной области и имеющий выход сумматора, присоединенный к разным альтернативным вариантам или элементам кумулятивной обработки;

фиг. 4 иллюстрирует предпочтительную процедуру, реализуемую процессором, для обработки сигнала неполного понижающего микширования;

фиг. 5 иллюстрирует структурную схему многоканального кодировщика по варианту осуществления;

фиг. 6 иллюстрирует структурную схему многоканального декодера;

фиг. 7a иллюстрирует особую точку суммарной составляющей в соответствии с предшествующим уровнем техники;

фиг. 7b иллюстрирует уравнения для вычисления понижающего микширования в примере предшествующего уровня техники по фиг. 7a;

фиг. 8a иллюстрирует соотношение энергий понижающего микширования в соответствии с вариантом осуществления;

фиг. 8b иллюстрирует уравнения для варианта осуществления по фиг. 8a;

фиг. 8c иллюстрирует альтернативные уравнения с более грубым разрешением по частоте весовых коэффициентов;

фиг. 8d иллюстрирует фазу понижающего микширования для варианта осуществления по фиг. 8a;

фиг. 9a иллюстрирует график ограничения коэффициента передачи суммарного сигнала в дополнительном варианте осуществления;

фиг. 9b иллюстрирует уравнение для вычисления сигнала M понижающего микширования для варианта осуществления по фиг. 9a;

фиг. 9c иллюстрирует функцию манипуляции для вычисления манипулированного весового коэффициента для вычисления суммарного сигнала по варианту осуществления фиг. 9a;

фиг. 9d иллюстрирует вычисления весовых коэффициентов для вычисления дополняющего сигнала W₂ применительно к варианту осуществления по фиг. 9a - 9c;

фиг. 9e иллюстрирует соотношение энергий понижающего микширования по фиг. 9a - 9d;

фиг. 9f иллюстрирует коэффициент W₂ передачи для варианта осуществления по фиг. 9a - 9e;

фиг. 10a иллюстрирует энергию понижающего микширования для дополнительного варианта осуществления;

фиг. 10b иллюстрирует уравнения для вычисления сигнала понижающего микширования и первого весового коэффициента W₁ применительно к варианту осуществления по фиг. 10a;

фиг. 10c иллюстрирует процедуры для вычисления вторых весовых коэффициентов или весовых коэффициентов дополняющего сигнала применительно к варианту осуществления по фиг. 10a - 10b;

фиг. 10d иллюстрирует уравнения для параметров p и q варианта осуществления по фиг. 10c;

фиг. 10e иллюстрирует коэффициент W₂ передачи в виде функции ILD и IPD понижающего микширования, что касается варианта осуществления, проиллюстрированного на фиг. с 10a по 10d.

Фиг. 1 иллюстрирует понижающий микшер для понижающего микширования по меньшей мере двух каналов многоканального сигнала 12, имеющего два или более каналов. В частности, многоканальный сигнал может быть всего лишь стереофоническим сигналом с левым каналом L и правым каналом R, или многоканальный сигнал может иметь три или даже более каналов. Каналы также могут включать в себя или состоять из аудио объектов. Понижающий микшер содержит процессор 10 для вычисления сигнала 14 неполного понижающего микширования из по меньшей мере двух каналов из многоканального сигнала 12. Более того, понижающий микшер содержит вычислитель 20 дополняющего сигнала для вычисления дополняющего сигнала из многоканального сигнала 12, при этом, дополняющий сигнал 22, который выводится блоком 20, отличен от сигнала 14 неполного понижающего микширования, выдаваемого блоком 10. Дополнительно, понижающий микшер содержит сумматор 30 для сложения сигнала неполного понижающего микширования и дополняющего сигнала, чтобы получать сигнал 40 понижающего микширования многоканального сигнала 12. Как правило, сигнал 40 понижающего микширования имеет только один канал или, в качестве альтернативы, имеет более чем один канал. Однако, как правило, сигнал понижающего микширования имеет меньшее количество каналов, чем которые включены в многоканальный сигнал 12. Таким образом, когда многоканальный сигнал, например, имеет пять каналов, сигнал понижающего микширования может иметь четыре канала, три канала, два канала или один канал. Сигнал понижающего микширования с одним или двумя каналами предпочтителен над сигналом понижающего микширования, имеющим более чем два канала. В случае двухканального сигнала в качестве многоканального сигнала 12, сигнал 40 понижающего микширования имеет только один канал.

В варианте осуществления, процессор 10 выполнен с возможностью вычислять сигнал 14 неполного понижающего микширования, так чтобы выполнялось предопределенное связанное с энергией или связанное с амплитудой соотношение между по меньшей мере двумя каналами и сигналом неполного понижающего микширования, когда по меньшей мере два канала совпадают по фазе и так, что потери энергии создаются в сигнале неполного понижающего микширования относительно по меньшей мере двух каналов, когда по меньшей мере два канала не совпадают по фазе. Варианты осуществления и примеры для предопределенного соотношения таковы, что амплитуды сигнала понижающего микширования находятся в определенном соотношении с амплитудами входных сигналов или, например, энергии по поддиапазонам сигнала понижающего микширования находится в предопределенном соотношении с энергиями входных сигналов. Одно из особенно интересных соотношений состоит в том, что энергия сигнала понижающего микширования на полной ширине полосы пропускания или в поддиапазонах равна средней энергии двух сигналов понижающего микширования или более чем двух сигналов понижающего микширования. Таким образом, соотношение может касаться энергии или касаться амплитуды. Более того, вычислитель 20 дополняющего сигнала по фиг. 1 выполнен с возможностью вычислять дополняющий сигнал 22, так чтобы потери энергии сигнала неполного понижающего микширования, как проиллюстрировано под 14 на фиг. 1, частично или полностью компенсировались сложением сигнала 14 неполного понижающего микширования и дополняющего сигнала 22 на сумматоре 30 по фиг. 1, для получения сигнала понижающего микширования.

Как правило, варианты осуществления основаны на управляемом выравнивании энергии или амплитуды суммарного сигнала, смешанного с дополняющим сигналом, также полученным из входных каналов.

Варианты осуществления основаны на управляемом выравнивании энергии или амплитуды суммарного сигнала, смешанного с дополняющим сигналом, также полученным из входных каналов. Выравнивание энергии суммарного сигнала управляется для избежания проблем в особой точке, но также и для значительной минимизации ухудшений сигнала, обусловленных колебаниями коэффициента передачи. Дополняющий сигнал здесь должен компенсировать остаточные потери энергии или по меньшей мере их часть. Общая форма нового понижающего микширования может быть выражена как

где дополняющий сигнал S[k,n], в идеале, должен быть как можно лучше ортогонален суммарному сигналу, но, на практике, может быть выбран в качестве

или

или

.

Во всех случаях понижающее микширование, прежде всего, формирует суммарный канал L+R, как это делается в традиционных подходах пассивного и активного понижающего микширования. Коэффициент передачи нацелен на выравнивание энергии суммарного канала для приведения в соответствие средней энергии или средней амплитуде входных каналов. Однако, в отличие от традиционных подходов активного понижающего микширования, ограничено для избежания проблем нестабильности и для избежания того, чтобы соотношения энергий восстанавливались на основании ухудшенного суммарного сигнала.

Второе микширование выполняется с дополняющим сигналом. Дополняющий сигнал выбирается так, чтобы его энергия не обращалась в ноль, когда и не совпадают по фазе. компенсирует выравнивание энергии, обусловленное ограничением, привнесенным в .

Как проиллюстрировано, вычислитель 20 дополняющего сигнала выполнен с возможностью вычислять дополняющий сигнал, так чтобы дополняющий сигнал был отличен от сигнала неполного понижающего микширования. В количественных выражениях, предпочтительно, чтобы показатель когерентности дополняющего сигнала был меньшим, чем 0,7 относительно сигнала неполного понижающего микширования. По этой шкале, показатель когерентности 0,0 показывает полную некогерентность, а показатель когерентности 1,0 показывает полную когерентность. Таким образом, показатель когерентности, меньший, чем 0,7, оказался полезным настолько, что сигнал неполного понижающего микширования и дополняющий сигнал в достаточной мере отличны друг от друга. Однако, показатели когерентности, меньшие чем 0,5 и даже меньшие чем 0,3, более предпочтительны.

Фиг. 2a иллюстрирует процедуру, выполняемую процессором. В частности, как проиллюстрировано элементом 50 по фиг. 2a, процессор вычисляет сигнал неполного понижающего микширования с потерями энергии относительно по меньшей мере двух каналов, которые представляют собой входной сигнал в процессор. Более того, вычислитель 52 дополняющего сигнала вычисляет дополняющий сигнал 22 по фиг. 1, чтобы частично или полностью компенсировал потери энергии.

В варианте осуществления, проиллюстрированном на фиг. 2b, вычислитель дополняющего сигнала содержит селектор дополняющего сигнала или определитель 23 дополняющего сигнала, вычислитель 24 весовых коэффициентов, взвешиватель 25, чтобы в конечном счете получать дополняющий сигнал 22. В частности, селектор дополняющего сигнала или определитель 23 дополняющего сигнала выполнен с возможностью использовать, для вычисления дополняющего сигнала, один сигнал из группы сигналов, состоящей из первого канала, такого как L, второго канала, такого как R, разности между первым каналом и вторым каналом, как указано L-R на фиг. 2b. В качестве альтернативы, разность также может иметь значение R-L. Дополнительный сигнал, используемый селектором 23 дополняющего сигнала, может быть дополнительным каналом многоканального сигнала, то есть, каналом, который не выбран процессором для вычисления сигнала неполного понижающего микширования. Этот канал, например, может быть центральным каналом или каналом объемного звучания, или любым другим дополнительным каналом, содержащим объект. В других вариантах осуществления, сигнал, используемый селектором дополняющего сигнала, является декоррелированным первым каналом, декоррелированным вторым каналом, декоррелированным дополнительным каналом или даже декоррелированным сигналом неполного понижающего микширования, которые вычислены процессором 14. В предпочтительных вариантах осуществления, первый канал, такой как L, или второй канал, такой как R, или, еще предпочтительнее, разность между левым каналом и правым каналом или разность между правым каналом и левым каналом предпочтительны для вычисления дополняющего сигнала.

Выход селектора 23 дополняющего сигнала подается в вычислитель 24 весовых коэффициентов. Вычислитель весовых коэффициентов типично дополнительно принимает два или более сигнала, которые должны комбинироваться процессором 10, и вычислитель весовых коэффициентов вычисляет веса W₂, проиллюстрированные под 26. Эти веса вместе с сигналом, используемые и определяемые селектором 23 дополняющего сигнала, вводятся во взвешиватель 25, и взвешиватель затем взвешивает соответствующий сигнал, выдаваемый из блока 23, с использованием весовых коэффициентов из блока 26, чтобы в заключение получать дополняющий сигнал 22.

Весовые коэффициенты могут быть зависящими только от времени, так чтобы, применительно к некоторому блоку или кадру во времени, вычислялся одиночный весовой коэффициент W₂. В других вариантах осуществления, однако, предпочтительно использовать зависящие от времени и частоты весовые коэффициенты W₂, так чтобы, для некоторого блока или кадра дополняющего сигнала, был доступен не только одиночный весовой коэффициент для этого временного блока, но набор весовых коэффициентов W₂ для набора разных значений частоты или спектральных элементов разрешения сигнала, сформированного или выбранного блоком 23.

Соответствующий вариант осуществления применительно к зависящим от времени и частоты весовым коэффициентам не только для использования вычислителя 20 дополняющего сигнала, но также для использования процессора 10, проиллюстрирован на фиг. 3.

В частности, фиг. 3 иллюстрирует понижающий микшер в предпочтительном варианте осуществления, который содержит время-спектральный преобразователь 60 для преобразования входных каналов временной области во входные каналы частотной области, где каждый входной канал частотной области содержит последовательность спектров. Каждый спектр имеет отдельный временной индекс n и, в пределах каждого спектра, определенный индекс k частоты указывает ссылкой на частотную составляющую, уникально связанную с индексом частоты. Таким образом, в примере, когда блок содержит 512 спектральных значений, тогда частота k пробегает от 0 до 511, для того чтобы уникально идентифицировать каждый один из 512 разных индексов частоты.

Время-спектральный преобразователь 60 выполнен с возможностью для применения БПФ (быстрого преобразования, FFT) и, предпочтительно, БПФ с перекрытием, так что последовательность спектров, полученная блоком 60, связана с перекрывающимися блоками входных каналов. Однако, также могут использоваться алгоритм преобразования спектров без перекрытия и другие преобразования кроме БПФ, такие как ДКП (дискретное косинусное преобразование, DCT), и подобные.

В частности, процессор 10 по фиг. 1 содержит первый вычислитель 15 весовых коэффициентов для вычисления весов W₁ для отдельных спектральных индексов k или весовых коэффициентов W₁ для поддиапазонов b, где поддиапазон шире спектрального значения по частоте и, типично, содержит два или более спектральных значения.

Вычислитель 20 дополняющего сигнала по фиг. 1 содержит второй вычислитель весовых коэффициентов, который вычисляет весовые коэффициенты W₂. Таким образом, элемент 24 может быть сконструирован аналогично элементу 24 по фиг. 2b.

Более того, процессор 10 по фиг. 1, вычисляющий сигнал неполного понижающего микширования, содержит взвешиватель 16 понижающего микширования, который принимает, в качестве входных данных, весовые коэффициенты W₁, и который выдает сигнал 14 неполного понижающего микширования, который пересылается в сумматор 30. Более того, вариант осуществления, проиллюстрированный на фиг. 3, дополнительно содержит взвешиватель 25, уже описанный по фиг. 2b, который принимает, в качестве входных данных, вторые весовые коэффициенты W₂.

Сумматор 30 выдает сигнал 40 понижающего микширования. Сигнал 40 понижающего микширования может использоваться в нескольких разных случаях. Один из способов использовать сигнал 40 понижающего микширования состоит в том, чтобы вводить его в кодировщик 64 понижающего микширования в частотной области, проиллюстрированный на фиг. 3, который выдает кодированный сигнал понижающего микширования. Альтернативная процедура должна вводить представление сигнала 40 понижающего микширования в частотной области в спектрально-временной преобразователь 62, для того чтобы получать, на выходе блока 62, сигнал понижающего микширования во временной области. Дополнительный вариант осуществления состоит в том, чтобы подавать сигнал 40 понижающего микширования в дополнительный процессор 66 понижающего микширования, который формирует некоторую разновидность обработанного канала понижающего микширования, такого как передаваемый канал понижающего микширования, хранимый канал понижающего микширования или канал понижающего микширования, который выполнил некоторую разновидность выравнивания, изменения коэффициента передачи, и т. д.

В вариантах осуществления, процессор 10 выполнен с возможностью для вычисления зависящих от времени или частоты весовых коэффициентов W₁, как проиллюстрировано блоком 15 на фиг. 3, для взвешивания суммы по меньшей мере двух каналов в соответствии с предопределенным соотношением энергий или амплитуд между по меньшей мере двумя каналами и суммарным сигналом по меньшей мере двух каналов. Более того, вслед за этой процедурой, которая также проиллюстрирована в элементе 70 по фиг. 4, процессор выполнен с возможностью сравнивать вычисленный весовой коэффициент W₁ для некоторого индекса k частоты и некоторого временного индекса n или для некоторого спектрального поддиапазона b и некоторого временного индекса n с предопределенным пороговым значением, как указано в блоке 72 блок-схемы по фиг. 4. Это сравнение предпочтительно выполняется для каждого спектрального индекса k или для каждого индекса b поддиапазона, или для каждого временного индекса n и, предпочтительно, для одного спектрального индекса k или b и для каждого временного индекса n. Когда вычисленный весовой коэффициент находится в первом соотношении с предопределенным пороговым значением, к примеру, ниже порогового значения, как проиллюстрировано на блоке 73, тогда вычисленный весовой коэффициент W₁ используется, как указано на блоке 74 по фиг. 4. Однако, когда вычисленный весовой коэффициент находится во втором соотношении с предопределенным пороговым значением, то есть, отличном от первого соотношения с предопределенным пороговым значением, к примеру, выше порогового значения, как указано на блоке 75, предопределенное пороговое значение используется вместо вычисленного весового коэффициента для вычисления сигнала неполного понижающего микширования, например, в блоке 16 по фиг. 3. Это «жесткое» ограничение W₁. В других вариантах осуществления, выполняется разновидность «мягкого ограничения». В этом варианте осуществления, модифицированный весовой коэффициент выводится с использованием функции модификации, при этом, функция модификации такова, что модифицированный весовой коэффициент находится ближе к предопределенному пороговому значению, чем вычисленный весовой коэффициент.

Вариант осуществления на фиг. 8a-8d использует жесткое ограничение, тогда как вариант осуществления на фиг. 9a-9f и вариант осуществления на фиг. 10a-10e используют мягкое ограничение, то есть, функцию модификации.

В дополнительном варианте осуществления, процедура на фиг. 4 выполняется в отношении блока 70 и блока 76 блок-схемы, то сравнение с пороговым значением, как обсуждено со ссылкой на блок 72 блок-схемы, не выполняется. Вслед за вычислением в блоке 70 блок-схемы, модифицированный весовой коэффициент выводится с использованием функции модификации по вышеприведенному описанию блока 76 блок-схемы, при этом, функция модификации такова, что модифицированный весовой коэффициент дает в результате энергию сигнала неполного понижающего микширования, являющуюся меньшей, чем энергия предопределенного соотношения энергий. Предпочтительно, функция модификации, которая применяется без конкретного сравнения, такова, что она ограничивает, для высоких значений W₁, манипулированный или модифицированный весовой коэффициент до некоторого предела или имеет всего лишь весьма небольшое возрастание, такое как функция логарифма или натурального логарифма, или аналогичное, хотя не ограничивается некоторым значением, имеет лишь очень небольшое возрастание, так что проблемы стабильности, как обсужденные раньше, по существу устраняются или, по меньшей мере, уменьшаются.

В предпочтительном варианте осуществления, проиллюстрированном на фиг. 8a-8d, понижающее микширование имеет вид:

где

В вышеприведенном уравнении, A - вещественнозначная постоянная, предпочтительно равная корню квадратному из 2, но A также может иметь другие значения между 0,5 или 5. В зависимости от применения, также могут использоваться значения, даже отличные от вышеупомянутых значений.

При условии, что

,

и всегда положителен, а ограничен значением или, например, 0,5.

Коэффициенты передачи микширования могут вычисляться по элементам разрешения для каждого индекса k у STFT, как описано в предыдущей формуле, или могут вычисляться по диапазонам для каждого неперекрывающегося поддиапазона, объединяющего набор индексов b у STFT. Коэффициенты передачи вычисляются на основании следующего уравнения.

Поскольку сохранение энергии во время выравнивания не является жестким ограничением, энергия результирующего сигнала понижающего микширования меняется по сравнению со средней энергией входного канала. Соотношение энергий зависит от ILD и IPD, как проиллюстрировано на фиг. 8a.

В противоположность простому способу активного понижающего микширования, который сохраняет постоянное соотношение между выходной энергией и средней энергией входных каналов, новый сигнал понижающего микширования не показывает никаких особых точек, как проиллюстрировано на фиг. 8d. Действительно, на фиг. 7a, скачок с амплитудой Пи (180°), может наблюдаться на IP=Пи и ILD=0 дБ, тогда как, на фиг. 8d, скачок имеет значение 2Пи (360°), что соответствует непрерывному изменению в области развернутой фазы.

Результаты испытаний прослушиванием подтвердили, что новый способ понижающего микширования дает в результате значительно меньшие нестабильности и ухудшения для большого диапазона стереофонических сигналов, чем традиционное активное понижающее микширование.

В этом контексте, фиг. 8a иллюстрирует, вдоль оси x, межканальный перепад уровней между исходным левым и исходным правым каналом в дБ. Более того, энергия понижающего микширования указана на относительной шкале между 0 и 1,4 по оси y, и параметром является межканальная разность фаз, IPD. В частности, оказывается, что энергия результирующего сигнала понижающего микширования меняется индивидуально в зависимости от фазы между каналами и, что касается фазы Пи (180°), то есть, для ситуации несовпадения фаз, изменение энергии, по меньшей мере для положительных межканальных перепадов уровня, находится в хорошем состоянии. Фиг. 8b иллюстрирует уравнения для вычисления сигнала M понижающего микширования и, к тому же, становится ясно, что, в качестве дополняющего сигнала, выбран левый канал. Фиг. 8c иллюстрирует весовые коэффициенты W₁ и W₂ не только для отдельных спектральных индексов, но и для поддиапазонов, где набор индексов из STFT, то есть, по меньшей мере два спектральных значения k, объединяются для получения определенного поддиапазона.

По сравнению с предшествующим уровнем техники, проиллюстрированным на фиг. 7a и фиг. 7b, все особые точки уже исключены, когда фиг. 8d сравнивается с фиг. 7a.

Фиг. 9a-9f иллюстрирует дополнительный вариант осуществления, где понижающее микширование вычисляется с использованием разности между левым и правым каналами L и R в качестве основы для дополняющего сигнала. В частности, в этом варианте осуществления,

где набор коэффициентов передачи и вычисляется так, чтобы соотношение энергий между подвергнутым понижающему микшированию сигналом и входными каналами сохранялось в любых условиях.

Сначала вычисляется коэффициент передачи для выравнивания энергии до заданного предела, где A - вновь вещественнозначное число, равное или отличное от этого значения:

Как следствие, коэффициент передачи суммарного сигнала ограничен диапазоном [0, 1], как показано на фиг. 9a. В уравнении для x, альтернативная реализация должна использовать знаменатель без квадратного корня.

Если два канала имеют IPD, больший чем пи/2, больше не может компенсировать потери энергии, и это в таком случае будет происходить из коэффициента передачи . вычисляется в качестве одного из корней следующего квадратного уравнения:

Корни уравнения имеют вид:

,

где

Затем может быть выбран один из двух корней. Что касается обоих корней, соотношение энергий сохраняется для всех условий, как показано на фиг. 9e.

Если два канала имеют IPD, больший чем пи/2, больше не может компенсировать потери энергии, и это в таком случае будет происходить из коэффициента передачи . вычисляется в качестве одного из корней следующего квадратного уравнения:

Корни уравнения имеют вид:

,

где

Затем может быть выбран один из двух корней. Что касается обоих корней, соотношение энергий сохраняется для всех условий, как показано на фиг. 9f.

Предпочтительно, корень с минимальным абсолютным значением адаптивно выбирается для . Такой адаптивный выбор даст в результате переключение с одного корня на другой для ILD=0 дБ, что может еще раз создавать нарушение непрерывности.

В противоположность современному уровню техники, этот подход кладет конец эффекту гребенчатой фильтрации понижающего микширования и спектральному смещению, не привнося никаких особых точек. Он сохраняет соотношение энергий во всех условиях, но привносит большую нестабильность по сравнению с предпочтительным вариантом осуществления.

Таким образом, фиг. 9a иллюстрирует ограничение коэффициента передачи, достигаемое коэффициентами W₁ суммарного сигнала при вычислении сигнала неполного понижающего микширования по этому варианту осуществления. В частности, прямая линия является ситуацией перед нормированием или перед модификацией значения, как обсуждено со ссылкой на блок 76 блок-схемы по фиг. 4. И другая линия, которая приближается к значению 1 применительно к функции модификации в качестве функции весового коэффициента W₁. Становится ясно, что влияние функции модификации проявляется на значениях выше 0,5, но отклонение становится реально видимым только для значений W₁ около 0,8 или больших.

Фиг. 9b иллюстрирует уравнение, реализуемое структурной схемой по фиг. 1 применительно к этому варианту осуществления.

Более того, фиг. 9c иллюстрирует, каким образом вычисляются значения W₁, а потому, фиг. 9a иллюстрирует технически целесообразную ситуацию по фиг. 9c. В заключение, фиг. 9d иллюстрирует вычисление W₂, то есть, весовых коэффициентов, используемых генератором 20 дополняющего сигнала по фиг. 1.

Фиг. 9e иллюстрирует, что энергия понижающего микширования всегда одинакова и равна 1 для всех разностей фаз между первым и вторым каналами и для всех перепадов уровней, ALD, между первым и вторым каналами.

Однако, фиг. 9f иллюстрирует нарушения непрерывности, привнесенные вычислениями правил по уравнению для E_M по фиг. 9d вследствие того обстоятельства, что есть знаменатель в уравнении для p и уравнении для q, проиллюстрированных на фиг. 9d, который может обращаться в 0.

Фиг. 10a-10e иллюстрируют дополнительный вариант осуществления, который может видеться в качестве компромисса между двумя описанными ранее альтернативными вариантами.

Понижающее микширование имеет вид:

Где

В уравнении для x, альтернативная реализация должна использовать знаменатель без квадратного корня.

В этом случае, необходимо решить квадратное уравнение:

На этот раз, коэффициент передачи не берется в точности в качестве одного из корней квадратного уравнения, но скорее:

где

Как результат, соотношение энергий не сохраняется все время, как показано на фиг. 10a. С другой стороны коэффициент передачи не показывает никаких нарушений непрерывности на фиг. 10e и, по сравнению со вторым вариантом осуществления, проблемы уменьшены.

Таким образом, фиг. 10a иллюстрирует соотношение энергий по этому варианту осуществления, проиллюстрированному на фиг. 10a-10e, где, еще раз, энергия понижающего микширования проиллюстрирована по оси y, а межканальный перепад уровней проиллюстрирован на оси x. Фиг. 10b иллюстрирует уравнения, примененные на фиг. 1, и процедуры, выполняемые для вычисления первых весовых коэффициентов W₁, как проиллюстрировано в отношении блока 76. Более того, фиг. 10c иллюстрирует альтернативное вычисление W₂, что касается варианта осуществления по фиг. 9a-9f. В частности, p подвергается функции абсолютного значения, которая фигурирует при сравнении фиг. 10c с аналогичным уравнением на фиг. 9d.

Фиг. 10d в таком случае еще раз показывает вычисление p и q, а фиг. 10d приблизительно соответствует уравнениям на фиг. 10d в нижней части.

Фиг. 10e иллюстрирует соотношение энергий этого нового понижающего микширования в соответствии с вариантом осуществления, проиллюстрированным на фиг. 10a-10d, и кажется, что коэффициент W₂ передачи приближается к максимальному значению всего лишь 0,5.

Хотя предыдущее описание и некоторые фигуры дают подробные уравнения, должно быть отмечено, что преимущества уже получаются, даже не когда уравнения вычисляются точно, а когда уравнения вычисляются, но результаты модифицируются. В частности, функции первого вычислителя 15 весовых коэффициентов и второго вычислителя 24 весовых коэффициентов по фиг. 3 выполняются так, чтобы первые весовые коэффициенты или вторые весовые коэффициенты имели значения, находящиеся в диапазоне ± 20% значений, определенных на основании вышеприведенных уравнений. В предпочтительном варианте осуществления, весовые коэффициенты определяются имеющими значения, находящиеся в диапазоне ± 10% значений, определенных вышеприведенными уравнениями. В еще более предпочтительных вариантах осуществления, отклонение имеет значение всего лишь в ± 1%, а в наиболее предпочтительных вариантах осуществления, берутся в точности результаты уравнений. Но, как указано, преимущества настоящего изобретения получаются, даже когда применяются отклонения ± 20% от вышеописанных уравнений.

Фиг. 5 иллюстрирует вариант осуществления многоканального кодировщика, в котором может использоваться обладающий признаками изобретения понижающий микшер, как обсужденный ранее в отношении фиг. 1-4, 8a-10e. В частности, многоканальный кодировщик содержит вычислитель 82 параметров для вычисления многоканальных параметров 84 из по меньшей мере двух каналов многоканального сигнала 12, имеющего два или более каналов. Более того, многоканальный кодировщик содержит понижающий микшер 80, который может быть реализован, как обсуждено выше, и который предусматривает один или более каналов 40 понижающего микширования. Как многоканальные параметры 84, так и один или более каналов 40 понижающего микширования вводятся в выходной интерфейс 86 для вывода кодированного многоканального сигнала, содержащего один или более каналов понижающего микширования и/или многоканальных параметров. В качестве альтернативы, выходной интерфейс может быть выполнен с возможностью для хранения или передачи кодированного многоканального сигнала, например, в многоканальный декодер, проиллюстрированный на фиг. 6. Многоканальный декодер, проиллюстрированный на фиг. 6, принимает, в качестве входного сигнала, кодированный многоканальный сигнал 88. Этот сигнал вводится во входной интерфейс, и входной интерфейс 90 выводит, с одной стороны, многоканальные параметры 92 и, с другой стороны, один или более каналов 94 понижающего микширования. Оба элемента данных, то есть, многоканальные параметры 92 и каналы 94 понижающего микширования, вводятся в многоканальный восстановитель 96, который восстанавливает, на своем выходе, приближенное выражение исходных входных каналов и, в общем, выводит выходные каналы, которые могут содержать или состоять из выходных аудио объектов или чего-то аналогичного, как указанное номером 98 ссылки. В частности, многоканальный кодировщик на фиг. 5 и многоканальный декодер на фиг. 6 вместе представляют собой систему обработки аудио сигнала, где многоканальный кодировщик является действующим, как обсуждено со ссылкой на фиг. 5, и где многоканальный декодер, например, реализован, как проиллюстрировано на фиг. 6 и, в целом, выполнен с возможностью для декодирования кодированного многоканального сигнала, чтобы получать восстановленный аудио сигнал, проиллюстрированный под номером 98 на фиг. 6. Таким образом, процедуры, проиллюстрированные со ссылкой на фиг. 5 и фиг. 6, дополнительно представляют собой способ обработки аудио сигнала, содержащий способ многоканального кодирования и соответствующий способ многоканального декодирования.

Изобретательно кодированный аудио сигнал может храниться на цифровом запоминающем носителе или неэфемерном запоминающем носителе, или может передаваться в среде передачи, такой как беспроводная среда передачи или проводная среда передачи, такая как сеть Интернет.

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют собой описание соответствующего способа, где блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока или элемента, либо признака соответствующего устройства.

В зависимости от требований определенной реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового запоминающего носителя, например, гибкого диска, DVD (цифрового многофункционального диска), CD (компакт-диска), ПЗУ (постоянного запоминающего устройства, ROM), ППЗУ (программируемого ПЗУ, PROM), СППЗУ (стираемого ППЗУ, EPROM), ЭСППЗУ (электрически стираемого ППЗУ, EEPROM) или памяти FLASH, имеющего электронным образом считываемые сигналы управления, хранимые на нем, которые взаимодействуют (или способны к взаимодействию) с программируемой компьютерной системой, из условия чтобы выполнялся соответственный способ.

Некоторые варианты осуществления согласно изобретению, содержат носитель данных, имеющий электронным образом считываемые сигналы управления, которые способны взаимодействовать с программируемой компьютерной системой, из условия чтобы выполнялся один из способов, описанных в материалах настоящей заявки.

Вообще, варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с управляющей программой, управляющая программа является действующей для выполнения одного из способов, когда компьютерный программный продукт работает на компьютере. Управляющая программа, например, может храниться на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в материалах настоящей заявки, хранимую на машиночитаемом носителе или неэфемерном запоминающем носителе.

Поэтому, другими словами, вариант осуществления обладающего признаками изобретения способа является компьютерной программой, имеющей управляющую программу для выполнения одного из способов, описанных в материалах настоящей заявки, когда компьютерная программа работает на компьютере.

Поэтому, дополнительным вариантом осуществления обладающих признаками изобретения способов является носитель данных (или цифровой запоминающий носитель, или машинно-читаемый носитель), содержащий, записанную на нем, компьютерную программу для выполнения одного из способов, описанных в материалах настоящей заявки.

Поэтому, дополнительным вариантом осуществления обладающего признаками изобретения способа является поток данных или последовательность сигналов, представляющие собой компьютерную программу для выполнения одного из способов, описанных в материалах настоящей заявки. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью передаваться через соединение передачи данных, например, через сеть Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненные с возможностью или приспособленные для выполнения одного из способов, описанных в материалах настоящей заявки.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в материалах настоящей заявки.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех из функциональных возможностей способов, описанных в материалах настоящей заявки. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, для того чтобы выполнять один из способов, описанных в материалах настоящей заявки. Обычно, способы предпочтительно выполняются каким-нибудь аппаратным устройством.

Описанные выше варианты осуществления являются всего лишь иллюстративными применительно к принципам настоящего изобретения. Понятно, что модификации и варианты компоновок и деталей, описанных в материалах настоящей заявки, будут очевидны специалистам в данной области техники. Поэтому, замысел состоит в том, чтобы ограничиваться только объемом прилагаемой патентной формулы изобретения, а не конкретными деталями, представленными в качестве описания и пояснения вариантов осуществления, приведенных в материалах настоящей заявки.

Библиографический список

[1] US 7,343,281 B2, «PROCESSING OF MULTI-CHANNEL SIGNALS» («ОБРАБОТКА МНОГОКАНАЛЬНЫХ СИГНАЛОВ»), Koninklijke Philips Electronics N.V., Eindhoven (NL)

[2] Samsudin, E. Kurniawati, Ng Boon Poh, F. Sattar, and S. George, «A Stereo to Mono Downmixing Scheme for MPEG-4 Parametric Stereo Encoder» («Схема понижающего микширования из стереофонического в монофонический сигнал для параметрического стереофонического кодировщика MPEG-4»), in IEEE International Conference on Acoustics, Speech and Signal Processing, vol. 5, 2006, pp. 529-532.

[3] T. M. N. Hoang, S. Ragot, B. Kövesi, and P. Scalart, «Parametric Stereo Extension of ITU-T G. 722 Based on a New Downmixing Scheme» («Параметрическое стереофоническое расширение G.722 ITU-T на основании новой схемы понижающего микширования»), IEEE International Workshop on Multimedia Signal Processing (MMSP) (2010).

[4] W. Wu, L. Miao, Y. Lang, and D. Virette, «Parametric Stereo Coding Scheme with a New Downmix Method and Whole Band Inter Channel Time/Phase Differences» («Схема параметрического стереофонического кодирования с новым способом понижающего микширования и полнополосными межканальными разновременностью/разностью фаз»), in IEEE International Conference on Acoustics, Speech and Signal Processing, 2013, pp. 556-560.

[5] Alexander Adami, Emanuël A.P. Habets, Jürgen Herre, «DOWN-MIXING USING COHERENCE SUPPRESSION» («ПОНИЖАЮЩЕЕ МИКШИРОВАНИЕ С ИСПОЛЬЗОВАНИЕМ ПОДАВЛЕНИЯ КОГЕРЕНТНОСТИ»), 2014 IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP)

[6] Vilkamo, Juha; Kuntz, Achim; Füg, Simone, «Reduction of Spectral Artifacts in Multichannel Downmixing with Adaptive Phase Alignment» («Ослабление спектральных артефактов при многоканальном микшировании с помощью адаптивного выравнивания фаз»), AES August 22, 2014