Результат интеллектуальной деятельности: КОНЦЕПЦИЯ ГЕНЕРИРОВАНИЯ СИГНАЛА ПОНИЖАЮЩЕГО МИКШИРОВАНИЯ

Настоящее изобретение относится к обработке звуковых сигналов и, в частности, к понижающему микшированию множества входных сигналов в сигнал понижающего микширования.

При обработке сигналов часто возникает необходимость в микшировании двух или более сигналов в один суммарный сигнал. Процедура микширования обычно сопровождается некоторыми искажениями сигналов, особенно, если два сигнала, которые подлежат микшированию, содержат одинаковые, но сдвинутые по фазе составляющие. Если указанные сигналы суммируются, результирующий сигнал содержит значительные искажения гребенчатого фильтра. Для предотвращения указанных искажений предлагались различные способы, которые либо являлись чрезвычайно затратными с точки зрения вычислительной сложности, либо основывались на применении поправочного коэффициента усиления или поправочного члена к уже искаженному сигналу.

Преобразование многоканальных звуковых сигналов в меньшее число каналов обычно предполагает микширование нескольких звуковых каналов. Международный союз электросвязи (ITU), например, рекомендует использовать матрицу пассивного микширования во временной области со статическими коэффициентами усиления для понижающего преобразования от одной многоканальной установки к другой [1]. В [2] предлагается достаточно похожий подход.

Для повышения разборчивости диалогов в [3] предлагается комбинированный подход с использованием рекомендуемого ITU и матричного понижающего микширования. Кроме того, аудиокодеры используют пассивное понижающее микширование каналов, например, в некоторых параметрических модулях [4, 5, 6].

Подход, описанный в [7], выполняет измерение громкости каждого входного и выходного канала, т.е., всех без исключения каналов до и после процесса микширования. Благодаря использованию отношения сумм входных энергий (т.е., энергии микшируемых каналов) и выходной энергии (т.е., энергии микшированных каналов) могут быть получены коэффициенты усиления, при которых уменьшаются потери энергии сигнала и эффекты окрашивания.

Подход, описанный в [8], выполняет пассивное понижающее микширование, которое впоследствии преобразуется в частотную область. Понижающее микширование после этого анализируется каскадом пространственной коррекции, который пытается обнаружить и скорректировать любые пространственные расхождения путем внесения изменений в межканальные разности уровней и межканальные разности фаз. Затем к сигналу применяется эквалайзер, чтобы сигнал понижающего микширования имел ту же мощность, что и входной сигнал. На последнем этапе сигнал понижающего микширования преобразуется обратно во временную область.

В [9, 10] описывается другой подход, при котором два сигнала, подлежащие понижающему микшированию, преобразуются в частотную область, при этом создается пара требуемое/фактическое значение. Требуемое значение вычисляется как корень суммы отдельных энергий, а фактическое значение вычисляется как корень энергии суммарного сигнала. Эти два значения затем сравниваются, и в зависимости от того, больше ли фактическое значение, чем требуемое значение, или меньше, к фактическому значению применяется различная коррекция.

В соответствии с другим вариантом, существуют способы, которые направлены на выравнивание фаз сигналов таким образом, чтобы из-за разности фаз не возникали эффекты подавления сигналов. Такие способы, например, предлагались для параметрических стереокодеров [11, 12, 13].

Пассивное понижающее микширование, осуществляемое в [1, 2, 3, 4, 5, 6], является наиболее прямым подходом к микшированию сигналов. Но если не предпринимать никаких дальнейших действий, полученные в результате сигналы понижающего микширования могут страдать от значительных потерь сигнала и эффектов гребенчатой фильтрации.

Подходы, описанные в [7, 8, 9, 10], выполняют пассивное понижающее микширование - в смысле микширования обоих сигналов в равной степени - на первом этапе. После этого к прошедшему понижающее микширование сигналу применяются некоторые коррекции. Это может помочь уменьшить эффекты гребенчатого фильтра, но, с другой стороны, внесет искажения модуляции. Это вызвано быстро изменяющимися во времени поправочными коэффициентами усиления/членами. Кроме того, фазовый сдвиг величиной 180 градусов между подлежащими понижающему микшированию сигналами все же приводит к понижающему микшированию с нулевым значением и не может быть скомпенсирован применением, например, поправочного коэффициента усиления.

Подход с выравниванием фазы, такой как упомянутый в [11, 12, 13], может помочь избежать нежелательного подавления сигналов; но все же ввиду выполнения процедуры простого суммирования выравненных по фазе сигналов могут возникать искажения гребенчатого фильтра и подавление, если фазы не были оценены надлежащим образом. Кроме того, устойчивое оценивание фазовых соотношений между двумя сигналами является непростой задачей и требует интенсивных вычислений, особенно, если оно выполняется более чем для двух сигналов.

Целью настоящего изобретения является создание усовершенствованной концепции понижающего микширования множества входных сигналов в сигнал понижающего микширования.

Данная цель достигается с помощью устройства по п. 1, системы по п. 16, способа по п. 17 или компьютерной программы по п. 18.

Предлагается устройство обработки звуковых сигналов для понижающего микширования первого входного сигнала и второго входного сигнала в сигнал понижающего микширования, причем первый входной сигнал () и второй входной сигнал (), по меньшей мере, частично коррелированы, содержащее:

блок выделения несходства, выполненный с возможностью приема первого входного сигнала и второго входного сигнала, а также вывода выделенного сигнала, который менее коррелирован по отношению к первому входному сигналу, чем второй входной сигнал, и

блок объединения, выполненный с возможностью объединения первого входного сигнала и выделенного сигнала с целью получения сигнала понижающего микширования.

В настоящем документе устройство описывается в частотно-временной области, но все соображения верны также для сигналов во временной области. Первый входной сигнал и второй входной сигнал являются сигналами, подлежащими микшированию, причем первый входной сигнал служит в качестве опорного сигнала. Оба сигнала подаются на блок выделения несходства, причем коррелированные составляющие второго входного сигнала по отношению ко второму входному сигналу режектируются, и только некоррелированные составляющие второго входного сигнала пропускаются на выход блока выделения.

Усовершенствование предлагаемой концепции состоит в том, как микшируются сигналы. На первом этапе выбирается один сигнал, служащий в качестве опорного сигнала. Затем определяется, какая составляющая опорного сигнала уже имеется в другом, и только те составляющие, которые отсутствуют в опорном сигнале (т.е., некоррелированный сигнал), суммируются с опорным сигналом для получения сигнала понижающего микширования. Поскольку только слабокоррелированные или некоррелированные составляющие по отношению к опорному сигналу объединяются с опорным сигналом, риск внесения эффектов гребенчатого фильтра минимизируется.

Таким образом, предлагается новая концепция микширования двух сигналов в один сигнал понижающего микширования. Новый способ направлен на предотвращение создания искажений понижающего микширования, подобных гребенчатой фильтрации. Кроме того, предлагаемый способ является вычислительно эффективным.

В некоторых вариантах осуществления данного изобретения блок объединения содержит систему масштабирования энергии, выполненную таким образом, что соотношение энергии понижающего микширования и суммарных энергий первого входного сигнала и второго входного сигнала не зависит от корреляции первого входного сигнала и второго входного сигнала. Такое устройство масштабирования энергии может обеспечивать сохранение энергии в процессе понижающего микширования (т.е., сигнал понижающего микширования содержит то же количество энергии, что и исходный стереосигнал) или, по меньшей мере, неизменность воспринимаемого звука независимо от корреляции первого входного сигнала и второго входного сигнала.

В вариантах осуществления данного изобретения система масштабирования энергии содержит первое устройство масштабирования энергии, выполненное с возможностью масштабирования первого входного сигнала на основе первого коэффициента масштабирования с целью получения масштабированного входного сигнала.

В некоторых вариантах осуществления данного изобретения система масштабирования энергии содержит блок предоставления первого коэффициента масштабирования, выполненный с возможностью предоставления первого коэффициента масштабирования, причем блок предоставления первого коэффициента масштабирования предпочтительно выполнен в виде процессора, выполненного с возможностью вычисления первого коэффициента масштабирования в зависимости от первого входного сигнала, второго входного сигнала, выделенного сигнала и/или коэффициента масштабирования для выделенного сигнала. Во время понижающего микширования опорный сигнал (первый входной сигнал) может масштабироваться для сохранения общего уровня энергии или для поддержания уровня энергии независимым от корреляции входных сигналов автоматически.

В вариантах осуществления данного изобретения система масштабирования энергии содержит второе устройство масштабирования энергии, выполненное с возможностью масштабирования выделенного сигнала на основе второго коэффициента масштабирования с целью получения масштабированного выделенного сигнала.

В некоторых вариантах осуществления данного изобретения система масштабирования энергии содержит блок предоставления второго коэффициента масштабирования, выполненный с возможностью предоставления второго коэффициента масштабирования, причем блок предоставления второго коэффициента масштабирования предпочтительно выполнен в виде интерфейса человек-машина, выполненного с возможностью ручного ввода второго коэффициента масштабирования.

Второй коэффициент масштабирования можно рассматривать как эквалайзер. Как правило, он может выполняться частотно-зависимым, а в предпочтительных вариантах осуществления - вручную звукооператором. Разумеется, возможно множество различных соотношений при микшировании, и они существенно зависят от опыта и/или вкуса звукооператора.

В соответствии с другим вариантом, блок предоставления второго коэффициента масштабирования выполнен в виде процессора, выполненного с возможностью вычисления первого коэффициента масштабирования в зависимости от первого входного сигнала, второго входного сигнала и/или выделенного сигнала.

В некоторых вариантах осуществления данного изобретения блок объединения содержит устройство суммирования для вывода сигнала понижающего микширования на основе первого входного сигнала и на основе выделенного сигнала. Поскольку только слабокоррелированные или даже некоррелированные составляющие по отношению к опорному сигналу добавляются к опорному сигналу, риск внесения эффектов гребенчатого фильтра минимизируется. Кроме того, использование устройства суммирования является вычислительно эффективным.

В некоторых вариантах осуществления данного изобретения блок выделения несходства содержит блок оценки сходства, выполненный с возможностью предоставления коэффициентов фильтрации для получения составляющих первого входного сигнала, присутствующих во втором входном сигнале, из первого входного сигнала, и блок уменьшения сходства, выполненный с возможностью уменьшения составляющих первого входного сигнала, присутствующих во втором входном сигнале, на основе коэффициентов фильтрации. В таких реализациях блок выделения несходства состоит из двух субкаскадов: блока оценки сходства и блока уменьшения сходства. Первый входной сигнал и второй входной сигнал подаются в каскад оценки сходства, в котором составляющие первого входного сигнала, присутствующие во втором входном сигнале, оцениваются и представляются в виде результирующих коэффициентов фильтрации. Коэффициенты фильтрации, первый входной сигнал и второй входной сигнал подаются в блок уменьшения сходства, в котором составляющие второго входного сигнала, аналогичные первому входному сигналу, соответственно, подавляются и/или нейтрализуются. Результатом этого является выделенный сигнал, представляющий собой оценку для некоррелированной составляющей второго входного сигнала по отношению к первому входному сигналу.

В некоторых вариантах осуществления данного изобретения блок уменьшения сходства содержит каскад нейтрализации, который включает в себя устройство нейтрализации сигналов, выполненное с возможностью вычитания получаемых составляющих первого входного сигнала, присутствующих во втором входном сигнале, либо сигнала, формируемого из извлекаемых составляющих, из второго входного сигнала или из сигнала, извлекаемого из второго входного сигнала. Данная концепция относится к способу, используемому в объекте адаптивной нейтрализации шума, но с той разницей, что он не используется, как первоначально предполагается, для нейтрализации шума или некоррелированной компоненты, а вместо этого используется для нейтрализации коррелированной составляющей, результатом чего является выделенный сигнал.

В некоторых вариантах осуществления данного изобретения каскад нейтрализации содержит устройство комплексной фильтрации, выполненное с возможностью фильтрации первого входного сигнала с помощью комплекснозначных коэффициентов фильтрации. Преимущество данного подхода состоит в том, что могут моделироваться фазовые сдвиги.

В некоторых вариантах осуществления данного изобретения каскад нейтрализации содержит фазосдвигающее устройство, выполненное с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала. При противоположных фазах между первым входным сигналом и вторым входным сигналом помимо внезапных падений сигнала первого входного сигнала в сигнале понижающего микширования могут возникать скачки фазы и эффекты нейтрализации сигнала. Данный эффект может быть существенно уменьшен путем выравнивания фазы второго входного сигнала по отношению к первому входному сигналу. Такой каскад нейтрализации может называться каскадом нейтрализации с выравниваем с противоположной фазой.

В некоторых вариантах осуществления данного изобретения блок уменьшения сходства содержит каскад подавления сигнала, включающий в себя устройство подавления сигнала, выполненное с возможностью умножения второго входного сигнала на коэффициент усиления подавления с целью получения выделенного сигнала. Экспериментально обнаружено, что с помощью этих признаков могут быть уменьшены звуковые искажения из-за ошибок оценки коэффициентов фильтрации.

В некоторых вариантах осуществления данного изобретения каскад подавления сигнала содержит фазосдвигающее устройство, выполненное с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала. Коэффициенты усиления подавления являются вещественнозначными и, следовательно, не оказывают никакого влияния на фазовые соотношения двух входных сигналов, но, поскольку так или иначе должны оцениваться комплекснозначные коэффициенты фильтрации, может быть получена дополнительная информация об относительной фазе между входными сигналами. Эта информация может использоваться для выравнивания фазы второго входного сигнала по отношению к первому входному сигналу. Это может осуществляться в каскаде подавления сигнала перед применением коэффициентов усиления подавления, причем фаза второго входного сигнала сдвигается на расчетную фазу комплекснозначных коэффициентов фильтрации, указанных выше. Такой каскад подавления может называться каскадом подавления с выравниваем с противоположной фазой.

В некоторых вариантах осуществления данного изобретения выходной сигнал каскада нейтрализации подается на вход каскада подавления сигнала с целью получения выделенного сигнала, либо выходной сигнал каскада подавления сигнала подается на вход каскада нейтрализации с целью получения выделенного сигнала. Для дополнительного повышения качества сигнала понижающего микширования может использоваться комбинированный подход использования нейтрализации, а также подавления компонентов когерентного сигнала. Полученный в результате сигнал понижающего микширования может быть получен путем сначала выполнения процедуры нейтрализации, а затем применения процедуры подавления. В других вариантах осуществления полученный в результате сигнал понижающего микширования может быть получен путем сначала выполнения процедуры подавления, а затем применения процедуры нейтрализации. Таким образом, составляющие в выделенном сигнале, которые коррелированы с первым сигналом, могут быть дополнительно уменьшены. Выделенный сигнал, а также первый входной сигнал могут, как и раньше, масштабироваться по энергии.

В некоторых вариантах осуществления данного изобретения составляющие первого входного сигнала, присутствующие во втором входном сигнале, взвешиваются перед вычитанием из второго входного сигнала в зависимости от весового коэффициента. Весовой коэффициент, как правило, может быть зависимым от времени и частоты, но может также выбираться постоянным. В некоторых вариантах осуществления при этом может использоваться также модуль подавления с выравниваем с противоположной фазой с незначительной модификацией: взвешивание с весовым коэффициентом должно осуществляться аналогичным образом после фильтрации с абсолютным значением коэффициентов фильтрации.

В некоторых вариантах осуществления данного изобретения фазосдвигающее устройство выполнено с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала в зависимости от весового коэффициента.

В некоторых вариантах осуществления данного изобретения фазосдвигающее устройство выполнено с возможностью выравнивания фазы второго входного сигнала только с фазой первого входного сигнала, если весовой коэффициент меньше или равен предварительно заданного порога.

Данное изобретение дополнительно относится к системе обработки звуковых сигналов для понижающего микширования множества входных сигналов в сигнал понижающего микширования, содержащей, по меньшей мере, первое устройство в соответствии с изобретением и второе устройство в соответствии с изобретением, причем сигнал понижающего микширования первого устройства подается на второе устройство в качестве первого входного сигнала или в качестве второго входного сигнала. Для понижающего микширования множества входных каналов может использоваться последовательное включение множества двухканальных устройств понижающего микширования.

Кроме того, данное изобретение относится к способу понижающего микширования первого входного сигнала и второго входного сигнала в сигнал понижающего микширования, включающему в себя этапы:

оценки некоррелированного сигнала, который является составляющей второго входного сигнала и который является некоррелированным по отношению к первому входному сигналу, и

суммирования первого входного сигнала и некоррелированного сигнала с целью получения сигнала понижающего микширования.

Кроме того, данное изобретение относится к компьютерной программе для реализации способа в соответствии с изобретением при исполнении в компьютере или процессоре сигналов.

Предпочтительные варианты осуществления рассматриваются ниже применительно к прилагаемым чертежам, на которых:

фиг. 1 иллюстрирует первый вариант осуществления устройства обработки звуковых сигналов;

фиг. 2 подробнее иллюстрирует первый вариант осуществления;

фиг. 3 иллюстрирует блок уменьшения сходства и блок объединения первого варианта осуществления;

фиг. 4 иллюстрирует блок уменьшения сходства второго варианта осуществления;

фиг. 5 иллюстрирует блок уменьшения сходства и блок объединения третьего варианта осуществления;

фиг. 6 иллюстрирует блок уменьшения сходства четвертого варианта осуществления;

фиг. 7 иллюстрирует блок уменьшения сходства и блок объединения пятого варианта осуществления;

фиг. 8 иллюстрирует блок уменьшения сходства и блок объединения шестого варианта осуществления; и

фиг. 9 иллюстрирует последовательное включение множества устройств обработки звуковых сигналов.

На фиг. 1 приведено высокоуровневое системное описание предлагаемого нового устройства 1 понижающего микширования. Устройство описывается в частотно-временной области, где k и m соответствуют показателям частоты и времени соответственно, но все соображения верны также для сигналов во временной области. Первый входной сигнал и второй входной сигнал являются входными сигналами, подлежащими микшированию, причем первый входной сигнал служит в качестве опорного сигнала. Оба сигнала и подаются на блок 2 выделения несходства, причем коррелированные составляющие в отношении и режектируются или, по меньшей мере, уменьшаются, и только некоррелированный сигнал или некоррелированные составляющие выделяются и пропускаются на выход блока выделения. Затем первый входной сигнал масштабируется с помощью первого устройства 4 масштабирования энергии для удовлетворения некоторому предварительно задаваемому ограничению по энергии, результатом чего является масштабированный опорный сигнал . Необходимые коэффициенты масштабирования предоставляются источником 5 предоставления коэффициента масштабирования. Выделенная составляющая может также масштабироваться с помощью второго устройства 6 масштабирования энергии, результатом чего является масштабированная некоррелированная составляющая . Соответствующие коэффициенты масштабирования предоставляются вторым источником 7 предоставления коэффициента масштабирования. Коэффициенты масштабирования могут определяться предпочтительно вручную звукооператором. Оба масштабированных сигнала и суммируются с помощью устройства 8 суммирования для формирования требуемого сигнала понижающего микширования.

На фиг. 2 приведено среднеуровневое системное описание предлагаемого устройства 1. В некоторых реализациях блок 2 выделения несходства состоит из двух субкаскадов: блока 9 оценки сходства и блока 10 уменьшения сходства, как показано на фиг. 2. Первый входной сигнал и второй входной сигнал подаются в каскад 9 оценки сходства, в котором составляющие , присутствующие в , оцениваются и представляются в виде результирующих коэффициентов фильтрации, где , а L - длина фильтра. Коэффициенты фильтрации, первый входной сигнал и второй входной сигнал подаются в блок 10 уменьшения сходства, в котором составляющие , аналогичные , соответственно, по меньшей мере, подавляются и/или нейтрализуются. Результатом этого является остаточный сигнал , представляющий собой оценку для некоррелированной составляющей по отношению к .

В модели сигнала предполагается, что второй входной сигнал является смесью взвешенной или фильтрованной версии первого входного сигнала и изначально неизвестного независимого сигнала с . Таким образом, считается, что состоит из суммы коррелированной и некоррелированной составляющей в отношении :

=+. (1)

Заглавные буквы означают преобразованные по частоте сигналы, а k и m являются показателями частоты и времени соответственно. Теперь требуемый сигнал понижающего микширования можно определить следующим образом:

, (2)

где - оценка , и где и - коэффициенты масштабирования для регулирования энергий опорного сигнала и выделенной составляющей другого входного сигнала в соответствии с предварительно задаваемыми ограничениями. Кроме того, они могут использоваться для выравнивания сигналов. В некоторых сценариях это может оказаться необходимым, особенно, для . В оставшейся части данного документа частотно-временные показатели будут для ясности исключены.

Первостепенной задачей является получение составляющей , которая не коррелирована с . Это может осуществляться с помощью способа, используемого в объекте адаптивной нейтрализации шума, но с той разницей, что он не используется, как первоначально предполагается, для нейтрализации шума или некоррелированной компоненты, а вместо этого используется для нейтрализации коррелированной составляющей, результатом чего является оценка или .

На фиг. 3 изображен блок 10 уменьшения сходства, содержащий каскад 10а нейтрализации, и блок 3 объединения первого варианта осуществления такой системы. Преимущество данного подхода состоит в том, что допускается комплексное значение , и, следовательно, могут моделироваться фазовые сдвиги.

(3)

Для определения необходим расчетный комплексный коэффициент усиления для изначально неизвестного комплексного коэффициента усиления. Это осуществляется путем минимизации энергии выделенного сигнала в минимальном среднеквадратическом (MMS) смысле:

(4)

Приравнивание частной производной от по нулю в результате дает требуемые коэффициенты фильтрации, т.е.:

(5)

. (6)

В одном варианте осуществления модуль 10а нейтрализации, выделенный на фиг. 3 серым пунктирным прямоугольником, может быть заменен блоком 10а’ нейтрализации с выравниваем с противоположной фазой, как изображено на фиг. 4, причем каскад 10а’ нейтрализации содержит фазосдвигающее устройство 13, выполненное с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала , и устройство 11’ абсолютной фильтрации, выполненное с возможностью фильтрации выровненного первого входного сигнала путем использования абсолютнозначных коэффициентов фильтрации.

При противоположных фазах первого входного сигнала и второго входного сигнала помимо внезапных падений сигнала первого входного сигнала в сигнале понижающего микширования могут возникать скачки фазы и эффекты нейтрализации сигнала. Данный эффект может быть существенно уменьшен путем выравнивания фазы второго входного сигнала по отношению к фазе первого входного сигнала . Кроме того, именно абсолютное значение используется для выполнения фильтрации , а поэтому и нейтрализации.

Фиг. 5 иллюстрирует блок 10 уменьшения сходства и блок 3 объединения третьего варианта осуществления, причем блок 10 уменьшения сходства содержит каскад 10b подавления сигнала, включающий в себя устройство 14 подавления сигнала, выполненное с возможностью умножения второго входного сигнала на коэффициент усиления подавления (G) с целью получения выделенного сигнала .

На практике выделенный сигнал , получаемый с помощью (3), может содержать звуковые искажения из-за ошибок оценки в комплексном коэффициенте усиления. В качестве альтернативы может быть сформирован блок 9 оценки (см. фиг. 2) для получения оценки величины в смысле минимальной среднеквадратической ошибки (MMSE). На фиг. 5 показана блок-схема предлагаемого подхода.

Выделенный сигнал при этом описывается следующим образом:

(8)

(9)

Приравнивание частной производной от по нулю в результате дает требуемые коэффициенты усиления:

(10)

(11)

В соответствии с (12), мы может заменить энергию суммой энергий фильтрованной версии и некоррелированного сигнала :

(12)

Для коэффициентов G усиления это в результате дает

(13)

при этом является априорным ОСШ (отношением сигнал-шум) . Комплексные коэффициенты усиления определяются с помощью (6).

В одном варианте осуществления модуль 10b подавления, выделенный на фиг. 5 пунктирным серым прямоугольником, может быть заменен модулем 10b’ нейтрализации с выравниванием с противоположной фазой, который содержит фазосдвигающее устройство 15, выполненное с возможностью выравнивания фазы второго входного сигнала с фазой первого входного сигнала .

Фиг. 6 иллюстрирует блок 10b’ уменьшения сходства, включающий в себя такое фазосдвигающее устройство 15, в качестве четвертого варианта осуществления изобретения. Коэффициенты G усиления подавления являются вещественнозначными и, следовательно, не оказывают никакого влияния на фазовые соотношения двух входных сигналов и . Но, поскольку так или иначе должны оцениваться коэффициенты фильтрации, может быть получена дополнительная информация об относительной фазе между входными сигналами. Эта информация может использоваться для выравнивания фазы по отношению к фазе . Это осуществляется в блоке 10b’ подавления с выравниванием с противоположной фазой; перед применением коэффициентов G усиления подавления фаза сдвигается на расчетную фазу . При использовании выравнивания фазы сигнал может быть выражен следующим образом:

(14)

откуда видно, что остаточная компонента в находится в фазе по отношению к при условии, что оценивается правильно.

Комбинированный подход использования нейтрализации, а также подавления компонентов когерентного сигнала изображен на фиг. 7, на котором выходной сигнал каскада 10а нейтрализации подается на вход каскада 10b подавления сигнала с целью получения выделенного сигнала . Каскад 10а нейтрализации содержит взвешивающее устройство, выполненное с возможностью взвешивания получаемых составляющих первого входного сигнала , присутствующих во втором входном сигнале .

В данном случае сигнал понижающего микширования получается путем сначала выполнения процедуры взвешенной нейтрализации, а затем применения коэффициента усиления подавления. Полученный в результате сигнал , а также , как и раньше, масштабируются по энергии. Ввиду весового коэффициента γ сигнал после каскада нейтрализации все еще содержит некоторые составляющие, коррелированные с . Чтобы дополнительно уменьшить указанные составляющие, мы извлекаем коэффициент G_c усиления подавления для комбинированного подхода:

, (15)

(16)

(17)

(18)

Параметр γ, как правило, может быть зависимым от времени и частоты, но может также выбираться постоянным. Один из возможных вариантов определения зависящего от времени и частоты γ:

(19)

Фиг. 8 иллюстрирует блок 10 уменьшения сходства и блок 3 объединения шестого варианта осуществления. В соответствии с данным вариантом осуществления, нормированная взаимная корреляция в (19) подается в качестве входных данных в функцию преобразования, выходные данные которой могут использоваться для определения фактических значений γ. Для преобразования может использоваться логистическая функция, которая может быть определена следующим образом:

(20)

где i обозначает входные данные, и - верхняя и нижняя асимптота, R - скорость роста, υ>0 влияет на максимальную скорость роста вблизи асимптоты, f₀ задает выходное значение для f(0), а М - точка i данных максимального роста. В таком варианте осуществления γ определяется следующим образом:

(21)

В одном варианте осуществления при этом может использоваться также модуль 10a’ нейтрализации с выравниванием с противоположной фазой с незначительной модификацией. Взвешивание с γ должно осуществляться аналогичным образом после фильтрации с абсолютным значением .

Шестой вариант осуществления, изображенный на фиг. 8, включает в себя более сложное применение обработки противоположной фазы. Это влияет только на частотно-временные элементы дискретизации, которые преобразовывались преимущественно для подавления, т.е., γ находится ниже некоторого порога . По этой причине вводится флаг F, определяемый следующим образом:

. (22)

В одном варианте осуществления при этом может использоваться также модуль 10a’ нейтрализации с выравниванием с противоположной фазой с незначительной модификацией. Взвешивание с γ должно осуществляться аналогичным образом после фильтрации с абсолютным значением .

В некоторых вариантах осуществления блок 7 предоставления коэффициента масштабирования предоставляет , с помощью которого может регулироваться количество энергии некоррелированного сигнала по отношению к , вносящее вклад в сигнал понижающего микширования. Указанные коэффициенты масштабирования могут рассматриваться как эквалайзер. Как правило, он выполняется частотно-зависимым, а в предпочтительном варианте осуществления - вручную звукооператором. Разумеется, возможно множество различных соотношений при микшировании, и они существенно зависят от опыта и/или вкуса звукооператора. В соответствии с другим вариантом, коэффициенты масштабирования могут являться функцией сигналов , и .

В некоторых вариантах осуществления блок 4 предоставления коэффициента масштабирования предоставляет , с помощью которого может регулироваться количество энергии первого входного сигнала , вносящее вклад в сигнал понижающего микширования. Если процесс понижающего микширования должен являться сохраняющим энергию (т.е., сигнал понижающего микширования содержит то же количество энергии, что и исходный стереосигнал), либо, по меньшей мере, если воспринимаемый уровень звука должен оставаться неизменным, требуется дополнительная обработка. Нижеследующий анализ излагается с целью поддержания воспринимаемого уровня звука отдельных составляющих в сигнале понижающего микширования постоянными. В предпочтительном варианте осуществления энергия масштабируется в соответствии с проведенным анализом энергии оптимального понижающего микширования. Можно рассмотреть два сигнала и и предположить, что они являются высоко коррелированными, как это было бы, например, для источника с амплитудным панорамированием при . Сигнал может быть выражен в виде , так что сигнал понижающего микширования в результате дает:

(23)

Энергия описывается следующим образом:

(24)

Теперь предположим, что два сигнала являются полностью некоррелированными при . Сигнал понижающего микширования в результате дает:

(25)

Энергия описывается следующим образом:

(26)

Из этого анализа видно, что энергия оптимального понижающего микширования коррелированных составляющих в результате дает:

, (27)

причем соответствует в (23), а для некоррелированных составляющих должно осуществляться простое суммирование энергии. Окончательная энергия оптимального понижающего микширования применительно к модели предполагаемого сигнала и требуемому сигналу понижающего микширования в (1) и (2) при этом в результате дает:

(28)

Для того, чтобы и содержали одинаковое количество энергии, мы вводим коэффициенты и масштабирования энергии, причем последний из двух предоставляется блоком предоставления U2 коэффициента масштабирования. Фактический сигнал понижающего микширования вычисляется следующим образом:

. (29)

С учетом энергии оптимального понижающего микширования и мы можем теперь получить следующим образом:

(30)

(31)

(32)

При использовании (12) средняя часть уравнения (32) отожествляется как

,

поэтому оно приобретает вид:

. (33)

Для понижающего микширования множества входных каналов , , может использоваться последовательное включение множества двухканальных каскадов 1 понижающего микширования. На фиг. 9 приведен пример для трех входных сигналов , , .

Окончательный сигнал понижающего микширования для двухкаскадной системы в результате дает следующее:

(34)

Вариант осуществления данного изобретения имеет следующие основные признаки:

- Рассмотрение как опорного сигнала и рассмотрение как смеси фильтрованной версии и, следовательно, коррелированной составляющей и некоррелированной составляющей в отношении .

- Разделение/Разложение на свои две вышеуказанные составляющие. Выделение несходства и посредством

- оценки сходства и , что в результате дает коэффициент фильтрации, и

- уменьшения сходства путем либо нейтрализации, либо подавления коррелированных составляющих, либо комбинации указанного, что в результате дает расчетную некоррелированную составляющую .

- Масштабирование по энергии для удовлетворения предварительно заданного уровня энергии.

- Масштабирование по энергии.

- Суммирование масштабированных по энергии сигналов для формирования требуемого сигнала понижающего микширования.

- Обработка в диапазонах частот.

Факультативные признаки реализации:

- Подавление с выравниванием с противоположной фазой или нейтрализация с выравниванием с противоположной фазой.

- Последовательное включение двух или более блоков понижающего микширования для выполнения многоканального понижающего микширования.

- Только частично применяемое подавление с выравниванием с противоположной фазой.

Несмотря на то, что некоторые аспекты описаны применительно к устройству, понятно, что эти аспекты также представляют описание соответствующего способа, причем блок или устройство соответствует этапу способа или признаку этапа способа. Аналогичным образом, аспекты, описываемые применительно к этапу способа, также представляют описание соответствующего блока, либо элемента, либо признака соответствующего устройства.

В зависимости от определенных требований к реализации варианты осуществления данного изобретения могут быть реализованы в аппаратных средствах или в программных средствах. Реализация может быть выполнена с помощью энергонезависимой запоминающей среды, такой как цифровая запоминающая среда, например, гибкий диск, универсальный цифровой диск (DVD), Blu-Ray, компакт-диск (CD), постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электрически стираемое программируемое постоянное запоминающее устройство (EEPROM) или флэш-память, содержащей хранящиеся в ней электронно-считываемые управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой вычислительной системой таким образом, что осуществляется соответствующий способ. Следовательно, цифровая запоминающая среда может являться машиночитаемой.

Некоторые варианты осуществления в соответствии с данным изобретением включают в себя носитель информации, содержащий электронно-считываемые управляющие сигналы, которые способны взаимодействовать с программируемой вычислительной системой таким образом, что осуществляется один из способов, описываемых в настоящем документе.

Как правило, варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с использованием программного кода, причем программный код действует при осуществлении одного из способов, когда компьютерный программный продукт запущен на компьютере. Программный код может, например, храниться на машиночитаемом носителе.

Другие варианты осуществления включают в себя компьютерную программу для осуществления одного из способов, описываемых в настоящем документе, которая хранится на машиночитаемом носителе.

Иными словами, одним из вариантов осуществления способа в соответствии с изобретением является в этой связи компьютерная программа, содержащая программный код для осуществления одного из способов, описываемых в настоящем документе, когда компьютерная программа исполняется на компьютере.

Еще одним вариантом осуществления способа в соответствии с изобретением является в этой связи носитель информации (либо цифровая запоминающая среда, либо машиночитаемая среда), содержащий записанную на нем компьютерную программу для осуществления одного из способов, описываемых в настоящем документе. Носитель информации, цифровая запоминающая среда или машиночитаемая среда, как правило, являются материальными и/или энергонезависимыми.

Еще одним вариантом осуществления способа в соответствии с изобретением является в этой связи информационный поток или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описываемых в настоящем документе. Информационный поток или последовательность сигналов может, например, быть выполнен с возможностью передачи посредством соединения для передачи информации, например, посредством интернета.

Еще один вариант осуществления включает в себя средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью - или приспособленное для - осуществления одного из способов, описываемых в настоящем документе.

Еще один вариант осуществления включает в себя компьютер, содержащий установленную на него компьютерную программу для осуществления одного из способов, описываемых в настоящем документе.

Еще один вариант осуществления в соответствии с данным изобретением содержит устройство или систему, выполненную с возможностью переноса (например, электронным или оптическим образом) компьютерной программы для осуществления одного из способов, описываемых в настоящем документе, на приемник. Приемник может, например, представлять собой компьютер, мобильное устройство, запоминающее устройство или подобное им. Устройство или система может, например, содержать файловый сервер для переноса компьютерной программы на приемник.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для осуществления некоторых или всех функциональных возможностей способов, описываемых в настоящем документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором с целью осуществления одного из способов, описываемых в настоящем документе. Как правило, способы предпочтительно осуществляются любым аппаратным устройством.

Вышеописанные варианты осуществления всего лишь иллюстрируют принципы настоящего изобретения. Понятно, что специалистам будут очевидны другие варианты конструкций и деталей, описываемых в настоящем документе. В этой связи предполагается ограничиться только объемом излагаемой ниже формулы изобретения, а не конкретными деталями, представленными в настоящем документе с целью описания и объяснения вариантов осуществления.

ССЫЛОЧНЫЕ ПОЗИЦИИ

1 устройство обработки звуковых сигналов

2 блок выделения несходства

3 блок объединения

4 первое устройство масштабирования энергии

5 первый блок предоставления коэффициента масштабирования

6 второе устройство масштабирования энергии

7 второй блок предоставления коэффициента масштабирования

8 устройство суммирования

9 блок оценки сходства

10 блок уменьшения сходства

10а каскад нейтрализации

10а’ каскад нейтрализации

10b каскад подавления

10b’ каскад подавления

11 устройство комплексной фильтрации

11’ устройство абсолютной фильтрации

12 устройство нейтрализации сигналов

13 фазосдвигающее устройство

14 устройство подавления

15 фазосдвигающее устройство

16 взвешивающее устройство

первый входной сигнал

второй входной сигнал

сигнал понижающего микширования

выделенный сигнал

первый коэффициент масштабирования

первый масштабированный входной сигнал

коэффициенты фильтрации

составляющие первого входного сигнала, присутствующие во втором входном сигнале ()

сигнал, извлекаемый из второго входного сигнала

γ весовой коэффициент

взвешенные составляющие первого входного сигнала, присутствующие во втором входном сигнале ()

ССЫЛОЧНЫЕ МАТЕРИАЛЫ

[1] ITU-R BS.775-2, «Многоканальная стереофоническая система звуковоспроизведения с сопроводительным изображением и без него», 07/2006.

[2] R. Dressler, (05.08.2004) Принципы работы декодера Dolby Surround Pro Logic II. [Опубликовано в сети]. Доступно по адресу:

http://www.dolby.com/uploadedFiles/Assets/US/Doc/ProfessionPr/209_Dolby_Surround_Pro_Logic_II_Decoder_Principles_of_Operation.pdf.

[3] K. Lopatka, B. Kunka и A. Czyzewski, «Новый алгоритм 5.1 понижающего микширования с повышенной разборчивостью диалогов», в материалах 134-й Конвенции AES, 2013 г.

[4] J. Breebaart, K.S. Chong, S. Disch, C. Faller, J. Herre, J. Hilpert, K. Kjörling, J. Koppens, K. Linzmeier, W. Oomen, H. Purnhagen и J. Rödén, «MPEG Surround - стандарт ISO/MPEG для эффективного и совместимого многоканального звукового кодирования», журнал Общества инженеров по звуковой технике, т. 56, № 11, с. 932-955, 2007 г.

[5] M. Neuendorf, M. Multrus, N. Rellerbach, R.J. Fuchs Guillaume, J. Lecomte, Wilde Stefan, S. Bayer, S. Disch, C. Helmrich, R. Lefebvre, P. Gournay, B. Bessette, J. Lapierre, K. Kjörling, H. Purnhagen, L. Villemoes, W. Oomen, E. Schuijers, K. Kikuiri, T. Chinen, T. Norimatsu, C.K. Seng, E. Oh, M. Kim, S. Quackenbush и B. Grill, «Унифицированное кодирование речи и звука MPEG - стандарт ISO/MPEG для высокоэффективного звукового кодирования контента всех типов», журнал Общества инженеров по звуковой технике, т. 132-й конвенции, 2012 г.

[6] C. Faller и F. Baumgarte, «Кодирование стереофонических звуковых сигналов - часть II: схемы и применения», Труды IEEE по обработке речи и звука, т. 11, № 6, с. 520-531, 2003 г.

[7] F. Baumgarte, «Частотная коррекция для микширования звуковых сигналов», Патент США 7.039.204 В2, 2003 г.

[8] J. Thompson, A. Warner и B. Smith, «Усовершенствование активного многоканального понижающего микширования для минимизации пространственных и спектральных искажений», в материалах 127-й Конвенции AES, октябрь 2009 г.

[9] G. Stoll, J. Groh, M. Link, J. Deigmöller, B. Runow, M. Keil, R. Stoll, M. Stoll и C. Stoll, «Способ генерирования совместимого сверху вниз формата звука», Патент США US2012/0 014 526, 2012 г.

[10] B. Runow и J. Deigmöller, «Optimierter Stereo-Dowmix von 5.1-Mehrkanalproduktionen: Оптимизированное стереоскопическое понижающее микширование многоканального звукопроизводства 5.1», в 25. Tonmeistertagung - Международная Конвенция VDT, 2008 г.

[11] Samsudin, E. Kurniawati, Ng Boon Poh, F. Sattar и S. George, «Схема понижающего микширования из стерео в моно для параметрического стереокодера MPEG-4», Международная конференция IEEE по акустике и обработке речи и сигналов 2006 года, 2006 г., Труды ICASSP 2006 года, т. 5, 2006 г., с. V.2.

[12] M. Kim, E. Oh и H. Shim, «Стереоскопическое звуковое кодирование, усовершенствованное с помощью фазовых параметров», в материалах 129-й Конвенции AES, 2010 г.

[13] W. Wu, L. Miao, Y. Lang и D. Virette, «Схема параметрического стереокодирования с новым методом понижающего микширования и межканальными сдвигами по времени/фазе во всем диапазоне», Труды IEEE по акустике и обработке речи и сигналов, с. 556-560, 2013 г.