Результат интеллектуальной деятельности: ГЕНЕРАЦИЯ ДЕКОРРЕЛИРОВАННЫХ СИГНАЛОВ

Настоящее изобретение относится к устройству и способу генерации декоррелированных сигналов и, более конкретно, к возможности получения декоррелированных сигналов из сигнала, содержащего переходные процессы, таким образом, что восстановление четырехканального аудиосигнала и/или будущей комбинации декоррелированного сигнала и переходного сигнала не будет приводить ни к какому прослушиваемому искажению сигнала.

Многие приложения в области обработки аудиосигнала требуют генерации декоррелированного сигнала, основываясь на предоставленном аудиовходном. В качестве примеров этого можно назвать стерео up-mix (повышающее микширование) моносигнала, четырехканальное повышающее микширование, основанное на моно- или стереосигнале, генерацию искусственной реверберации или расширение базы стерео.

Современные способы и/или системы испытывают недостаток от обширного ухудшения качества и/или воспринимаемого звукового впечатления, когда сталкиваются со специальным классом сигналов (подобные аплодисментам сигналы). Это, в частности, имеет место, когда воспроизведение осуществляется через наушники. В дополнение к этому стандартные декорреляторы используют методы, проявляющие высокую сложность и/или высокие вычислительные затраты.

Для пояснения проблемы фиг.7 и 8 показывают использование декорреляторов в обработке сигнала. Здесь дается краткая ссылка на декодер моно-стерео, показанный на фиг.7.

Он содержит стандартный декоррелятор 10 и матрицу 12 микширования. Декодер моно-стерео служит для того, чтобы преобразовать подаваемый моносигнал 14 в стереосигнал 16, состоящий из левого канала 16a и правого канала 16b. Из подаваемого моносигнала 14 стандартный декоррелятор 10 генерирует декоррелированный сигнал 18 (D), который, вместе с подаваемым моносигналом 14, подается на входы матрицы 12 микширования. В этом контексте необработанный моносигнал часто также упоминается как "сухой" сигнал, тогда как декоррелированный сигнал D упоминается как "влажный" сигнал.

Матрица 12 микширования объединяет декоррелированный сигнал 18 и подаваемый моносигнал 14, чтобы генерировать стереосигнал 16. Здесь, коэффициенты матрицы 12 (H) микширования могут быть либо фиксированно заданными, зависимыми от сигнала или зависимыми от пользовательского ввода. Кроме того, этот процесс микширования, выполняемый матрицей 12 микширования, может также быть частотно-селективным. То есть различные операции микширования и/или матричные коэффициенты могут использоваться для различных частотных диапазонов (полос частот). С этой целью, подаваемый моносигнал 14 может быть предварительно обработан банком фильтров так, что он вместе с декоррелированным сигналом 18 присутствует в представлении банка фильтров, в котором составляющие сигнала, имеющие отношение к различным диапазонам частот, обрабатываются каждый отдельно.

Контроль процесса повышающего микширования, то есть коэффициентов матрицы 12 микширования, может быть выполнен пользовательским взаимодействием через средство 20 контроля микширования. Кроме того, коэффициенты матрицы 12 (H) микширования могут также быть реализованы посредством так называемой "побочной информации", которая передается вместе с подаваемым моносигналом 14 (downmix - понижающее микширование). Здесь, побочная информация содержит параметрическое описание относительно того, как генерируемый многоканальный сигнал должен генерироваться из подаваемого моносигнала 14 (передаваемый сигнал). Эта пространственная побочная информация типично генерируется кодирующим устройством до фактического понижающего микширования, то есть генерацией подаваемого моносигнала 14.

Вышеописанный процесс обычно используется в параметрическом (пространственном) аудиокодировании. В качестве примера, так называемое "Parametric Stereo" ("параметрическое стерео") кодирование (H. Purnhagen: "Low Complexity Parametric Stereo Coding in MPEG-4", 7^th International Conference on Audio Effects (DAFX-04), Naples, Italy, октябрь 2004 г.) и метод MPEG Surround (объемного звучания) (L. Villemoes, J. Herre, J. Breebaart, G. Hotho, S. Disch, H. Purnhagen, K. Kjörling: "MPEG Surround: The forthcoming ISO standard for spatial audio coding", AES 28^-th International Conference, Pitea, Sweden, 2006 г.) используют такой метод.

Один типичный пример параметрического стереодекодера показан на фиг.8. В дополнение к простому, не частотно-селективному случаю, показанному на фиг.7, декодер, показанный на фиг.6, включает в себя банк 30 фильтров анализа и банк 32 фильтров синтеза. В данном случае декорреляция выполняется частотно-зависимым методом (в спектральной области). Поэтому подаваемый моносигнал 14 сначала расщепляется на сигнальные составляющие для различных частотных диапазонов банком 30 фильтров анализа. То есть для каждого диапазона частот его собственный декоррелированный сигнал генерируется аналогично примеру, описанному выше. В дополнение к подаваемому моносигналу 14 передаются пространственные параметры 34, которые служат для определения или изменения матричных элементов матрицы 12 микширования, чтобы генерировать микшированный сигнал, который посредством банка 32 фильтров синтеза преобразуется назад во временную область, чтобы сформировать стереосигнал 16.

Кроме того, пространственные параметры 34 могут произвольно быть изменены средством контроля 36 параметров, чтобы генерировать сигнал повышающего микширования и/или стереосигнал 16 для различных сценариев воспроизведения различным образом и/или оптимально настраивать качество воспроизведения на соответствующий сценарий. Если пространственные параметры 34 подстраиваются, например, для бинаурального воспроизведения, пространственные параметры 34 могут быть объединены с параметрами бинауральных фильтров, чтобы сформировать параметры, управляющие матрицей 12 микширования. Альтернативно, параметры могут быть изменены прямым пользовательским взаимодействием или другими инструментами и/или алгоритмами (см., например: Breebart, Jeroen; Herre, Jurgen; Jin, Craig; Kjörling, Kristofer; Koppens, Jeroen; Plogisties, Jan; Villemoes, Lars: Multi-Channel Goes Mobile: MPEG Surround Binaural Rendering. AES 29^th International Conference, Seoul, Korea, 2006 г., сентябрь 2-4).

Выход каналов L и R матрицы 12 (H) микширования генерируется из подаваемого моносигнала 14 (M) и декоррелированного сигнала 18 (D), например, следующим образом:

Поэтому часть декоррелированного сигнала 18 (D), содержащаяся в выходном сигнале, подстраивается в матрице 12 микширования. В этом процессе отношение микширования изменяется по времени, основываясь на передаваемых пространственных параметрах 34. Эти параметры могут, например, быть параметрами, описывающими корреляцию двух исходных сигналов (параметры этого вида используются, например, в MPEG кодировании объемного звучания и здесь упоминаются, в числе прочего, как ICC). Кроме того, могут быть переданы параметры, которые переносят отношения энергии двух каналов, присутствующих первоначально, которые содержатся в подаваемом моносигнале 14 (ICLD и/или ICD в MPEG Surround). Альтернативно или в дополнение, матричные элементы могут изменяться посредством прямого пользовательского ввода.

Для генерации декоррелированных сигналов до сих пор использовался ряд различных методов.

Методы Parametric Stereo (параметрическое стерео) и MPEG Surround (объемное звучание) используют фазовые фильтры, т.е. фильтры, пропускающие весь спектральный диапазон, но имеющие спектрально зависимую характеристику фильтра. В бинауральном сигнальном кодировании (BCC, Faller and Baumgarte, C. Faller: "Parametric Coding Of Spatial Audio", Ph.D. thesis, EPFL, 2004 г.) предложена "групповая задержка" для декорреляции. С этой целью зависимая от частоты групповая задержка применяется к сигналу, изменяя фазы в DFT спектре сигнала. Таким образом, различные частотные диапазоны задерживаются на различные периоды времени. Такой метод обычно подпадает под категорию манипуляций фазы.

Кроме того, известно использование простых задержек, то есть фиксированных временных задержек. Этот метод используется для генерации сигналов объемного звучания для задних динамиков в четырехканальной конфигурации, например, чтобы декоррелировать их от фронтальных сигналов, если рассматривается восприятие. Типичной такой матричной системой объемного звучания является система Dolby ProLogic II, которая использует временную задержку от 20 до 40 миллисекунд для задних аудиоканалов. Такая простая реализация может использоваться для создания декорреляции фронтальных и задних динамиков, поскольку это существенно менее важно, если принимается во внимание опыт прослушивания, чем декорреляция левого и правого каналов. Это имеет существенное значение для "ширины" восстановленного сигнала, как воспринимается слушателем (см.: J. Blauert: "Spatial hearing: the psychophysics of human sound localization"; MIT Press, Revised edition, 1997 г.).

Популярные методы декорреляции, описанные выше, обнаруживают следующие существенные недостатки:

- спектральная окраска сигнала (эффект фильтра гребенки),

- пониженная "четкость" сигнала,

- мешающее эхо и эффекты реверберации,

- неудовлетворительно воспринимаемая декорреляция и/или неудовлетворительная ширина аудиоотображения,

- повторяющийся характер звучания.

Здесь изобретение показало, что особенно сигналы, имеющие высокую временную плотность и пространственное распределение переходных событий, которые передаются вместе с широкополосной шумоподобной сигнальной составляющей, представляют сигналы, самые важные для этого типа обработки сигнала. Это в особенности имеет место для подобных аплодисментам сигналов, обладающих вышеупомянутыми свойствами. Причина этого состоит в том, что посредством декорреляции каждый одиночный переходный сигнал (событие) можно "размыть" по времени, тогда как в то же самое время шумоподобный фон воспроизводится спектрально окрашенным из-за эффектов фильтра гребенки, что легко воспринимается как изменение в тембре сигнала.

Таким образом, известные методы декорреляции либо генерируют вышеупомянутые артефакты, либо неспособны генерировать необходимую степень декорреляции.

Нужно особенно отметить, что слушание через наушники вообще более критично, чем слушание через динамики. Поэтому вышеописанные недостатки релевантны, в особенности для приложений, которые в общем случае требуют прослушивания через наушники. Это в общем случае имеет место для портативных устройств воспроизведения, которые, кроме того, имеют лишь низкое энергоснабжение. В этом контексте вычислительная способность, которая должна быть затрачена на декорреляцию, является также важным аспектом. Большинство известных алгоритмов декорреляции являются чрезвычайно интенсивными в вычислительном отношении. Поэтому в одном выполнении они требуют относительно высокого числа вычислительных операций, которые приводят к необходимости использовать быстродействующие процессоры, которые неизбежно потребляют большое количество энергии. Кроме того, большой объем памяти требуется для реализации таких сложных алгоритмов. Это, в свою очередь, приводит к увеличенным потребностям энергии.

Особенно в воспроизведении бинауральных сигналов (и при прослушивании через наушники) будет возникать ряд специальных проблем в связи с воспринимаемым качеством воспроизведения воспроизводимого сигнала. С одной стороны, в случае сигналов аплодисментов, особенно важно корректно воспроизводить наступление каждого события хлопка, чтобы не искажать переходный процесс. Поэтому требуется декоррелятор, который не "размывает" указанное наступление во времени, то есть не проявляет дисперсионной по времени характеристики. Фильтры, описанные выше, которые вводят частотно-зависимую групповую задержку, и фазовые фильтры вообще не являются подходящими для этой цели. Кроме того, необходимо избегать повторного звукового впечатления, как оно вызывается, например, простой временной задержкой. Если бы такая простая временная задержка использовалась для генерации декодированного сигнала, который затем добавлялся бы к прямому сигналу посредством матрицы микширования, то результат казался бы чрезвычайно повторяющимся и поэтому неестественным. Кроме того, такая статическая задержка генерирует эффекты фильтра гребенки, то есть нежеланные спектральные окрашивания в восстановленном сигнале.

Использование простых временных задержек, кроме того, приводит к известному эффекту предшествования (см., например: J. Blauert: "Spatial hearing: The psychophysics of human sound localization"; MIT Press, Revised edition, 1997 г.). Это проистекает из того факта, что имеется выходной канал, ведущий по времени, и выходной канал, последующий по времени, когда используется простая временная задержка. Человеческое ухо воспринимает происхождение тона или звука или объект в том пространственном направлении, с которого оно сначала слышит шум. То есть источник сигнала воспринимается в том направлении, в котором воспроизводится сигнальная составляющая ведущего по времени выходного канала (опережающий сигнал), независимо от того, указывают ли пространственные параметры, фактически ответственные за пространственное распределение, что-то другое.

Целью настоящего изобретения является предоставить устройство и способ декорреляции сигналов, которые улучшают качество сигнала в присутствии переходных сигналов.

Эта цель достигается декоррелятором согласно пункту 1 формулы изобретения и способом генерации декоррелированного сигнала согласно пункту 16 формулы изобретения.

Настоящее изобретение основано на обнаружении того, что для переходных аудиовходных сигналов декоррелированные выходные сигналы могут генерироваться тем, что аудиовходной сигнал смешивается с представлением аудиовходного сигнала, задержанного на время задержки таким образом, что в первом временном интервале первый выходной сигнал соответствует аудиовходному сигналу, а второй выходной сигнал соответствует задержанному представлению аудиовходного сигнала, причем во втором временном интервале первый выходной сигнал соответствует задержанному представлению аудиовходного сигнала, а второй выходной сигнал соответствует аудиовходному сигналу.

Другими словами, два сигнала, декоррелированных относительно друг от друга, выводятся из аудиовходного сигнала таким образом, что сначала генерируется задержанная по времени копия аудиовходного сигнала. Затем два выходных сигнала генерируются таким образом, что аудиовходной сигнал и задержанное представление аудиовходного сигнала поочередно используются для двух выходных сигналов.

В дискретном по времени представлении это означает, что последовательности выборок выходных сигналов поочередно используются непосредственно из аудиовходного сигнала и из задержанного представления аудиовходного сигнала. Для генерации декоррелированного сигнала здесь используется временная задержка, которая не зависит от частоты и поэтому не размывает по времени проявления связанного с аплодисментами шума. В случае дискретного по времени представления цепь временной задержки, демонстрирующая малое число элементов памяти, является хорошим компромиссом между достижимой пространственной шириной восстановленного сигнала и дополнительными требованиями к памяти. Выбранное время задержки предпочтительно меньше, чем 50 мс, и особенно предпочтительно меньше или равно 30 мс.

Поэтому проблема предшествования решена тем, что в первом временном интервале аудиовходной сигнал непосредственно формирует левый канал, тогда как в последующем втором временном интервале задержанное представление аудиовходного сигнала используется как левый канал. Та же самая процедура применяется к правому каналу.

В предпочтительном воплощении переключаемое время между индивидуальными процессами перестановки выбирается большим, чем период переходного процесса, типично происходящего в сигнале. То есть, если опережающий и последующий канал периодически (или случайным образом) переставляются с интервалами (длительностью, например, 100 мс), искажение определения направления из-за инерционности органов слуха человека может быть подавлено, если выбор длины интервала является подходящим.

Поэтому согласно изобретению можно генерировать широкое звуковое поле, которое не искажает переходные сигналы (такие как хлопки) и, кроме того, не проявляет свойства повторного звучания.

Декорреляторы, соответствующие изобретению, используют лишь очень малое количество арифметических операций. В частности, только единственная временная задержка и малое количество умножений требуются для соответствующей изобретению генерации декоррелированных сигналов. Перестановка индивидуальных каналов является простой операцией копирования и не требует никаких дополнительных затрат на вычисления. Факультативная адаптация сигнала и/или методы постобработки также требуют только суммирования или вычитания соответственно, то есть операций, которые могут типично предприниматься уже имеющимися аппаратными средствами. Поэтому только очень малый объем дополнительной памяти требуется для реализации средств задержки или линии задержки. Они существуют во многих системах и могут использоваться совместно, в зависимости от обстоятельств.

В последующем описании предпочтительные воплощения настоящего изобретения пояснены более подробно со ссылками на иллюстрирующие чертежи, на которых показано следующее:

фиг.1 показывает воплощение соответствующего изобретению декоррелятора;

фиг.2 иллюстрирует генерируемые в соответствии с изобретением декоррелированные сигналы;

фиг.2a показывает другое воплощение соответствующего изобретению декоррелятора;

фиг.2b показывает варианты осуществления возможных управляющих сигналов для декоррелятора по фиг.2a;

фиг.3 показывает другое воплощение соответствующего изобретению декоррелятора;

фиг.4 показывает пример устройства для генерации декоррелированных сигналов;

фиг.5 показывает пример соответствующего изобретению способа генерации выходных сигналов;

фиг.6 показывает пример соответствующего изобретению аудиодекодера;

фиг.7 показывает пример устройства повышающего микширования согласно предшествующему уровню техники; и

фиг.8 показывает другой пример устройства повышающего микширования/декодера согласно предшествующему уровню техники.

Фиг.1 показывает пример соответствующего изобретению декоррелятора для генерации первого выходного сигнала 50 (L') и второго выходного сигнала 52 (R'), основываясь на аудиовходном сигнале 54 (M).

Декоррелятор также включает в себя средство 56 задержки для генерации задержанного представления аудиовходного сигнала 58 (M_d). Декоррелятор далее включает микшер 60 для объединения задержанного представления аудиовходного сигнала 58 с аудиовходным сигналом 54, чтобы получить первый выходной сигнал 50 и второй выходной сигнал 52. Микшер 60 сформирован двумя схематично показанными переключателями, посредством которых аудиовходной сигнал 54 поочередно переключается на левый выходной сигнал 50 и правый выходной сигнал 52. То же самое также относится к задержанному представлению аудиовходного сигнала 58. Поэтому микшер 60 декоррелятора функционируют таким образом, что в первом временном интервале первый выходной сигнал 50 соответствует аудиовходному сигналу 54, а второй выходной сигнал соответствует задержанному представлению аудиовходного сигнала 58, причем во втором временном интервале первый выходной сигнал 50 соответствует задержанному представлению аудиовходного сигнала, и второй выходной сигнал 52 соответствует аудиовходному сигналу 54.

Таким образом, согласно изобретению декорреляция достигается тем, что формируется задержанная во времени копия аудиовходного сигнала 54, и затем аудиовходной сигнал 54 и задержанное представление аудиовходного сигнала 58 поочередно используются как выходные каналы. То есть компоненты, формирующие выходные сигналы (аудиовходной сигнал 54 и задержанное представление аудиовходного сигнала 58), заменяются тактируемым способом. Здесь длина временного интервала, на который выполняется каждая перестановка, или для которого входной сигнал соответствует выходному сигналу, является переменной. Кроме того, временные интервалы, на которые индивидуальные компоненты заменяются, могут иметь различную длительность. Это означает тогда, что отношение тех времен, в которые первый выходной сигнал 50 состоит из аудиовходного сигнала 54 и задержанного представления аудиовходного сигнала 58, может устанавливаться переменным образом.

При этом является предпочтительным, если длительность временных интервалов больше, чем средняя длительность переходных составляющих, содержащихся в аудиовходном сигнале 54, чтобы получить хорошее восстановление сигнала.

При этом подходящие временные длительности находятся во временном интервале от 10 мс до 200 мс, причем типичный период времени составляет, например, 100 мс.

В дополнение к интервалам времени переключения длительность временной задержки может быть согласована с условиями сигнала или может даже быть переменной во времени. Времена задержки предпочтительно находятся в интервале от 2 мс до 50 мс. Примерами подходящих времен задержки являются 3, 6, 9, 12, 15 или 30 мс.

Соответствующий изобретению декоррелятор, показанный на фиг.1, с одной стороны, позволяет генерировать декоррелированные сигналы, которые не размывают приступ, то есть начало переходных сигналов, и, кроме того, гарантируют очень высокую декорреляцию сигнала, что приводит к тому, что слушатель воспринимает многоканальный сигнал, восстановленный посредством такого декоррелированного сигнала, как особенно пространственно расширенный сигнал.

Как можно видеть из фиг.1, соответствующий изобретению декоррелятор может использоваться и для непрерывных аудиосигналов, и для дискретизированных аудиосигналов то есть для сигналов, которые присутствуют как последовательность дискретных выборок.

Посредством такого сигнала, присутствующего в дискретных выборках, фиг.2 показывает работу декоррелятора по фиг.1.

Здесь рассматривается аудиовходной сигнал 54, представленный в форме последовательности дискретных выборок, и задержанное представление аудиовходного сигнала 58. Микшер 60 представлен лишь схематично, как два возможных соединительных пути между аудиовходным сигналом 54 и задержанным представлением аудиовходного сигнала 58 и двумя выходными сигналами 50 и 52. Кроме того, показан первый временной интервал 70, в котором первый выходной сигнал 50 соответствует аудиовходному сигналу 54, и второй выходной сигнал 52 соответствует задержанному представлению аудиовходного сигнала 58. В соответствии с работой микшера во втором временном интервале 72 первый выходной сигнал 50 соответствует задержанному представлению аудиовходного сигнала 58, а второй выходной сигнал 52 соответствует аудиовходному сигналу 54.

В случае, показанном в фиг.2, временная длительность первого временного интервала 70 и второго временного интервала 72 идентичны, хотя это не является предпосылкой, как объяснено выше.

В представленном случае она составляет временной эквивалент четырех выборок, так что с тактом, равным четырем выборкам, выполняется переключение между двумя сигналами 54 и 58, чтобы сформировать первый выходной сигнал 50 и второй выходной сигнал 52.

Соответствующий изобретению принцип декорреляции сигналов может использоваться во временной области, то есть с временным разрешением, определяемым частотой дискретизации. Этот принцип может также применяться к представлению банка фильтров для сигнала, в котором сигнал (аудиосигнал) разделен на несколько дискретных частотных диапазонов, причем сигнал на каждый частотный диапазон обычно присутствует с пониженным временным разрешением.

Фиг.2a показывает другой вариант осуществления, в котором микшер 60 конфигурирован таким образом, что в первом временном интервале первый выходной сигнал 50 в первой части X(t) сформирован из аудиовходного сигнала 54, а во второй части (1-X(t)) сформирован из задержанного представления аудиовходного сигнала 58. Соответственно в первом временном интервале второй выходной сигнал 52 в части X(t) сформирован из задержанного представления аудиовходного сигнала 58, а в части (1-X(t)) сформирован из аудиовходного сигнала 54. Возможные реализации функции X(t), которая может упоминаться как функция наплыва, показаны на фиг.2b. Все реализации имеют общим то, что микшер 60 функционирует таким образом, что он объединяет представление аудиовходного сигнала 58, задержанного на время задержки, с аудиовходным сигналом 54, чтобы получить первый выходной сигнал 50 и второй выходной сигнал 52 с переменными во времени частями аудиовходного сигнала 54 и задержанного представления аудиовходного сигнала 58. При этом в первом временном интервале первый выходной сигнал 50 формируется в пропорции, большей чем 50%, из аудиовходного сигнала 54, а второй выходной сигнал 52 формируется в пропорции, большей чем 50%, из задержанного представления аудиовходного сигнала 58. Во втором временном интервале первый выходной сигнал 50 формируется в пропорции, большей чем 50%, из задержанного представления аудиовходного сигнала 58, а второй выходной сигнал 52 формируется в пропорции, большей чем 50%, из аудиовходного сигнала.

Фиг.2b показывает возможные функции управления для микшера 60, как представлено на фиг.2a. Время t нанесено на оси X в форме произвольных единиц, а функция X(t), показывающая возможные значения функции от нуля до единицы, нанесена на оси Y. Могут также использоваться другие функции X(t), которые не обязательно имеют диапазон значений от 0 до 1. Возможны другие диапазоны значений, такие как от 0 до 10. Представлены три примера функций X(t), определяющих выходные сигналы в первом временном интервале 62 и втором временном интервале 64.

Первая функция 66, которая представлена в форме прямоугольника, соответствует случаю перестановки каналов, как описано на фиг.2, или переключению без какого-либо наплыва, что схематично представлено на фиг.1. Если рассматривается первый выходной сигнал 50 по фиг.2a, то он полностью сформирован аудиовходным сигналом 54 в первом временном интервале 62, тогда как второй выходной сигнал 52 полностью сформирован задержанным представлением аудиовходного сигнала 58 в первом временном интервале 62. Во втором временном интервале 64 применяется то же самое наоборот, причем длина временных интервалов не обязательно идентична.

Вторая функция 58, представленная пунктирными линиями, полностью не переключает сигналы и генерирует первый и второй выходные сигналы 50 и 52, которые ни в какой момент времени не формируются полностью из аудиовходного сигнала 54 или задержанного представления аудиовходного сигнала 58. Однако в первом временном интервале 62 первый выходной сигнал 50 в пропорции, большей, чем 50%, сформирован из аудиовходного сигнала 54, что соответственно также применимо ко второму выходному сигналу 52.

Третья функция 69 реализована таким образом, что она имеет такое свойство, что в моменты 69a-69c наплыва, которые соответствуют переходным временам между первым временным интервалом 62 и вторым временным интервалом 64, которые поэтому маркируют те времена, в которые аудиовыходные сигналы изменяются, она реализует эффект наплыва. Это означает, что в начальном интервале и конечном интервале в начале и конце первого временного интервала 62 первый выходной сигнал 50 и второй выходной сигнал 52 содержат части как аудиовходного сигнала 58, так и задержанного представления аудиовходного сигнала.

В промежуточном временном интервале 69 между начальным интервалом и конечным интервалом первый выходной сигнал 50 соответствует аудиовходному сигналу 54, а второй выходной сигнал 52 соответствует задержанному представлению аудиовходного сигнала 58. Крутизна функции 69 во времена 69a-69c наплыва может варьироваться в больших пределах, чтобы настроить воспринимаемое качество воспроизведения аудиосигнала согласно условиям. Однако в любом случае обеспечивается то, что в первом временном интервале первый выходной сигнал 50 содержит в пропорции, большей чем 50%, аудиовходной сигнал 54, а второй выходной сигнал 52 содержит в пропорции, большей чем 50%, задержанное представление аудиовходного сигнала 58, а во втором интервале 64 первый выходной сигнал 50 содержит в пропорции, большей чем 50%, задержанное представление аудиовходного сигнала 58, а второй выходной сигнал 52 содержит в пропорции, большей чем 50%, аудиовходной сигнал 54.

Фиг.3 показывает другое воплощение декоррелятора, реализующего принцип, соответствующий изобретению. Здесь компоненты, идентичные или подобные по функции, обозначены теми же самыми ссылочными позициями, что и в предыдущих примерах.

В общем, в контексте всей заявки применимо то, что компоненты, идентичные или подобные по функции, обозначены теми же самыми ссылочными позициями, так что их описание в контексте отдельных воплощений может быть взаимным образом применено одно к другому.

Декоррелятор, показанный на фиг.3, отличается от декоррелятора, схематично представленного на фиг.1, тем, что аудиовходной сигнал 54 и задержанное представление аудиовходного сигнала 58 могут масштабироваться посредством дополнительного средства 74 масштабирования перед подачей на микшер 60. Дополнительное средство 74 масштабирования здесь включает в себя первый пересчетный блок 76a и второй пересчетный блок 76b, причем первый пересчетный блок 76a может масштабировать аудиовходной сигнал 54, а второй пересчетный блок 76b может масштабировать задержанное представление аудиовходного сигнала 58.

На средство 56 задержки подается аудиовходной (монофонический) сигнал 54. Первый пересчетный блок 76a и второй пересчетный блок 76b могут факультативно изменять интенсивность аудиовходного сигнала и задержанного представления аудиовходного сигнала. Предпочтительным является, что интенсивность запаздывающего сигнала (G_lagging), то есть задержанного представления аудиовходного сигнала 58, увеличивается, и/или интенсивность опережающего сигнала (G_leading), то есть аудиовходного сигнала 54, уменьшается. Изменение в интенсивности может здесь осуществляться посредством следующих простых операций умножения, причем соответственно выбранный коэффициент усиления умножается на индивидуальные компоненты сигнала:

L'=M·G_leading,

R'=M_d·G_lagging.

Здесь коэффициенты усиления могут быть выбраны таким образом, что получается полная энергия. Кроме того, коэффициенты усиления могут быть определены таким образом, что они изменяются в зависимости от сигнала. В случае дополнительно переданной побочной информации, то есть в случае многоканального аудиовосстановления, например, коэффициенты усиления могут также зависеть от побочной информации, чтобы они изменялись в зависимости от акустического сценария, подлежащего восстановлению.

Путем применения коэффициентов усиления и изменения интенсивности аудиовходного сигнала 54 или задержанного представления аудиовходного сигнала 58, соответственно, эффект предшествования (эффект, следующий из задержанного по времени повторения того же самого сигнала) может быть скомпенсирован, изменяя интенсивность прямого компонента относительно задержанного компонента таким образом, чтобы задержанные компоненты были усилены, и/или незадержанный компонент уменьшен. Эффект предшествования, вызванный введенной задержкой, может также частично компенсироваться регулировками громкости (регулировками интенсивности), которые важны для пространственного слушания.

Как в вышеупомянутом случае, задержанные и незадержанные компоненты сигнала (аудиовходной сигнал 54 и задержанное представление аудиовходного сигнала 58) переключаются при подходящей скорости, то есть:

L'=М и R'=M_d в первом временном интервале, и

L'=М_d и R'=М во втором временном интервале.

Если сигнал обрабатывается в кадрах, то есть в дискретных сегментах времени постоянной длины, временной интервал переключения (скорость переключения) является предпочтительно целым кратным длины кадра. Один пример типичного времени переключения или периода переключения составляет 100 мс.

Первый выходной сигнал 50 и второй выходной сигнал 52 могут непосредственно быть выведены как выходной сигнал, как показано на фиг.1. Когда декорреляция возникает на основе преобразованных сигналов, обратное преобразование, конечно, требуется после декорреляции. Декоррелятор на фиг.3 дополнительно включает в себя факультативный постпроцессор 80, который объединяет первый выходной сигнал 50 и второй выходной сигнал 52, чтобы обеспечить на своем выходе прошедший постобработку выходной сигнал 82 и второй прошедший постобработку выходной сигнал 84, причем постпроцессор может обеспечивать несколько выгодных эффектов. С одной стороны, он может служить для подготовки сигнала к дальнейшим этапам способа, таким как последующее повышающее микширование в многоканальном восстановлении таким образом, что уже существующий декоррелятор может быть заменен соответствующим изобретению декоррелятором, не требуя необходимости изменения остальной части цепи обработки сигнала.

Поэтому декоррелятор, показанный на фиг.3, может полностью заменить декорреляторы согласно предшествующему уровню техники или стандартные декорреляторы 10 по фиг.7 и 8, при этом преимущества соответствующих изобретению декорреляторов могут быть интегрированы в уже существующие установки декодера простым способом.

Один пример постобработки сигнала, как она может быть выполнена постпроцессором 80, дан посредством следующих уравнений, которые описывают кодирование центральной стороны (MS):

M=0,707·(L'+R'),

D=0,707·(L'-R').

В другом воплощении постпроцессор 80 используется для того, чтобы уменьшить степень смешивания прямого сигнала и задержанного сигнала. Здесь нормальная комбинация, представленная посредством приведенной выше формулы, может быть изменена таким образом, что первый выходной сигнал 50 существенно масштабирован и используется, например, как первый прошедший постобработку выходной сигнал 82, тогда как второй выходной сигнал 52 используется как основа для второго прошедшего постобработку выходного сигнала 84. Постпроцессор и матрица микширования, описывающая постпроцессор, могут быть здесь либо полностью обойдены, либо матричные коэффициенты, управляющие комбинацией сигналов в постпроцессоре 80, могут быть изменены таким образом, что будет иметь место либо небольшое смешивание сигналов, либо дополнительное смешивание сигналов будет отсутствовать.

Фиг.4 показывает другой способ избежать эффекта предшествования посредством подходящего коррелятора. Здесь первый и второй пересчетные блоки 76a и 76b, показанные на фиг.3, обязательны, тогда как микшер 60 может быть опущен.

Здесь, по аналогии с вышеописанным случаем, или аудиовходной сигнал 54 и/или задержанное представление аудиовходного сигнала 58 изменяется и варьируется по его интенсивности. Чтобы избежать эффекта предшествования, или интенсивность задержанного представления аудиовходного сигнала 58 увеличивается, и/или интенсивность аудиовходного сигнала 54 уменьшается, как можно видеть из следующих уравнений:

L'=M·G_leading,

R'=M_d·G_lagging.

Здесь интенсивность предпочтительно варьируется в зависимости от времени задержки средств 56 задержки так, чтобы большее уменьшение интенсивности аудиовходного сигнала 54 могло быть достигнуто с более коротким временем задержки.

Выгодные комбинации времен задержки и соответствующих коэффициентов усиления сведены в следующую таблицу:

Масштабированные сигналы могут затем быть произвольно смешаны, например, посредством одного из кодирующего устройства центральной стороны, описанного выше, или любого из других алгоритмов микширования, описанных выше.

Поэтому посредством масштабирования сигнала эффекта предшествования избегают, уменьшая опережающий по времени компонент по его интенсивности. Это служит для генерации сигнала посредством микширования, который не размывает во времени переходные составляющие, содержащиеся в сигнале, и, кроме того, не вызывает нежелательного искажения звукового впечатления за счет эффекта предшествования.

Фиг.5 схематично показывает пример соответствующего изобретению способа генерации выходных сигналов, основанных на аудиовходном сигнале 54. На этапе 90 объединения представление аудиовходного сигнала 54, задержанного на время задержки, объединяется с аудиовходным сигналом 54, чтобы получить первый выходной сигнал 52 и второй выходной сигнал 54, причем в первом временном интервале первый выходной сигнал 52 соответствует аудиовходному сигналу 54, а второй выходной сигнал соответствует задержанному представлению аудиовходного сигнала, причем во втором временном интервале первый выходной сигнал 52 соответствует задержанному представлению аудиовходного сигнала, а второй выходной сигнал 54 соответствует аудиовходному сигналу.

Фиг.6 показывает применение соответствующего изобретению принципа в аудиодекодере. Аудиодекодер 100 содержит стандартный декоррелятор 102 и декоррелятор 104, соответствующий одному из соответствующих изобретению декорреляторов, описанных выше. Аудиодекодер 100 служит для генерации многоканального выходного сигнала 106, который в данном случае в качестве примера показывает два канала. Многоканальный выходной сигнал сгенерирован на основе аудиовходного сигнала 108, который, как показано, может быть моносигналом. Стандартный декоррелятор 102 соответствует декорреляторам, известным в предшествующем уровне техники, и аудиодекодер выполнен таким образом, что он использует стандартный декоррелятор 102 в стандартном режиме работы и, альтернативно, использует декоррелятор 104 с переходным аудиовходным сигналом 108. Таким образом, многоканальное представление, генерированное аудиодекодером, также реализуется с хорошим качеством в присутствии переходных входных сигналов и/или переходных сигналов понижающего микширования.

Поэтому основным намерением является использование соответствующих изобретению декорреляторов, когда должны обрабатываться сильно декоррелированные и переходные сигналы. Если есть шанс распознавания переходных сигналов, соответствующий изобретению декоррелятор может альтернативно использоваться вместо стандартного декоррелятора.

Если информация декорреляции дополнительно доступна (например, параметр ICC, описывающий корреляцию двух выходных сигналов многоканального понижающего микширования в MPEG стандарте объемного звучания), то она может дополнительно использоваться как решающий критерий для принятия решения, какой декоррелятор использовать. В случае малых значений ICC (таких как значения, например, меньшие, чем 0,5) могут использоваться, например, выходы соответствующих изобретению декорреляторов (таких как декоррелятор по фиг.1 и 3). Поэтому для непереходных сигналов (таких как тональные сигналы) используются стандартные декорреляторы, чтобы гарантировать оптимальное качество восстановления в любое время.

То есть применение соответствующих изобретению декорреляторов в аудиодекодере 100 является зависимым от сигнала. Как упомянуто выше, есть способы обнаружения переходных составляющих сигнала (таких как предсказание LPC в спектре сигнала или сравнение энергий, содержащихся в низкочастотной спектральной области в сигнале, с содержащимися в высокочастотной спектральной области). Во многих сценариях декодера эти механизмы обнаружения уже существуют или могут быть реализованы простым способом. Один пример уже существующих индикаторов - вышеупомянутые параметры корреляции или когерентности сигнала. В дополнение к простому распознаванию присутствия переходных составляющих сигнала эти параметры могут использоваться, чтобы управлять интенсивностью декорреляции генерированных выходных каналов.

Примерами использования уже существующих алгоритмов обнаружения для переходных сигналов являются MPEG Surround, где информация управления STP инструментальных средств является подходящей для обнаружения, и могут использоваться параметры межканальной когерентности (ICC). Здесь обнаружение может быть реализовано как на стороне кодера, так и на стороне декодера. В первом случае должны были бы передаваться флаг сигнала или бит, который оценивается аудиодекодером 100, чтобы переключаться между различными декорреляторами. Если схема обработки сигналов аудиодекодера 100 основана на перекрывающихся окнах для восстановления конечного аудиосигнала, и если перекрытие смежных окон (кадров) является достаточно большим, простое переключение между различными декорреляторами может быть реализовано без введения, в результате, прослушиваемых артефактов.

Если это не имеет места, ряд мер могут быть приняты, чтобы обеспечить возможность по существу неслышимого перехода между различными декорреляторами. С одной стороны, может использоваться метод наплыва, при котором оба декоррелятора сначала используются параллельно. Сигнал стандартного декоррелятора 102 затем при переходе к декоррелятору 104 медленно снижается по интенсивности, тогда как сигнал декоррелятора 104 одновременно усиливается. Кроме того, кривые гистерезисного переключения могут использоваться при переключении, которые гарантируют, что декоррелятор, после переключения на него, используется в течение предопределенного минимального времени, чтобы предотвратить многократное переключение туда и обратно между различными декорреляторами.

В дополнение к эффектам громкости другие психологические эффекты восприятия могут иметь место при использовании различных декорреляторов.

Это, в частности, имеет место, поскольку соответствующие изобретению декорреляторы могут генерировать особенно "широкую" звуковую область. В далее включенной матрице микширования определенная величина декоррелированного сигнала добавляется к прямому сигналу при четырехканальном аудиовосстановлении. Здесь величина декоррелированного сигнала и/или преобладание декоррелированного сигнала в генерированном выходном сигнале обычно определяет ширину воспринимаемой звуковой области. Матричные коэффициенты этой матрицы микширования типично управляются вышеупомянутыми переданными параметрами корреляции и/или другими пространственными параметрами. Поэтому перед переключением на соответствующий изобретению декоррелятор ширина звуковой области может сначала быть искусственно увеличена путем изменения коэффициентов матрицы микширования таким образом, что впечатление широкого звучания медленно возникает, прежде чем будет выполнено переключение на соответствующие изобретению декорреляторы. В другом случае переключения от соответствующего изобретению декоррелятора ширина звукового впечатления может аналогично быть уменьшена перед фактическим переключением.

Конечно, вышеописанные сценарии переключения могут также комбинироваться, чтобы реализовать особенно плавный переход между различными декорреляторами.

Таким образом, соответствующие изобретению декорреляторы имеют ряд преимуществ по сравнению с предшествующим уровнем техники, которые особенно проявляются при восстановлении сигналов, подобных аплодисментам, то есть сигналов, имеющих высокую составляющую переходных сигналов. С одной стороны, чрезвычайно широкая звуковая область генерируется без введения дополнительных артефактов, что особенно выгодно в случае переходных сигналов, подобных аплодисментам. Как неоднократно показано, соответствующие изобретению декорреляторы могут быть легко интегрированы в уже существующие цепи воспроизведения и/или декодеры и могут даже управляться параметрами, уже присутствующими в этих декодерах, чтобы достигнуть оптимального восстановления сигнала. Примеры интеграции в такие существующие структуры декодера были ранее даны в форме параметрического стерео и MPEG объемного звучания. Кроме того, концепция изобретения позволяет обеспечить декорреляторы, которые предъявляют лишь чрезвычайно невысокие требования к имеющейся вычислительной мощности, так что, с одной стороны, не требуются никакие дорогостоящие инвестиции в аппаратные средства, и, с другой стороны, дополнительное потребление энергии соответствующими изобретению декорреляторами является незначительным.

Хотя предыдущее обсуждение было главным образом представлено относительно дискретных сигналов, то есть аудиосигналов, которые представлены последовательностью дискретных выборок, это служит только лучшему пониманию. Принцип изобретения также применим к непрерывным аудиосигналам, а также к другим представлениям аудиосигналов, таким как параметрические представления в частотно-трансформированных пространствах представления.

В зависимости от условий соответствующий изобретению способ генерации выходных сигналов может быть реализован в аппаратных средствах или в программном обеспечении. Выполнение может быть осуществлено на цифровом носителе данных, в частности дискете или компакт-диске, с электронно-считываемыми управляющими сигналами, которые могут взаимодействовать с программируемой компьютерной системой таким образом, что осуществляется соответствующий изобретению способ генерации аудиосигналов. Вообще, изобретение поэтому также состоит в компьютерном программном продукте с программным кодом для выполнения соответствующего изобретению способа, сохраненным на машиночитаемом носителе, когда компьютерный программный продукт исполняется на компьютере. Другими словами, изобретение поэтому может быть реализовано как компьютерная программа с программным кодом для выполнения способа, когда компьютерная программа исполняется на компьютере.