УСОВЕРШЕНСТВОВАННЫЙ СПОСОБ ДЛЯ ФОРМИРОВАНИЯ СИГНАЛА ПРИ ВОССТАНОВЛЕНИИ МНОГОКАНАЛЬНОГО АУДИО

Область техники

Настоящее изобретение относится к концепции усовершенствованного формирования сигнала при восстановлении многоканального аудио и, в частности, к новому подходу формирования огибающей.

Предшествующий уровень техники

В последнее время развитие кодирования аудио допускает повторное создание многоканального представления аудиосигнала на основании стерео (или моно) сигнала и соответствующих данных управления. Эти способы отличаются по существу от прежних основанных на матрицах решениях, таких как Dolby Prologic, так как дополнительные данные управления передаются для управления повторным созданием, также называемым как повышающее микширование (увеличение числа каналов), каналов окружающего (surround) звука на основании переданных моно- или стереоканалов. Такие параметрические многоканальные аудиодекодеры восстанавливают N каналов на основании М переданных каналов, где N>М, и этих дополнительных данных управления. Использование дополнительных данных управления вызывает значительно более низкую частоту передачи данных, чем передача всех N каналов, делая кодирование очень эффективным, но в то же самое время обеспечивая совместимость и с М-канальными устройствами, и N-канальными устройствами. Эти М каналов могут быть или единственным моноканалом, или стереоканалом или 5.1-канальным представлением. Следовательно, возможно иметь исходный 7.2-канальный сигнал, с уменьшенным количеством каналов (с выполненным понижающим микшированием) до 5.1-канального обратно совместимого сигнала, и параметры пространственного аудио, позволяющие декодеру пространственного аудио воспроизвести очень сходную версию исходных 7.2 каналов при малых дополнительных служебных расходах на частоту следования битов.

Эти способы параметрического кодирования окружающего аудио обычно содержат параметризацию окружающего звука на основании параметров ICC (межканальной когерентности) и ILD (межканальной разности уровней) вариантов времени и частоты. Эти параметры описывают, например, отношения и корреляции мощности между парами каналов исходного многоканального сигнала. В процессе декодирования получают повторно созданный многоканальный сигнал посредством распределения энергии принятых каналов понижающего микширования между всеми парами каналов, как описано переданными параметрами ILD. Однако, так как многоканальный сигнал может иметь равное распределение мощности между всеми каналами, в то время как сигналы в различных каналах являются очень различными, таким образом давая слушающим впечатление от очень широкого звука, корректную широту получают посредством смешивания сигналов с его декоррелированными версиями, как описано параметром ICC.

Декоррелированную версию сигнала, часто также называемую как необработанный или диффузный сигнал, получают, пропуская сигнал через ревербератор, такой как фазовый фильтр. Простой формой декорреляции является применение конкретной задержки к сигналу. Обычно имеются много различных ревербераторов, известных в технике, точная реализация используемого ревербератора имеет меньшую важность.

Выходной сигнал декоррелятора имеет временной отклик, который является обычно очень плоским. Следовательно, входной дельта-сигнал дает затухающий всплеск шумов. При смешивании декоррелированного и исходного сигнала для некоторых типов переходных сигналов, подобных сигналам от аплодисментов, важно выполнять некоторую постобработку в отношении этого сигнала, чтобы избежать восприятия дополнительно введенных артефактов, которые могут приводить к большему воспринятому размеру комнаты и артефактов типа предварительного эха.

В целом изобретение относится к системе, которая представляет многоканальный аудиосигнал как комбинацию данных понижающее микширования аудио (например, одного или двух каналов) и относящихся к ним параметрических многоканальных данных. В такой схеме (например, в стереофоническом (бинауральном) кодировании отклика) передают поток данных понижающего микширования аудио, причем может быть отмечено, что самая простая форма сигнала понижающего микширования есть просто суммирование различных сигналов многоканального сигнала. Такой сигнал (суммарный сигнал) сопровождается потоком параметрических многоканальных данных (побочная информация). Побочная информация содержит, например, один или более типов параметра, описанных выше, чтобы описать пространственную взаимосвязь исходных каналов многоканального сигнала. В некотором смысле параметрическая многоканальная схема действует как пред-/пост- процессор для посылающего/принимающего конца данных понижающего микширования, например, имеющих суммарный сигнал и побочную информацию. Должно быть отмечено, что суммарный сигнал данных понижающего микширования может быть дополнительно кодирован, используя любой аудио или речевой кодер.

Поскольку передача многоканальных сигналов по несущим малой полосы частот становится все более популярной, эти системы, также известные как "пространственное аудиокодирование", "MPEG surround", были недавно разработаны.

В контексте этих технологий известны следующие публикации:

[1] C. Faller and F. Baumgarte, "Efficient representation of spatial audio using perceptual parametrization," in Proc. IEEE WASPAA, Mohonk, NY, Oct. 2001.

[2] F. Baumgarte and C. Faller, "Estimation of auditory spatial cues for binaural cue coding," in Proc. ICASSP 2002, Orlando, FL, May 2002.

[3] C. Faller and F. Baumgarte, "Binaural cue coding: a novel and efficient representation of spatial audio," in Proc. ICASSP 2002, Orlando, FL, May 2002.

[4] F. Baumgarte and C. Faller, "Why binaural cue coding is better than intensity stereo coding," in Proc. AES 112th Conv., Munich, Germany, May 2002.

[5] C. Faller and F. Baumgarte, "Binaural cue coding applied to stereo and multi-channel audio compression," in Proc. AES 112th Conv., Munich, Germany, May 2002.

[6] F. Baumgarte and C. Faller, "Design and evaluation of binaural cue coding," in AES 113th Conv., Los Angeles, CA, Oct. 2002.

[7] C. Faller and F. Baumgarte, "Binaural cue coding applied to audio compression with flexible rendering," in Proc. AES 113th Conv., Los Angeles, CA, Oct. 2002.

[8] J. Breebaart, J. Herre, C. Faller, J. Roden, F. Myburg, S. Disch, H. Purnhagen, G. Hoto, M. Neusinger, K. Kjorling, W. Oomen: "MPEG Spatial Audio Coding/MPEG Surround: Overview and Current Status", 119th AES Convention, New York 2005, Preprint 6599

[9] J. Herre, H. Purnhagen, J. Breebaart, C. Faller, S. Disch, K. Kjorling, E. Schuijers, J. Hilpert, F. Myburg, "The Reference Model Architecture for MPEG Spatial Audio Coding", 118th AES Convention, Barcelona 2005, Preprint 6477

[10] J. Herre, C. Faller, S. Disch, C. Ertel, J. Hilpert, A. Hoelzer, K. Linzmeier, C. Spenger, P. Kroon: "Spatial Audio Coding: Next-Generation Efficient and Compatible Coding of Multi-Channel Audio", 117th AES Convention, San Francisco 2004, Preprint 6186

[11] J. Herre, C. Faller, C. Ertel, J. Hilpert, A Hoelzer, C. Spenger: "MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio", 116th AES Convention, Berlin 2004, . Preprint 6049.

Связанная методика, сосредотачивающаяся на передаче двух каналов посредством одного переданного моносигнала, называется "параметрическое стерео" и описано, например, более подробно в следующих публикациях:

[12] J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlin, Preprint 6072, May 2004

[13] E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004.

В пространственном аудиодекодере многоканальный сигнал повышающего микширования вычисляют из части прямого сигнала и части диффузного сигнала, которую получают посредством декорреляции из прямой части, как уже упомянуто выше. Таким образом, обычно диффузная часть имеет временную огибающую, отличную чем у прямой части. Термин "временная огибающая" описывает в этом контексте изменение энергии или амплитуды сигнала со временем. Отличающаяся временная огибающая приводит к артефактам (пред- и пост-эхо, "смазыванию" во времени) в сигналах повышающего микширования для входных сигналов, которые имеют широкое стереоотображение и, в то же время, структуру огибающей переходного процесса. Переходные сигналы в общем случае являются сигналами, которые изменяются строго в течение короткого периода времени.

Вероятно наиболее важными примерами для этого класса сигналов являются подобные аплодисментам сигналы, которые часто присутствуют в записях в прямом эфире.

Чтобы избежать артефактов, вызванных введением диффузного/декоррелированного звука с неподходящей временной огибающей в сигнал повышающего микширования, был предложен ряд способов.

Заявка US11/006,492 на патент США ("Diffuse Sound Shaping for BCC Schemes and The Like") показывает, что качество восприятия критических переходных сигналов может быть улучшено посредством формирования временной огибающей диффузного сигнала для согласования с временной огибающей прямого сигнала.

Этот подход уже был введен в технологию MPEG окружающего звука посредством различных инструментальных средств, таких как "формирование временной огибающей" (TES) и "временная обработка" (TP). Так как целевая временная огибающая диффузного сигнала получена из огибающей переданного сигнала понижающего микширования, этот способ не требует, чтобы была передана дополнительная побочная информация. Однако, как следствие, временная тонкая (мелкозернистая) структура диффузного звука является одинаковой для всех выходных каналов. Поскольку часть прямого сигнала, которая непосредственно получена из переданного сигнала понижающего микширования, также имеет подобную временную огибающую, этот способ может улучшать качество восприятия подобных аплодисментам сигналов в терминах "четкости", например. Однако поскольку затем прямой сигнал и диффузный сигнал имеют аналогичные временные огибающие для всех каналов, такие способы могут повышать субъективное качество подобных аплодисментам сигналов, но не могут улучшить пространственное распределение отдельных событий аплодисментов в сигнале, которое может быть возможно только когда один восстановленный канал будет намного более интенсивным при наличии переходного сигнала, чем другие каналы, что является невозможным иметь сигналы, совместно использующими в основном одну и ту же временную огибающую.

Альтернативный способ для преодоления проблемы описан заявке US 11/006,482 на патент США ("individual Channel Shaping for BCC Schemes and The Like"). Этот подход использует тонкоструктурную временную широкополосную побочную информацию, которая передается кодером, чтобы выполнить точное временное формирование как прямого, так и диффузного сигнала. Очевидно, этот подход допускает временную "тонкую" структуру, которая является индивидуальной для каждого выходного канала и таким образом способна "вместить" также сигналы, для которых переходные события происходят только в поднаборе каналов вывода. Дальнейшее изменение этого подхода описано в заявке US 60/726,389 на патент США ("Methods for Improved Temporal and Spatial Shaping of Multi-Channel Audio Signals"). Оба описанных подхода к повышению качества восприятия переходных кодированных сигналов содержат временное формирование огибающей диффузного сигнала, предназначенного для согласования с соответствующей временной огибающей прямых сигналов.

В то время как оба вышеописанных способа из уровня техники могут повышать субъективное качество подобных аплодисментам сигналов в терминах четкости, только последний подход может также улучшать пространственное перераспределение восстановленного (реконструированного) сигнала. Однако субъективное качество синтезированных сигналов аплодисментов остается неудовлетворительным, потому что временное формирование обоих из комбинации простого и диффузного звука ведет к характеристическим искажениям (воздействие отдельных хлопков воспринимается или как не "плотный", когда выполнено только свободное временное формирование сигнала, или вводятся искажения, если формирование с очень высокой временной разрешающей способностью применяется к сигналу). Это становится очевидным, когда диффузный сигнал является просто задержанной копией прямого сигнала. Затем диффузный сигнал, примешанный к прямому сигналу, вероятно будет иметь отличный спектральный состав, чем прямой сигнал. Таким образом, даже если огибающая масштабируется для согласования с огибающей прямого сигнала, различные спектральные вклады, не происходящие непосредственно из исходного сигнала, будут присутствовать в восстановленном сигнале. Введенные искажения могут стать даже хуже, когда часть диффузного сигнала выделяется (делается громче) в течение восстановления, когда диффузный сигнал масштабируется, чтобы соответствовать огибающей прямого сигнала.

Сущность изобретения

Задача настоящего изобретения состоит в том, чтобы обеспечить концепцию расширенного формирования сигнала при многоканальном восстановлении.

Эта задача достигается посредством устройства в соответствии с пунктами 1 или 29 формулы изобретения, способом в соответствии с пунктом 28 и компьютерной программой в соответствии с пунктом 30 формулы изобретения.

Настоящее изобретение основано на обнаружении того факта, что восстановленный (реконструированный) выходной канал, восстановленный многоканальным блоком восстановления, использующим по меньшей мере один канал понижающего микширования, полученный посредством понижающего микширования множества исходных каналов и использующим параметрическое представление, включающее в себя дополнительную информацию относительно временной (тонкой) структуры исходного канала, может быть восстановлен эффективно с высоким качеством, когда используется генератор для формирования компонента прямого сигнала и компонента диффузного сигнала на основании понижающего микширования каналов. Качество может быть по существу повышено, если только компонент прямого сигнала модифицируется так, что временная тонкая структура восстановленного выходного канала является подобранной к желательной временной тонкой структуре, указанной дополнительной информацией о переданной временной тонкой структуре.

Другими словами, масштабируя части прямого сигнала, непосредственно полученные из сигнала понижающего микширования, трудно внести дополнительные артефакты в момент, когда имеет место переходный сигнал. Когда, как в уровне техники, часть необработанного сигнала масштабируется, чтобы соответствовать желательной огибающей, очень может иметь место случай, когда исходный переходный сигнал в восстановленном канале маскируется выделенным диффузным сигналом, примешанным к прямому сигналу, что более подробно описано ниже.

Настоящее изобретение преодолевает эту проблему, масштабируя только компонент прямого сигнала, таким образом не давая возможности ввести дополнительные артефакты, за счет передачи дополнительных параметров для описания временной огибающей в побочной информации.

Согласно одному варианту осуществления настоящего изобретения, параметры масштабирования огибающей получают, используя представление прямого и диффузного сигналов с отбеленным спектром, то есть, где различные спектральные части сигнала имеют почти идентичные энергии. Преимущества использования отбеленных спектров двояки. С одной стороны, использование отбеленного спектра в качестве основания для вычисления масштабного коэффициента, используемого для масштабирования прямого сигнала, допускает передачу только одного параметра в каждом временном интервале, включающем в себя информацию относительно временной структуры. Поскольку обычно при кодировании многоканальные аудиосигналы обрабатывают в многочисленных диапазонах частот, эта особенность помогает уменьшать объем дополнительно необходимой побочной информации и, следовательно, увеличить частоту следования битов данных для передачи дополнительного параметра. Как правило, другие параметры, такие как ICLD и ICC, передают однократно для каждого временного кадра и диапазона параметра. Поскольку количество диапазонов параметра может быть более 20, главное преимущество заключается в том, чтобы иметь необходимость передать только один единственный параметр для каждого канала. Вообще, при многоканальном кодировании сигналы обрабатывают в структуре кадров, то есть в объектах, имеющих несколько значений выборки, например 1024 на кадр. Кроме того, как уже упомянуто, сигналы разбивают на несколько спектральных частей перед обработкой, так что в конце концов только один параметр ICC и ICLD передают для каждого кадра и спектральную часть сигнала.

Второе преимущество использования только одного параметра физически мотивировано, так как рассматриваемые переходные сигналы естественно имеет широкие спектры. Поэтому, чтобы учесть энергию переходных сигналов в пределах единственного канала корректно, наиболее подходящим является использование отбеленных спектров для вычисления коэффициентов масштабирования энергии.

В дальнейшем варианте осуществления настоящего изобретения предлагаемая концепция модификации компонента прямого сигнала применяется только для спектральной части сигнала выше некоторого спектрального предела в присутствии дополнительных остаточных сигналов. Это имеет место потому, что остаточные сигналы вместе с сигналом понижающего микширования разрешают воспроизведение высокого качества исходных каналов.

Подводя итог, предлагаемая концепция разработана, чтобы обеспечить повышенное временное и пространственное качество по отношению к подходам предшествующего уровня техники, избегая проблем, связанных с такими способами. Поэтому побочную информацию передают, чтобы описать тонкую структуру временной огибающей индивидуальных каналов и, таким образом, разрешить точное временное/пространственное формирование сигналов повышающего микширования на стороне декодера. Способ, описанный в этом документе, основан на следующих результатах/соображениях:

- Подобные аплодисментам сигналы могут быть рассмотрены как составленные из отдельных, поэтому различимых, хлопков и шумоподобного окружения, происходящего из очень плотных отдаленных хлопков.

- В пространственном аудио декодере наилучшее приближение близлежащих аплодисментов в терминах временной огибающей является прямым сигналом. Поэтому, только прямой сигнал обрабатывают предлагаемым способом.

- Так как диффузный сигнал представляет главным образом часть окружения сигнала, любая обработка в отношении тонкого временного разрешения, вероятно, будет вносить искажение и артефакты модуляции (даже притом, что некоторое субъективное повышение "четкости" аплодисментов может быть достигнуто таким образом). Как следствие этих соображений, таким образом диффузный сигнал является нетронутым (то есть не подвергнут тонкому временному формированию) посредством предлагаемой обработки.

- Тем не менее диффузный сигнал способствует балансировке энергии сигнала повышающего микширования. Предлагаемый способ принимает это во внимание посредством вычисления модифицированного коэффициента широкополосного масштабирования из переданной информации, который должен быть применен исключительно к части прямого сигнала. Этот модифицированный коэффициент выбран так, что полная энергия в заданном временном интервале является одинаковой в пределах некоторых границ, как будто исходный коэффициент применялся и к прямой, и диффузной части сигнала в этом интервале.

• Используя предлагаемый способ, получают наилучшее субъективное качество аудио, если спектральное разрешение пространственных сигналов выбрано низким - например "полная полоса частот" - чтобы гарантировать сохранение спектральной целостности переходных процессов, содержащихся в сигнале. В этом случае предложенный способ не обязательно увеличивает среднюю скорость передачи данных пространственной побочной информации, так как спектральное разрешение безопасно занимается для временного разрешения.

Усовершенствование субъективного качества достигают, усиливая или заглушая ("формируя") сухую (простую) часть сигнала через какое-то время только и таким образом

• повышая качество переходного процесса посредством усиления части прямого сигнала в местоположении переходного процесса, в то же время избегая дополнительного искажения, исходящего из диффузного сигнала с несоответствующей временной огибающей

• улучшая пространственную локализацию посредством выделения прямой части по отношению к диффузной части в пространственном источнике события переходного процесса и демпфирования его относительно диффузной части в отдаленных позициях панорамирования.

Краткое описание чертежей

Фиг.1 иллюстрирует блок-схему многоканального кодера и соответствующего декодера;

Фиг.1b показывает схематический эскиз восстановления сигнала, используя декоррелированные сигналы;

Фиг.2 иллюстрирует пример для предлагаемого многоканального блока восстановления;

Фиг.3 иллюстрирует дополнительный пример для предлагаемого многоканального блока восстановления;

Фиг.4 иллюстрирует пример представлений диапазона параметров, используемых для идентификации отличных диапазонов параметров в схеме многоканального декодирования;

Фиг.5 иллюстрирует пример для предлагаемого многоканального декодера; и

Фиг.6 иллюстрирует блок-схему, детализирующую пример для предлагаемого способа восстановления выходного канала.

Подробное описание дополнительных вариантов осуществления

Фиг.1 иллюстрирует пример для кодирования данных многоканального аудио согласно предшествующему уровню техники, чтобы более ясно проиллюстрировать проблему, решенную в соответствии с предлагаемой концепцией.

В общем случае на стороне кодера исходный многоканальный сигнал 10 вводят в многоканальный кодер 12, получая побочную информацию 14, указывающую пространственное распределение различных каналов исходных многоканальных сигналов относительно друг друга. Кроме формирования побочной информации 14, многоканальный кодер 12 генерирует один или более суммарных сигналов 16, являющихся сигналом понижающего микширования из исходного многоканального сигнала. Известными широко используемыми конфигурациями являются так называемые конфигурации 5-1-5 и 5-2-5. В конфигурации 5-1-5 кодер формирует один единственный монофонический суммарный сигнал 16 из пяти входных каналов и, следовательно, соответствующий декодер 18 должен сформировать пять восстановленных каналов восстановленного многоканального сигнала 20. В конфигурации 5-2-5 кодер генерирует два канала понижающего микширования из пяти входных каналов, причем первый канал из каналов понижающего микширования обычно хранит информацию относительно левой стороны или правой стороны, а второй канал понижающего микширования хранит информацию о другой стороне.

Примерные выборки, описывающие пространственное распределение исходных каналов, являются, как в качестве примера указано на Фиг.1, предварительно введенными параметрами ICLD и ICC.

Может быть отмечено, что при анализе, выводящем побочную информацию 14, выборки исходных каналов многоканального сигнала 10 обычно обрабатываются в областях поддиапазона, представляющих конкретный частотный интервал исходных каналов. Один частотный интервал обозначен к. В некоторых приложениях входные каналы могут быть отфильтрованы гибридным набором фильтров до обработки, то есть диапазоны к параметра могут быть дополнительно подразделены, при этом каждое подразделение обозначается k.

Кроме того, обработка значений выборки, описывающих исходный канал, выполняется покадровым способом в пределах каждого отдельного диапазона параметра, то есть несколько последовательных выборок формируют кадр конечной длительности. Параметры BCC, упомянутые выше, обычно описывают полный кадр.

Параметром, некоторым образом относящимся к настоящему изобретению и уже известным в уровне техники, является параметр ICLD, описывающий энергию, содержащуюся в пределах кадра сигнала канала относительно соответствующих кадров других каналов исходного множества каналов или сигнала.

Обычно формирование дополнительных каналов для получения восстановления (реконструкции) многоканального сигнала из одного переданного суммарного сигнала достигается только с помощью декоррелированных сигналов, выводимых из суммарного сигнала, используя декорреляторы или ревербераторы. Для типового применения частота дискретной выборки может быть равна 44100 кГц, так что одна выборка представляет интервал конечной длины приблизительно 0,02 мс исходного канала. Может быть отмечено, что, используя наборы фильтров, сигнал разбивают на многочисленные части сигнала, каждая представляющая конечный частотный интервал исходного сигнала. Чтобы компенсировать возможное увеличение параметров, описывающих канал, разрешение по времени обычно уменьшают, так что часть времени конечной длины, описанная отдельной выборкой в пределах области набора фильтров, может увеличиваться до больше чем 0,5 мс. Типовая длина кадра может изменяться между 10 и 15 мс.

Получение декоррелированного сигнала может делать использование различных структур фильтра и/или задержек или их комбинацию не ограничивающим объем изобретения. Кроме того, может быть отмечено, что не обязательно весь спектр должен использоваться, чтобы получить декоррелированные сигналы. Например, только спектральные части выше спектральной нижней границы (конкретное значение к) суммарного сигнала (сигнала понижающего микширования) могут использоваться, чтобы получить декоррелированные сигналы, используя задержки и/или фильтры. Декоррелированный сигнал таким образом в общем случае описывает сигнал, полученный из сигнала понижающего микширования (канал понижающего микширования) так, что коэффициент корреляции при выведении (получении) с использованием декоррелированного сигнала и канала понижающего микширования значительно отклоняется от единицы, например 0,2.

Фиг.1b дает чрезвычайно упрощенный пример процесса понижающего микширования и восстановления в течение кодирования многоканального аудио, чтобы объяснить большую выгоду предлагаемой концепции масштабирования только компонента прямого сигнала в течение восстановления канала многоканального сигнала. Для последующего описания приняты некоторые упрощения. Первое упрощение является тем, что понижающее микширование левого и правого канала является простым суммированием амплитуд в пределах каналов. Второе значительное упрощение заключается в том, что корреляция предполагается как простая задержка всего сигнала.

Согласно этим предположениям, кадр левого канала 21a и правого канала 21b должен быть закодирован. Как обозначено на оси X показанных окон, при кодировании многоканального аудио обработка обычно выполняется над значениями выборок, выбранных с фиксированной частотой выборки. Этим, для простоты объяснения, будут, кроме того, пренебрегать в нижеследующем кратком описании.

Как уже упомянуто, на стороне кодера левый и правый канал объединяют (выполняют понижающее микширование) в канал 22 понижающего микширования, который должен быть передан к декодеру. На стороне декодера декоррелированный сигнал 23 получают из переданного канала 22 понижающего микширования, который является суммой левого канала 21a и правого канала 21b в этом примере. Как уже объяснено, реконструкцию левого канала затем выполняют из кадров сигнала, полученных из канала 22 понижающего микширования и декоррелированного сигнала 23.

Может быть отмечено, что каждый отдельный кадр подвергается глобальному масштабированию перед комбинированием, как указано параметром ICLD, который связывает энергии в отдельных кадрах отдельных каналов в энергию соответствующих кадров других каналов многоканального сигнала.

Так как принято в настоящем примере, что равные энергии содержатся в кадре левого канала 21a и кадре правого канала 21b, переданный канал 22 понижающего микширования и декоррелированный сигнал 23 масштабируются грубо коэффициентом 0,5 перед комбинированием. То есть, когда повышающее микширование является равным образом простым как и понижающее микширование, то есть суммированием двух сигналов, реконструкция исходного левого канала 21a является суммой масштабированного канала 24a понижающего микширования и масштабированного декоррелированного сигнала 24b.

Из-за суммирования для передачи и масштабирования из-за параметра ICLD, отношение сигнала к фону переходного сигнала может быть уменьшено на коэффициент, грубо равный 2. Кроме того, при простом суммировании двух сигналов дополнительный тип артефакта - эхо - может быть введен в позицию задержанной структуры переходного процесса в масштабированном декоррелированном сигнале 24b.

Как обозначено на Фиг.1b, в предшествующим уровне техники пытались преодолеть проблему эха посредством масштабирования амплитуды масштабированного декоррелированного сигнала 24b, чтобы сделать ее совпадающей с огибающей масштабированного переданного канала 24a, как указано пунктирными линиями в кадре 24b. Из-за масштабирования амплитуда в позиции исходного переходного сигнала в левом канале 21a может быть увеличена. Однако спектральный состав декоррелированного сигнала в позиции масштабирования в кадре 24b отличается от спектрального состава исходного переходного сигнала. Поэтому слышимые артефакты вводятся в сигнал даже при том, что общая интенсивность сигнала может быть воспроизведена хорошо.

Большое преимущество настоящего изобретения состоит в том, что настоящее изобретение делает только масштаб компонента прямого сигнала восстанавливаемым. Поскольку этот канал имеет сигнальный компонент, соответствующий исходному переходному сигналу, имеющему требуемый спектральный состав и требуемое распределение во времени, масштабирование только канала понижающего микширования даст восстановленный сигнал, восстанавливающий исходное событие переходного процесса с высокой точностью. Дело обстоит так, так как только части сигнала выделяются масштабированием, которые имеют тот же самый спектральный состав, что и исходный переходный сигнал.

Фиг.2 иллюстрирует блок-схему примера предлагаемого многоканального блока восстановления, чтобы детализировать принципы предлагаемой концепции.

Фиг.2 иллюстрирует многоканальный блок 30 восстановления, имеющий генератор 32, модификатор прямого сигнала и объединитель 36. Генератор 32 принимает канал 38 понижающего микширования с выполненным понижающим микшированием из множества исходных каналов и параметрическое представление 40, включающее в себя информацию относительно временной структуры исходного канала.

Генератор формирует компонент 42 прямого сигнала и компонент 44 диффузного сигнала на основании канала понижающего микширования.

Модификатор 34 прямого сигнала принимает как компонент 42 прямого сигнала, так и диффузный компонент 44 сигнала и, кроме того, параметрическое представление 40, имеющее информацию о временной структуре исходного канала. Согласно настоящему изобретению, модификатор 34 прямого сигнала модифицирует только компонент 42 прямого сигнала, используя это параметрическое представление для получения модифицированного компонента 46 прямого сигнала.

Модифицированный компонент 46 прямого сигнала и диффузный компонент 44 сигнала, который не изменен модификатором 34 прямого сигнала, подают на вход в объединитель 36, который комбинирует (объединяет) модифицированный компонент 46 прямого сигнала и диффузный компонент 44 сигнала, чтобы получить восстановленный выходной канал 50.

Модифицируя только компонент 42 прямого сигнала, полученный из переданного канала 38 понижающего микширования без реверберации (декорреляция), возможно восстановить огибающую времени для восстановленного выходного канала, близко соответствующую огибающей времени, лежащего в основе исходного канала без введения дополнительных артефактов и слышимых искажений, как в способах предшествующего уровня техники.

Как описано более подробно в описании к Фиг.3, предлагаемое формирование огибающей восстанавливает широкополосную огибающую синтезируемого выходного сигнала. Оно содержит модифицированную процедуру повышающего микширования с последующим сглаживанием огибающей и повторным формированием части прямого сигнала каждого выходного канала. Для повторного формирования используется параметрическая побочная информация широкополосной огибающей, содержащаяся в битовом потоке параметрического представления. Эта побочная информация состоит, согласно одному варианту осуществления настоящего изобретения, из коэффициентов (envRatio), связывающих огибающую переданного сигнала понижающего микширования с огибающей сигнала исходного входного канала. В декодере из этих коэффициентов получают коэффициенты усиления, которые нужно применить к прямому сигналу в каждом временном слоте в кадре заданного выходного канала. Диффузная часть звука каждого канала не изменяется согласно предлагаемой концепции.

Предпочтительный вариант осуществления настоящего изобретения, показанный на блок-схеме на Фиг.3, является многоканальным блоком 60 восстановления, модифицированным так, чтобы согласовывать в декодере поток сигнала пространственного декодера MPEG.

Многоканальный блок 60 восстановления содержит генератор 62 для формирования компонента 64 прямого сигнала и компонента 66 диффузного сигнала, используя канал 68 понижающего микширования, полученный посредством понижающего микширования множества исходных каналов, и параметрическое представление 70, имеющее информацию относительно пространственных свойств исходных каналов многоканального сигнала, как используется в кодировании MPEG. Многоканальный блок 60 восстановления также содержит модификатор 69 прямого сигнала, принимающий компонент 64 прямого сигнала, компонент 66 диффузного сигнала, сигнал 68 понижающего микширования и дополнительную побочную информацию 72 огибающей в качестве входных данных.

Этот модификатор прямого сигнала обеспечивает на своем выходе 73 модификатора модифицированный компонент прямого сигнала, модифицированный, как описано более подробно ниже.

Объединитель 74 принимает модифицированный компонент прямого сигнала и компонент диффузного сигнала, чтобы получить восстановленный выходной канал 76.

Как показано на чертеже, настоящее изобретение может быть легко осуществлено в уже существующих многоканальных средах. Общее применение предлагаемой концепции в такой схеме кодирования может быть включено и выключено согласно некоторым параметрам, дополнительно переданным в битовом потоке параметров. Например, может быть введен дополнительный флаг bsTempShapeEnable, который указывает, когда установлен в 1, что требуется использование предлагаемой концепции.

Кроме того, может быть введен дополнительный флаг, конкретно определяющий необходимость применения предлагаемой концепции на основании канал-за-каналом. Поэтому может быть использован дополнительный флаг, называемый, например bsEnvShapeChannel. Этот флаг, доступный для каждого индивидуального канала, может затем указывать использование предлагаемой концепции, когда установлен в 1.

Кроме того, может быть отмечено, что для простоты представления только конфигурация с двумя каналами описана на Фиг.3. Конечно, настоящее изобретение не предназначено, чтобы быть ограниченным только конфигурацией с двумя каналами. Кроме того, конфигурация с любым количеством каналов может использоваться в связи с предлагаемой концепцией. Например, пять или семь входных каналов могут использоваться в связи с предлагаемым усовершенствованным формированием огибающей.

Когда предлагаемая концепция применяется в схеме кодирования MPEG, как указано на Фиг.3, и применение предлагаемой концепции сигнализируется посредством установки bsTempShapeEnable, равным 1, компоненты прямого и диффузного сигналов синтезируются отдельно генератором 62, используя модифицированное пост-микширование в области гибридного поддиапазона согласно следующей формуле:

Здесь и в следующих абзацах вектор w_n,k описывает вектор n параметров гибридного поддиапазона для k-го поддиапазона области поддиапазонов. Как указано вышеупомянутым уравнением, параметры y прямого и диффузного сигналов отдельно получают при повышающем микшировании. Прямые выходы хранят компонент прямого сигнала и остаточный сигнал, который является сигналом, который может быть дополнительно присутствовать в кодировании MPEG. Диффузные выходы обеспечивают только диффузный сигнал. Согласно предлагаемой концепции, только компонент прямого сигнала далее обрабатывается управляемым формированием огибающей (предлагаемым формированием огибающей).

Процесс формирования огибающей использует операцию извлечения огибающей в отношении различных сигналов. Процесс извлечения огибающих, имеющий место в модификаторе 69 прямого сигнала описан более подробно в следующих параграфах, поскольку это есть обязательный этап перед применением предлагаемой модификации к компоненту прямого сигнала.

Как уже упомянуто, в области гибридных поддиапазонов, поддиапазоны обозначены k. Несколько поддиапазонов k могут также быть организованы в параметрические диапазоны к.

Ассоциация поддиапазонов с параметрическими диапазонами, лежащим в основе варианта осуществления настоящего изобретения, описанного ниже, дается в табличном виде на Фиг.4.

Сначала, для каждого слота в кадре, энергии некоторых параметрических диапазонов к вычисляют с y^n,k, являющимся входным сигналом гибридного поддиапазона.

,

при к _start=10 и к _stop=18

Суммирование включает в себя все , приписываемые одному параметрическому диапазону к согласно Таблице A.1.

Затем, долгосрочная средняя энергия для каждого параметрического диапазона вычисляется как

,

где α является весовым коэффициентом, соответствующим бесконечной импульсной характеристике (БИХ) первого порядка (с приблизительно 400 мс постоянной времени) и n обозначает индекс временного интервала. Сглаженная полная средняя (широкополосная) энергия вычисляется как

,

при

Как может быть замечено из вышеупомянутых формул, временная огибающая сглаживается прежде, чем коэффициенты усиления получают из сглаженного представления каналов. Сглаживание вообще означает получение сглаженного представления из исходного канала, имеющего уменьшенные градиенты.

Как может быть замечено из вышеупомянутых формул, нижеописанная операция отбеливания основана на временно сглаженных оценках полной энергии и сглаженных оценках энергии в поддиапазонах, таким образом гарантируя большую стабильность конечных оценок огибающей.

Отношение этих энергий определяют для получения весов для операции беления спектра:

Оценку широкополосной огибающей получают суммированием взвешенных вкладов параметрических диапазонов, нормализуя по долгосрочной средней энергии и вычислении квадратного корня

где

β - весовой коэффициент, соответствующий бесконечной импульсной характеристике (БИХ) первого порядка (с постоянной времени приблизительно 40 мс).

Измерения спектрально отбеленной энергии или амплитуды используются в качестве основания для вычисления коэффициентов масштабирования. Как может быть замечено из вышеупомянутых формул, спектральное отбеливание означает изменение спектра так, что одна и та же энергия или средняя амплитуда содержится в пределах каждого спектрального диапазона представления аудиоканалов. Это является наиболее выгодным, так как рассматриваемые переходные сигналы имеют очень широкие спектры, так что необходимо использовать полную информацию относительно всего доступного спектра для вычисления коэффициентов усиления, чтобы не подавить переходные сигналы относительно других непереходных сигналов. Другими словами, спектрально отбеленные сигналы являются сигналами, которые имеют приблизительно равную энергию в различных спектральных диапазонах их спектрального представления.

Изобретенный модификатор прямого сигнала модифицирует компонент прямого сигнала. Как уже упомянуто, обработка может быть ограничена некоторым индексом поддиапазона, начиная с начального индекса, в присутствии переданных остаточных сигналов. Кроме того, обработка может обычно ограничиваться индексами поддиапазона выше порогового индекса.

Процесс формирования огибающей состоит из сглаживания огибающей прямого звука для каждого выходного канала с последующим повторным формированием по направлению к целевой огибающей. Это приводит к кривой усиления, применяемой к прямому сигналу каждого выходного канала, если bsEnvShapeChannel=1 сообщается для этого канала в побочной информации.

Эта обработка выполняется только для некоторых гибридных под-поддиапазонов k:

k> 7

В присутствии переданных остаточных сигналов k выбирают так, чтобы начинался выше самого высокого остаточного диапазона, включенного в повышающее микширование рассматриваемого канала.

Для конфигурации 5-1-5 целевую огибающую получают посредством оценки огибающей переданного Env_Dmx понижающего микширования, как описано в предыдущем разделе, и последующего масштабирования его с переданным кодером и заново квантованными коэффициентами envRatio_ch огибающей.

Затем кривая g_ch(n) усиления для всех слотов в кадре вычисляется для каждого выходного канала посредством оценки его огибающей Env_ch и согласования ее с целевой огибающей. Наконец эта кривая усиления преобразуется в кривую эффективного коэффициента усиления для исключительного масштабирования прямой части канала повышающего микширования:

ratio _ch (n) = min (4, max (0,25, g _ch + ampRatio _ch (n) • (g _ch -1))),

где

Для конфигурации 5-2-5 целевую огибающую для L и Ls получают из переданной огибающей сигнала понижающего микширования Env_DmxL левого канала, для R и Rs используется Env _DmxR переданная огибающая понижающего микширования правого канала. Центральный канал получают из суммы переданных огибающих левого и правого сигналов понижающего микширования.

Кривая усиления вычисляется для каждого выходного канала посредством оценки его огибающей Env ^L,Ls,C,R,Rs и соотнесения ее с целевой огибающей. На втором этапе эта кривая усиления преобразуется в кривую эффективного коэффициента усиления для масштабирования исключительно прямой части канала повышающего микширования:

ratio _ch (n) = min (4, max (0,25, g _ch + ampRatio _ch (n) • (g _ch -1))),

где

,

,

,

,

Для всех каналов кривая усиления корректировки огибающей применяется, если bsEnvShapeChannel=1.

,

Иначе прямой сигнал просто копируется

,

Наконец модифицированный компонент прямого сигнала каждого индивидуального канала должен быть объединен с компонентом диффузного сигнала соответствующего индивидуального канала в пределах области гибридного поддиапазона согласно следующему уравнению:

,

Как может быть замечено из вышеупомянутых абзацев, предлагаемая концепция предлагает улучшение качества восприятия и пространственное распределение подобных аплодисментам сигналов в пространственном аудиодекодере. Это улучшение выполняют посредством получения коэффициентов усиления с высокой степенью детализации шкалы времени, чтобы масштабировать только прямую часть пространственного сигнала повышающего микширования. Эти коэффициенты усиления получают по существу из переданной побочной информации и измерений уровня или энергии прямого и диффузного сигнала в кодере.

Поскольку вышеупомянутый пример конкретно описывает вычисление на основании измерения амплитуды, должно быть отмечено, что предлагаемый способ не ограничен этим и может также выполнять вычисления, например, с измерениями энергии или другими величинами, подходящими для описания временной огибающей сигнала.

Вышеупомянутый пример описывает вычисление для конфигураций 5-1-5 и 5-2-5 каналов. Естественно, вышеупомянутый описанный принцип может применяться аналогично, например, для конфигураций каналов 7-2-7 и 7-5-7.

Фиг.5 иллюстрирует пример предлагаемого многоканального звукового декодера 100, принимающего канал 102 понижающего микширования, полученный посредством понижающего микширования множества каналов одного исходного многоканального сигнала, и параметрическое представление 104, включающее в себя информацию о временной структуре исходных каналов (левый передний, передний правый, левый задний и правый задний) исходного многоканального сигнала. Многоканальный декодер 100 имеет генератор 106 для формирования компонента прямого сигнала и компонента диффузного сигнала для каждого из исходных каналов, лежащих в основе канала 102 понижающего микширования. Многоканальный декодер 100 также содержит четыре изобретенных модификатора 108a - 108d прямого сигнала для каждого из каналов, которые должны быть восстановлены, так что многоканальный декодер выдает четыре выходных канала (левый передний, передний правый, левый задний и правый задний) на своих выходах 112.

Хотя предлагаемый многоканальный декодер был подробно описан, используя примерную конфигурацию из четырех исходных каналов, которые должны быть восстановлены, предлагаемая концепция может быть осуществлена в многоканальных аудиосхемах, имеющих произвольные количества каналов.

Фиг.6 иллюстрирует блок-схему, детализирующую предлагаемый способ формирования восстановленного выходного канала.

На этапе 110 генерирования получают компонент прямого сигнала и компонент диффузного сигнала из канала понижающего микширования. На этапе 112 модификации компонент прямого сигнала модифицируется, используя параметры параметрического представления, имеющего информацию относительно временной структуры исходного канала.

На этапе 114 объединения модифицированный компонент прямого сигнала и компонент диффузного сигнала объединяются, чтобы получить восстановленный выходной канал.

В зависимости от некоторых требований реализации предлагаемых способов предлагаемые способы могут быть осуществлены в аппаратном обеспечении или в программном обеспечении. Реализация может быть выполнена, используя цифровой носитель данных, в частности диск, DVD или CD, имеющий считываемые электронным образом сигналы управления, сохраненные на нем, которые взаимодействуют с программируемой компьютерной системой так, что выполняются предлагаемые способы. Вообще, настоящее изобретение является, поэтому, компьютерным программным продуктом с программным кодом, сохраненным на машиночитаемом носителе, причем программный код служит для выполнения предлагаемых способов, когда компьютерный программный продукт выполняется на компьютере. Другими словами, предлагаемые способы являются, поэтому, компьютерной программой, имеющей программный код для выполнения по меньшей мере одного из предлагаемых способов, когда компьютерная программа выполняется на компьютере.

В то время как описанное выше конкретно показано и описано со ссылками на конкретные варианты его осуществления, специалистам понятно, что различные другие изменения в форме и подробностях могут быть сделаны без отрыва от его объема и сущности. Должно быть понятно, что различные изменения могут быть сделаны при адаптации к различным вариантам осуществления без отхода от более широких концепций, раскрытых здесь и заключающихся в нижеследующей формуле изобретения.