УСОВЕРШЕНСТВОВАННОЕ ПРЕОБРАЗОВАНИЕ СПЕКТРА/СВЕРТКА В ОБЛАСТИ ПОДДИАПАЗОНОВ

Настоящее изобретение относится к новому способу и устройству для усовершенствования метода высокочастотного восстановления, применимого в системах кодирования источников аудиосигналов. Использование нового способа обеспечивает значительное снижение сложности вычислений. Это достигается за счет преобразования или свертки частоты в области поддиапазонов, предпочтительно интегрированным образом с процессом корректирования огибающей спектра. Изобретение также направлено на улучшение качества восприятия аудиосигнала за счет концепции фильтрации в полосе защиты от диссонанса. Заявленное изобретение обеспечивает простой способ высокочастотного восстановления среднего качества и связано с публикацией международной заявки на “Восстановление спектрального диапазона” (WO 98/57436).

Схемы, в которых исходная аудиоинформация выше определенной частоты заменяется гауссовским шумом или обработанной информацией полосы нижних частот, совместно относят к способам высокочастотного восстановления (ВЧВ). Известные из предшествующего уровня техники способы ВЧВ, помимо вставки шума или нелинейностей, таких как выпрямление, в общем случае используют так называемые способы копирования для генерации сигналов высокочастотного диапазона. Эти способы главным образом используют широкополосные линейные сдвиги частоты, т.е. преобразования (переносы) или инвертированные по частоте линейные сдвиги, т.е. свертку. Известные из предшествующего уровня техники способы ВЧВ главным образом предназначались для усовершенствования рабочих характеристик речевых кодеков. Последние разработки в области регенерации в высокочастотном диапазоне с использованием перцептуально точных способов сделали, однако, способы ВЧВ успешно применимыми и к кодекам естественных аудиосигналов, кодированию музыки или другого сложного программного материала (см. WO 98/57436). При некоторых условиях простые методы копирования оказались адекватными и при кодировании сложного программного материала. Эти способы, как оказалось, обеспечивают получение приемлемых результатов для применений, характеризуемых промежуточным качеством и, в частности, для реализации кодеков, когда имеются серьезные ограничения по сложности вычислений для системы в целом.

Человеческий голос и большинство музыкальных инструментов генерируют квазистационарные тональные сигналы, которые порождаются в колебательных системах. В соответствии с теорией Фурье любой периодический сигнал может быть выражен как сумма синусоид с частотами f, 2f, 3f, 4f, 5f и т.д., где f - основная (фундаментальная) частота. Частоты образуют гармонические ряды. Тональное сходство (близость) относится к соотношениям между воспринимаемыми тонами или гармониками. При воспроизведении естественных звуков такое тональное сходство корректируется и определяется различными типами голоса или используемого инструмента. Основная идея в методе ВЧВ состоит в замене исходной высокочастотной информации информацией, созданной из имеющегося диапазона нижних частот и последующего применения корректирования спектральной огибающей к этой информации. Известные из предшествующего уровня техники методы ВЧВ позволяют создать сигналы высокочастотных диапазонов, где тональное сходство часто является неконтролируемым и ослабленным. Эти методы генерируют негармонические частотные составляющие, которые вызывают перцепционные артефакты при применении к материалу комплексных программ. Такие артефакты в литературе по кодированию определяются как резкое звучание, что воспринимается слушателем как искажение.

Воспринимаемый диссонанс (резкость), в противоположность консонансу (созвучию), возникает, когда близкие тона или парциальные (частичные) тона интерферируют. Теория диссонанса объяснялась различными исследователями, среди которых Plomp, Levelt ["Tonal Consonance and Critical Bandwidth" R.Plomp, W.J.M.Levelt JASA, Vol.38, 1965], при этом установлено, что два парциальных тона рассматриваются как диссонирующие, если разность частот находится в пределах примерно от 5 до 50% ширины критической полосы, в которой находятся парциальные частоты. Шкала, используемая для отображения частоты на критические полосы, называется шкалой Барка. Один “барк” эквивалентен интервалу частот одной критической полосы. Например, функция

может быть использована для преобразования из частотного диапазона (f) в барк-шкалу (z). Согласно исследованиям Plomp органы слуха человека не могут различить две парциальные частоты, если они различаются на величину приблизительно меньше, чем пять процентов от критической полосы, в которой они находятся, или эквивалентно, разделены по частоте менее чем на 0,05 барк. С другой стороны, если интервал между парциальными частотами больше, чем примерно 0,5 барк, то они будут восприниматься как отдельные тона.

Теория диссонанса частично объясняет, почему известные из предшествующего уровня техники методы давали неудовлетворительные результаты. Набор консонантных парциальных тонов, преобразованных с повышением частоты, может стать диссонантным. Более того, в областях кроссовера между экземплярами преобразуемых частот и диапазонами нижних частот парциальные тона могут интерферировать, поскольку они могут оказаться вне пределов приемлемых отклонений соответственно правилам диссонанса.

В заявке WO 98/57436 раскрыто выполнение преобразования частот посредством умножения на коэффициент преобразования М. Последовательные каналы из банка фильтра анализа преобразуются по частоте в каналы банка фильтров синтеза, которые, однако, разнесены на два промежуточных канала диапазона восстановления, если коэффициент умножения М равен 3, или разнесены на один канал диапазона восстановления, если коэффициент умножения равен двум. Альтернативно, информация амплитуды и фазы из различных каналов анализатора может объединяться. Амплитудные сигналы соединяются так, что величины последовательных каналов банка фильтров анализа преобразуются по частоте в величины сигналов поддиапазонов, связанных с последовательными каналами синтеза. Фазы сигналов поддиапазонов из тех же самых каналов подвергаются частотному преобразованию с использованием коэффициента М.

Задачей настоящего изобретения является создание концепции для получения откорректированного по огибающей и преобразованного по частоте сигнала путем восстановления высокочастотного спектра, а также концепции декодирования с использованием восстановления высокочастотного спектра, которое приводит в результате к лучшему качеству восстановления.

Данная задача достигается посредством способа, соответствующего пунктам 1, 13 и 23, устройства, соответствующего пунктам 19 и 20, а также декодера по пункту 21.

Настоящее изобретение предусматривает новый способ для улучшения процедур преобразования или свертки в системах кодирования в источниках аудиосигнала. Достигаемым результатом является существенное снижение сложности вычислений и уменьшение перцепционных артефактов. Изобретение раскрывает новую реализацию банка цифровых фильтров с подквантованием (субдискретизацией) как устройства преобразования или свертки частоты, обеспечивающего повышенную точность кроссовера между низкочастотным диапазоном частот и диапазонами преобразования или свертки. Кроме того, в изобретении раскрывается, что области кроссовера, во избежание воспринимаемого диссонанса, получают преимущества в результате осуществления фильтрации. Отфильтрованные области называются диапазонами защиты от диссонанса, и изобретение предоставляет возможность снизить диссонантные парциальные тона несложным и точным способом с использованием банка фильтров с подквантованием.

Новый банк фильтров, основанный на процедурах преобразования или свертки, может предпочтительным образом интегрироваться с процедурой корректирования спектральной огибающей. Банк фильтров, используемый для корректирования огибающей, затем используется также и для процедуры преобразования частот или свертки и этим путем позволяет исключить необходимость в использовании отдельного банка фильтров или процедуры корректирования огибающей спектра. Предложенное изобретение обеспечивает новую и гибкую структуру банка фильтров при низких вычислительных затратах, тем самым создавая высокоэффективную систему преобразования/свертки/ корректирования огибающей.

Кроме того, предложенное изобретение предпочтительным образом объединяется с адаптивным методом добавления уровня собственных шумов, описанным в заявке РСТ SE 00/00159. Эта комбинация позволит улучшить перцепционное качество в условиях сложного программного материала.

Предложенный способ преобразования или свертки, основанный на поддиапазонах, содержит следующие этапы:

- фильтрации сигнала низкочастотных диапазонов посредством анализирующей части банка цифровых фильтров для получения набора сигналов поддиапазонов;

- объединения ряда сигналов поддиапазонов из последовательных каналов низкочастотных диапазонов в синтезирующей части банка цифровых фильтров;

- корректирования объединенных сигналов поддиапазонов в соответствии с желательной огибающей спектра и

- фильтрации откорректированных сигналов поддиапазонов посредством синтезирующей части банка цифровых фильтров для получения огибающей откорректированного и преобразованного по частоте или подвергнутого свертке сигнала высокоэффективным способом.

Привлекательное применение предложенного изобретения относится к усовершенствованию различных типов приложений кодеков промежуточного качества, таких как MPEG2 Layer III, MPEG 2/4 AAC, Dolby AC-3, NTT TwinVQ, AT&T/Lucent РАС и т.д., где такие кодеки используются на низких скоростях передачи битов. Изобретение может также быть полезным в различных речевых кодеках, таких как G.729 MPEG-4 CELP и HVXC и т.д. для улучшения перцепционного качества. Вышеперечисленные кодеки широко используются в мультимедийных системах, в телефонной индустрии, в Интернет, а также в профессиональных мультимедийных приложениях.

Настоящее изобретение описано на иллюстративных примерах, не ограничивающих объем или сущность изобретения, со ссылками на иллюстрирующие чертежи, на которых представлено следующее:

фиг.1 - представление основанного на банке фильтров преобразования или свертки, интегрированных в системе кодирования, соответствующей настоящему изобретению;

фиг.2 - базовая структура максимально прореженного банка фильтров;

фиг.3 - представление спектрального преобразования в соответствии с настоящим изобретением;

фиг.4 - представление спектральной свертки в соответствии с настоящим изобретением;

фиг.5 - представление спектрального преобразования с использованием защитных диапазонов в соответствии с настоящим изобретением.

Преобразование и свертка на основе банка цифровых фильтров

Ниже описан новый банк фильтров, основанный на методах преобразования или свертки. Рассматриваемый сигнал разлагается на ряд сигналов поддиапазонов с помощью анализирующей части банка фильтров. Сигналы поддиапазонов затем объединяются посредством объединения каналов поддиапазонов анализа и синтеза для реализации спектрального преобразования или свертки, или комбинации обеих процедур.

На фиг.2 показана базовая структура системы анализа/синтеза максимально прореженного банка фильтров. Банк 201 фильтров анализа разделяют входной сигнал на несколько сигналов поддиапазонов. Банк 202 фильтров синтеза объединяет выборки поддиапазонов, чтобы восстановить исходный сигнал. Реализации с использованием банков максимально прореженных фильтров весьма значительно снижают затраты на вычисления. Следует иметь в виду, что изобретение может быть реализовано с использованием различных типов банков фильтров или преобразований, включая банки косинусных или комплексно экспоненциально модулированных фильтров, интерпретации банка фильтров элементарных волн, другие банки фильтров или преобразования неравных диапазонов и многомерные банки фильтров или преобразования.

В иллюстративном, но не ограничительном описании, приведенном ниже, предполагается, что L-канальный банк фильтров расщепляет входной сигнал x(n) на L сигналов поддиапазонов. Входной сигнал при частоте дискретизации f_s ограничен по полосе частотой f_c. Фильтры анализа банка максимально прореженных фильтров (фиг.2) обозначены как H_k(z) 203, где k=0, 1, ..., L-1. Сигналы v_k(n) поддиапазонов являются максимально прореженными, каждый с частотой дискретизации f_s/L, после пропускания через блоки прореживания 204. Секция синтеза, содержащая фильтры синтеза, обозначенные F_k(z), повторно “собирают” (объединяют) сигналы поддиапазонов после интерполяции (блок 205) и фильтрации (блок 206) для формирования . Кроме того, настоящее изобретение выполняет спектральное восстановление по , давая в результате улучшенный сигнал у(n).

Начальный канал диапазона восстановления, обозначенный М, определяется следующим выражением:

Число каналов области источника обозначается как S (1≤S≤M). Спектральное восстановление путем преобразования в соответствии с настоящим изобретением, в комбинации с корректированием огибающей, выполняется путем объединения сигналов поддиапазонов в следующем виде:

где k∈[0, S-1], (-1)^S+P=1, т.е. S+P - четное число, Р - целочисленное смещение (0≤Р≤M-S) и е_M-k(n) - коррекция огибающей. Спектральное восстановление посредством свертки в соответствии с настоящим изобретением также выполняется путем объединения сигналов поддиапазонов как

где k∈[0, S-1], (-1)^S+P=-1, т.е. S+P - нечетное целое число, Р - целочисленное смещение (1-S≤Р≤M-2S+1) и е_M+k(n) - коррекция огибающей. Оператор [*] обозначает комплексное сопряжение. Обычно процесс объединения повторяется до тех пор, пока не будет достигнута требуемая величина высокочастотного диапазона.

Следует отметить, что за счет использования преобразования и свертки, основанных на области поддиапазонов, обеспечивается улучшенная точность кроссовера между низкочастотным диапазоном и элементами преобразованных и подвергнутых свертке дипапазонов, поскольку все сигналы фильтруются посредством каналов банка фильтров, которые имеют согласованные частотные отклики.

Если частота f_c сигнала x(n) слишком высока, или, эквивалентно, частота f_s слишком низка, чтобы обеспечить эффективное спектральное восстановление, т.е. M+S>L, число каналов поддиапазонов может быть увеличено после фильтрации анализа. Фильтрация сигналов поддиапазонов с помощью QL-канального банка фильтров синтеза, где используется только L каналов низкочастотных поддиапазонов, а коэффициент повышающей дискретизации Q выбран так, чтобы QL представляло собой целочисленное значение, приводит в результате к получению выходного сигнала с частотой дискретизации Qf_s. Следовательно, расширенный банк фильтров будет действовать так, как если бы он представлял собой L-канальный банк фильтров, за которым следует повышающий дискретизатор. Поскольку в этом случае L(Q-1) фильтров высокочастотного диапазона не используются (на них подаются нули), ширина полосы аудиосигнала не изменяется - банк фильтров просто будет восстанавливать версию с повышающей дискретизацией сигнала . Если, однако, L сигналов поддиапазонов объединяются для получения каналов высокочастотного диапазона, согласно уравнениям (3) или (4), то ширина полосы будет увеличена. С использованием этой схемы процесс повышающей дискретизации интегрируется в фильтрацию синтеза. Следует отметить, что может быть использован банк фильтров синтеза любого размера, давая в результате различные частоты дискретизации выходного сигнала.

На фиг.3 представлены каналы поддиапазонов из 16-канального банка фильтров анализа. Входной сигнал x(n) имеет частотное содержание вплоть до частоты Найквиста (f_c=f_s/2). В первой итерации 16 поддиапазонов расширяются до 23 поддиапазонов, и частотное преобразование в соответствии с уравнением (3) используется со следующими параметрами: М=16, S=7 и Р=1. Эта операция иллюстрируется путем объединения поддиапазонов от точки а до точки b, как показано на чертеже. В следующей итерации 23 поддиапазона расширяются до 28 поддиапазонов, и уравнение (3) используется с новыми параметрами: М=23, S=5, Р=3. Эта операция иллюстрируется объединением поддиапазонов от точки b до точки с. Сформированные таким образом поддиапазоны могут быть затем синтезированы с использованием 28-канального банка фильтров. Это позволит сформировать критически дискретизированный выходной сигнал с частотой дискретизации 28/16f_s=1,75f_s. Сигналы поддиапазонов могут также быть синтезированы с использованием 32-канального банка фильтров, где на четыре самых верхних канала подаются нули, что иллюстрируется на чертеже пунктирными линиями, в результате чего формируется выходной сигнал с частотой дискретизации 2f_s.

С использованием того же самого банка фильтров анализа и входного сигнала с тем же самым частотным содержанием фиг.4 иллюстрирует объединение поддиапазонов с использованием свертки частоты в соответствии с уравнением (4) в двух итерациях. В первой итерации используются следующие параметры: М=16, S=8 и Н=-7, и 16 поддиапазонов расширяются до 24. Во второй итерации М=24, S=8 и Р=-7, и число поддиапазонов расширяется от 24 до 32. Поддиапазоны синтезируются с помощью 32-канального банка фильтров. В выходном сигнале, дискретизированном с частотой 2f_s, такое объединение приводит к двум восстановленным частотным диапазонам: один диапазон возникает вследствие объединения сигналов поддиапазонов каналов от 16 до 23, что является свернутой версией сигнала полосы пропускания, выделенной каналами от 8 до 15, а другой диапазон возникает вследствие объединения каналов от 24 до 31, что является преобразованной версией сигнала той же самой полосы пропускания.

Защитные полосы в высокочастотном восстановлении

Диссонанс восприятия может образовываться в процессе преобразования или свертки вследствие интерференции (взаимных помех) соседних диапазонов, т.е. взаимных помех между парциальными тонами вблизи области кроссовера между элементами преобразованных диапазонов и низкочастотного диапазона. Этот тип диссонанса обычно имеет место в богатом гармониками материале программ с множеством основных частот. Для снижения диссонанса вводятся защитные диапазоны, они могут предпочтительно представлять собой малые полосы частот с нулевой энергией, т.е. область кроссовера между сигналом низкочастотного диапазона и воспроизведенным спектральным диапазоном фильтруется с использованием полосно-заграждающего или режекторного фильтра. Меньшее перцепционное искажение будет восприниматься, если выполняется снижение диссонанса с использованием защитных диапазонов. Ширина полосы защитных диапазонов должна быть предпочтительно порядка 0,5 барк. Если она будет уже, то может возникать диссонанс, а если шире, то в результате могут быть сформированы характеристики звучания, подобные тем, которые имеют место при использовании гребенчатого фильтра.

В банке фильтров, основанном на преобразовании или свертке частот, защитные диапазоны могут быть введены и предпочтительно состоят из одного или нескольких каналов поддиапазонов, настроенных на нуль. Использование защитных диапазонов приводит к тому, что уравнение (3) принимает следующий вид:

а уравнение (4) принимает следующий вид:

где D - малое целое число, представляет собой число каналов банка фильтров, используемых в качестве защитных диапазонов. Теперь Р+S+D должно быть четным целым числом в уравнении (5) и нечетным целым числом в уравнении (6). Р принимает те же значения, что и ранее. Фиг.5 иллюстрирует объединение для 32-канального банка фильтров с использованием уравнения (5). Входной сигнал имеет частотное содержимое вплоть до f_c=5/16 f_s, приводя к М=20 в первой итерации. Число каналов источника аудиосигналов выбирается как S=4 и Р=2. Кроме того, D должно предпочтительно выбираться так, чтобы обеспечить ширину защитных диапазонов 0,5 барк. Здесь D=2, что приводит к ширине защитных диапазонов f_s/32 Гц. Во второй итерации параметры выбираются следующим образом: М=26, S=4, D=2 и Р=0. На чертеже защитные диапазоны показаны поддиапазонами с пунктирными соединениями.

Чтобы спектральная огибающая была непрерывной, защитные диапазоны для устранения диссонанса могут частично восстанавливаться с использованием сигнала белого шума, т.е. в субдиапазоны вводится белый шум вместо их обнуления. Предпочтительный способ использует процедуру адаптивного добавления уровня собственных шумов, как описано в заявке РСТ SЕ 00/00159. Этот метод оценивает уровень собственных шумов высокочастотного диапазона исходного сигнала и добавляет синтезированный шум хорошо определенным путем в воссоздаваемый высокочастотный диапазон в декодере.

Практические реализации

Настоящее изобретение может быть реализовано в системах различного типа для хранения или передачи аудиосигналов с использованием произвольных кодеков. На фиг.1 представлен декодер системы кодирования аудиосигналов. Демультиплексор 101 отделяет данные огибающей и другие управляющие сигналы, связанные с ВЧВ, от потока битов и вводит релевантную часть в произвольный декодер 102 низкочастотного диапазона. Декодер низкочастотного диапазона вырабатывает цифровой сигнал, который вводится в банк фильтров 104 анализа. Данные огибающей декодируются в декодере 103 огибающей, и результирующая информация спектральной огибающей подается вместе с выборками поддиапазонов с банка фильтров анализа в интегрированный блок 105 банка фильтров преобразования или свертки и настройки огибающей. Этот блок осуществляет преобразование или свертку сигнала низкочастотного диапазона, в соответствии с настоящим изобретением, для формирования широкополосного сигнала и применяет передаваемую спектральную огибающую. Обработанные выборки поддиапазонов затем подаются в банк фильтров 10-6 синтеза, который может отличаться по размеру от банка фильтров анализа. Цифровой широкополосный выходной сигнал в заключение преобразуется (в блоке 107) в аналоговый выходной сигнал.

Вышеописанные варианты осуществления настоящего изобретения только иллюстрируют принципы настоящего изобретения, направленного на усовершенствование методов высокочастотного восстановления с использованием банков фильтров, основанных на преобразовании или свертке частоты. Следует иметь в виду, что для специалистов в данной области техники будут очевидны модификации и вариации конфигураций и деталей, описанных выше. Поэтому изобретение ограничивается только объемом пунктов формулы изобретения, а не конкретными деталями, представленными в описании и при пояснении вариантов осуществления изобретения.