УСТРОЙСТВО И СПОСОБ ФОРМИРОВАНИЯ СИНТЕЗИРОВАННОГО АУДИОСИГНАЛА И КОДИРОВАНИЯ АУДИОСИГНАЛА

Данное изобретение относится к обработке аудиосигнала и, в частности, к устройству и для создания синтезированного аудиосигнала, устройству и способы кодирования аудиосигнала.

Хранение или передача аудиосигналов часто подвергаются строгим ограничениям на скорость передачи бит. Эти ограничения обычно преодолеваются промежуточным кодированием сигнала. Ранее при кодировании с низкой скоростью передачи бит было необходимо существенно уменьшать передаваемую аудио полосу частот.Современные аудио кодер-декодеры в состоянии закодировать широкополосные сигналы при использовании методов расширения полосы частот (BWE), как описано в М Dietz, L. Liljeryd, К. Kjorling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding" // 112^th AES Convention, Munich, May 2002; S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," // 112^th AES Convention, Munich, May 2002; Т. Ziegler, A. Ehret, P. Ekstrand and М. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3 PRO Algorithm," // 112^th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002. Speech bandwidth extension method and apparatus Vasu lyengar et al. US Patent 5,455,888; E. Larsen, R.М. Aarts, and М. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112^th Convention, Munich, Germany, May 2002; R.M. Aarts, E. Larsen, and O. Ouweltjes. A unified approach to low-and high frequency bandwidth extension. In AES 115^th Convention, New York, USA, October 2003; К. Kayhko. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001; E. Larsen and R.M. Aarts. Audio Bandwidth Extension - Application to psychoacoustics. Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004; E. Larsen, R.M. Aarts, and М. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112^th Convention, Munich, Germany, May 2002; J Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions of Audio and Electroacoustics, AU-21 (3), June 1973; United States Patent Application 08/951,029, Ohmori, et al. Audio band width extending system and method; United States Patent 6895375, Malah, D & Cox, R.V.: System for bandwidth extension of Narrow-band speech, and Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009.

Эти алгоритмы основаны на параметрическом представлении высокочастотных составляющих (HF). Это представление создается из низкочастотной части (LF) раскодированного сигнала посредством перемещения в высокочастотную HF спектральную область ("исправление") и использования параметра, управляющего последующей обработкой.

В технике методы расширения полосы частот, такие как повторение частотного диапазона (SBR), используются в качестве эффективных методов восстановления высокочастотных сигналов в HFR (высокочастотная реконструкция) кодеках.

Повторение частотного диапазона (SBR), как описано в М Dietz, L. Liljeryd, К. Kjorling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding" in 112^th AES Convention, Munich, May 2002, для генерации высокочастотной HP-информации используется квадратурный зеркальный фильтербанк (QMF). С использованием так называемого "исправления" сигналы низкочастотной полосы QMF копируются в высокочастотную полосу QMF, приводя повторению низкочастотной LF информации в высокочастотной HF области. Созданная HF область впоследствии подгоняется к оригинальной HF области, с помощью параметров, которые регулируют огибающую спектра и тональность.

В SBR, в соответствии со стандартом НЕ-ААС, все операции, которые включают внесение исправлений путем простого копирования, всегда выполняются в QMF-области. Однако другие методы внесения исправлений могут быть выполнены в различных областях, таких как область FFT или временной интервал. Можно вообразить в качестве возможности SBR альтернативно выбрать алгоритм внесения исправлений, который работает или в области FFT или на временном интервале, и нуждается в дополнительном преобразовании для того, чтобы обеспечить аналитический шаг QMF.

В простом SBR доступен только один алгоритм внесения исправлений в котором не учитываются характеристики аппаратуры или программного обеспечения. Следовательно, SBR не в состоянии адаптировать алгоритм внесения исправлений. Можно вообразить простой выбор между двумя отличными алгоритмами внесения исправлений. Поскольку два метода внесения исправлений работают в разных областях, перенесенные области склонны к образованию искажений, что делает плавное переключение между обоими методами практически невозможным.

В WO 98/57436 описаны методы перемещения, используемые при повторении спектральных диапазонов, которые объединены с подстройкой огибающей спектра.

Согласно WO 02/052545 сигналы могут быть классифицированы как "цепочка импульсов" или "не цепочка импульсов" и основе этой классификации предложен, адаптивный переключающий преобразователь. Переключающий преобразователь выполняет два алгоритма внесения исправлений параллельно, и смешивающее устройство объединяет оба исправленных сигнала в зависимости от классификации ("цепочка импульсов" или "не цепочка импульсов"). Фактическое переключение или смешение сигналов выполнены в фильтербанке с подстройкой огибающей в соответствии с огибающей и данными управления. Кроме того, для сигналов "цепочка импульсов", основной сигнал преобразуется в область фильтербанка, выполняется операция по переносу частоты и выполняется подстройка огибающей результата операции по переносу частоты. Это объединенная процедура внесения исправлений и дальнейшей обработки. Для сигналов "не цепочка импульсов", реализуется преобразователь в области частоты (преобразователь FD), и результат преобразования в области частоты преобразуется в область фильтербанка, в которой осуществляется подстройка огибающей. Таким образом, является проблематичной реализация и гибкость этой процедуры, которая имеет с одной стороны, объединенный подход внесения исправлений и дальнейшей обработки, и с другой стороны, преобразование в частотную область, которая расположена за пределами фильтербанка, в котором осуществляется подстройка огибающей.

Задачей данного изобретения является обеспечение эффективного решения синтеза аудиосигнала, обладающего улучшенным качеством.

Это достигается использованием устройства генерирования синтезированного аудиосигнала согласно п.1 формулы изобретения, устройства кодирования аудиосигнала согласно п.10, метода генерирования синтезированного аудиосигнала согласно п.12, метода кодирования аудиосигнала согласно п.13, кодированного аудиосигнала согласно п.14 или компьютерной программы согласно п.15.

Данное изобретение основано на идее, что упомянутое улучшенное качество и/или эффективное выполнение могут быть достигнуты, когда временной блок аудиосигнала преобразован в спектральное представление прежде выполнения множества различных спектральных алгоритмов внесения исправлений, где каждый алгоритм внесения исправлений формирует измененное спектральное представление, включающее спектральные компоненты в верхнем диапазоне частот, полученные из соответствующих спектральных компонентов в основном диапазоне частот аудиосигнала, и для первого временного блока из множества алгоритмов внесения исправлений выбирается первый алгоритм внесения исправлений в спектральной области и для второго отличного временного блока из множества алгоритмов внесения исправлений выбирается второй алгоритм внесения исправлений в спектральной области в соответствии с управляющим сигналом внесения исправлений для получения измененного спектрального представления. Таким образом, плохое качество и/или гибкость из-за переключения между двумя алгоритмами внесения исправлений в различных областях могут быть предотвращены, и поэтому может быть менее сложной обработка при обеспечении качества восприятия.

Согласно решению данного изобретения устройство для синтеза аудиосигнала с использованием управляющего сигнала внесения исправлений включает первый конвертер (преобразователь), формирователь в спектральной области, высокочастотный манипулятор восстановления и объединитель. Первый конвертер выполнен с возможностью преобразования временного блока аудиосигнала в спектральное представление. Формирователь в спектральной области выполнен с возможностью осуществления множества различных алгоритмов внесения исправлений в спектральной области, причем каждый алгоритм внесения исправлений формирует измененное спектральное представление, включающее спектральные компоненты в верхнем диапазоне частот, полученном из соответствующих спектральных компонентов в основном диапазоне частот аудиосигнала. Формирователь в спектральной области, кроме того, выполнен с возможностью выбора из множества алгоритмов внесения исправлений первого алгоритма внесения исправлений в спектральной области для первого временного блока, и выбора из множества алгоритмов внесения исправлений второго алгоритма внесения исправлений в спектральной области для второго, отличного временного блока, в соответствии с управляющим сигналом внесения исправлений, чтобы получить измененное спектральное представление. Высокочастотный манипулятор восстановления выполнен с возможностью управления измененным спектральным представлением, или сигналом, полученным из измененного спектрального представления в соответствии с параметром повторения спектральных полос, чтобы получить сигнал с расширенной полосой частот. Объединитель выполнен с возможностью объединения аудиосигнала, имеющего спектральные компоненты в основном диапазоне частот, или сигнала, полученного из аудиосигнала, с сигналом расширения полосы частот, чтобы получить синтезированный аудиосигнал.

Согласно другому решению данного изобретения, устройство кодирования аудиосигнала включает основное кодирующее устройство, экстрактор параметра и вычислитель параметра. Аудиосигнал включает основной диапазон частот и верхний диапазон частот. Основное кодирующее устройство выполнено с возможностью закодировать аудиосигнал в пределах основного диапазона частот. Экстрактор параметра выполнен с возможностью извлечь управляющий сигнал внесения исправлений из аудиосигнала, этот сигнал указывает на выбранный из множества различных алгоритмов внесения исправлений в спектральной области алгоритм внесения исправлений, который будет выполнен в спектральной области для того, чтобы сформировать синтезированный аудиосигнал в декодере расширения полосы частот. Вычислитель параметра выполнен с возможностью вычислить параметр повторения спектральной полосы в верхнем диапазоне частот.

Согласно другому решению, закодированный поток данных об аудиосигнале включает в пределах основного диапазона частот аудиосигнал, управляющий сигнал внесения исправлений, который указывает на выбранный из множества различных алгоритмов внесения исправлений в спектральной области алгоритм внесения исправлений, выбранный алгоритм внесения исправлений, который будет выполнен в спектральной области для того, чтобы сформировать синтезированный аудиосигнал в декодере расширения полосы частот и спектральный параметр повторения спектральных полос, вычисленный из верхнего диапазона частот аудиосигнала.

Поэтому, решения данного изобретения касаются концепции переключения по крайней мере между двумя различными алгоритмами внесения исправлений в спектральной области, выбранными из группы алгоритмов внесения исправлений в спектральной области. Группа алгоритмов внесения исправлений может включать первый алгоритм внесения исправлений, включающий спектральный перенос, основанный на единственном фазовом вокодере и негармоническом SBR функциональном блоке с копированием вверх, второй алгоритм внесения исправлений, включающий спектральное перемещение, основанное на многократном фазовом вокодере, третий алгоритм внесения исправлений, включающий негармонический SBR функциональный блок с копированием вверх и четвертый алгоритм внесения исправлений, включающий нелинейное искажение (преобразование). Кроме того расширение полосы частот может быть выполнено таким образом, что сигнал с расширенной полосой частот, включает верхний диапазон частот, имеющий максимальную частоту по крайней мере в четыре раза превосходящую частоту разделения спектра в основном диапазоне частот.

В результате, при переключении по крайней мере между двумя различными алгоритмами внесения исправлений в спектральной области, может быть достигнуто уменьшение сложности при том же самом качестве восприятия в пределах сценария расширения полосы частот.

Дальнейшие решения данного изобретения касаются устройств, не включающих преобразователя время/частота для преобразования сигнала во временной области, полученного из модифицированного спектрального представления в частотной области. Поэтому в решениях допускается, что манипулятор высокочастотного восстановления может действовать на измененном спектральном представлении непосредственно, не требуя дальнейшего преобразования (например, анализ QMF) временной области в спектральную область также как в случае объединенного подхода внесения исправлений / дальнейшей обработки, действующего в различных областях.

Дальнейшие решения данного изобретения касаются экстрактора параметра, который формируется для того, чтобы выбрать из множества различных алгоритмов внесения исправлений в спектральной области алгоритм внесения исправлений. Здесь, выбранный алгоритм внесения исправлений основан на сравнении аудиосигнала, или сигнала, полученного из аудиосигнала, с множеством сигналов с расширенной полосой, полученных путем выполнения множества алгоритмов внесения исправлений в спектральной области и обработки модифицированного спектрального представления временного интервала аудиосигнала. Таким образом, решения обеспечивают метод выбора оптимального алгоритма внесения исправлений для того, чтобы сформировать в декодере расширения полосы частот синтезированный аудиосигнал.

Для того чтобы решить, какое внесение исправлений является наиболее подходящим, могут использоваться параметры контроля. Чтобы этого достигнуть может использоваться стадия анализа-посредством-синтеза; то есть могут быть применены все исправления и выбрано лучшее в соответствии с целью. В предпочитаемом способе изобретения цель состоит в том, чтобы получить лучшее качество восприятия восстановления. В альтернативных способах должна быть оптимизирована функция цели. Например, цель может состоять в том, чтобы сохранить спектральную пологость оригинального участка HF высоких частот настолько близко насколько это возможно.

С одной стороны выбор внесения исправлений может быть сделан только в кодирующем устройстве путем рассмотрения оригинального сигнала, синтезируемого сигнала или их обоих. Решение (сигнал управления исправлением) тогда передается в декодер. С другой стороны выбор может быть выполнен синхронно в кодирующем устройстве и декодере путем анализа только основной полосы синтезируемого сигнала. В последнем методе не требуется формировать дополнительную внешнюю информацию.

Решения данного изобретения иллюстрируются на рисунках, где:

Фиг.1а показывает блок-схему устройства формирования синтезированного аудиосигнала, используя управляющий сигнал внесения исправлений;

Фиг.1b показывает блок-схему выполнения формирователя спектра, представленного на фиг.1а;

Фиг.2а показывает блок-схему дальнейшего решения устройства формирования аудиосигнала;

Фиг.2b иллюстрирует схему расширения полосы;

Фиг.3 иллюстрирует пример первого алгоритма внесения исправлений;

Фиг.4 иллюстрирует пример второго алгоритма внесения исправлений;

Фиг.5 иллюстрирует пример третьего алгоритма внесения исправлений;

Фиг.6 иллюстрирует пример четвертого алгоритма внесения исправлений;

Фиг.7 показывает блок-схему решения на фиг.1а без преобразователя время/частота, помещенного после формирователя исправлений в спектральной области;

Фиг.8 показывает блок-схему решения на фиг.1а со вторым конвертером (конвертер частота/время);

Фиг.9 показывает блок-схему устройства для того, чтобы закодировать аудиосигнал;

Фиг.10 показывает блок-схему дальнейшего воплощения устройства для того, чтобы закодировать аудиосигнал; и

Фиг.11 показывает краткий обзор схемы внесения исправлений в частотной области.

Фиг.1а показывает блок-схему устройства 100 для формирования синтезированного аудиосигнала 145, использующего, согласно решению, управляющий сигнал внесения исправлений 119. Устройство 100 включает первый конвертер 110, формирователя в спектральной области 120, высокочастотный манипулятор восстановления 130 и объединитель 140. Первый конвертер 110 выполнен с возможностью преобразования временного интервала аудиосигнала 105 в спектральное представление 115. Формирователь в спектральной области 120 выполнен с возможностью осуществления множества 117-1 различных алгоритмов внесения исправлений в спектральной области, где каждый алгоритм внесения исправлений формирует модифицированное спектральное представление 125, включающее спектральные компоненты в верхнем диапазоне частот, полученном из соответствующих спектральных компонент в основном диапазоне частот аудиосигнала 105. Как показано в фиг.1b, формирователь в спектральной области 120 может быть выполнен с возможностью выбора первого алгоритма внесения исправлений в спектральной области 117-2 из множества 117-1 алгоритмов внесения исправлений для первого временного интервала 107-1 и второго алгоритма внесения исправлений в спектральной области 117-3 из множества 117-1 алгоритмов внесения исправлений для второго отличного временного интервала 107-2, в соответствии с сигналом управления внесения исправлений 119, чтобы получить модифицированное спектральное представление 125.

Высокочастотный манипулятор восстановления 130 выполнен с возможностью управления модифицированным спектральным представлением 125, или сигнал, полученный из модифицированного спектрального представления 125 в соответствии с параметром повторения спектральных полос 127, чтобы получить сигнал с расширенной полосой частот 135. Сигнал, полученный из модифицированного спектрального представления 125, может быть, например, сигналом в области QMF, полученным после применения QMF анализа к модифицированному сигналу на временном интервале, сформированным на базе модифицированного спектрального представления 125. Объединитель 140 выполнен с возможностью объединения аудиосигнала 105, имеющего спектральные компоненты в основном диапазоне частот или сигнала, полученного из аудиосигнала 105, с сигналом с расширенной полосой частот 135, чтобы получить синтезированный аудиосигнал 145. Здесь, сигнал, полученный из аудиосигнала 105, может, например, быть расшифрованным низкочастотным сигналом, полученным после расшифровки закодированного аудиосигнала в пределах основного диапазона частот.

Как видно на фиг.1а, формирователь в спектральной области 120 устройства 100 выполнен с возможностью обработки в спектральной области, а не на временном интервале.

На фиг.2а представлена блок-схема дальнейшего воплощения устройства 200 выполненного с возможностью формирования синтезированного аудиосигнала 145. Здесь, компоненты устройства 200 на фиг.2а, которые являются аналогичными компонентам устройства на фиг.1а, не показаны или описаны снова. В воплощении, как показано на фиг.2а, формирователь в спектральной области 120 устройства 200 выполнен с возможностью выполнения по крайней мере двух различных алгоритмов внесения исправлений в спектральной области от группы 203 алгоритмов внесения исправлений в спектральной области. Группа 203 алгоритмов внесения исправлений включает первый алгоритм внесения исправлений 205-1, включающий спектральное перемещение, основанное на одном фазовом вокодере и негармоническом SBR функциональном блоке с копированием вверх, второй алгоритм внесения исправлений 205-2, включающий спектральное перемещение, основанное на многократном фазовом вокодере, третий алгоритм внесения исправлений 205-3, включающий негармонический SBR функциональный блок с копированием вверх, и четвертый алгоритм внесения исправлений 205-4, включающий нелинейные искажения (преобразования).

Как показано на фиг.2b, устройство 200 может быть выполнено с возможностью расширения полосы частот, таким образом, сигнал с расширенной полосой частот 135 включает верхний диапазон частот 220, имеющий максимальную частоту 225 по крайней мере в четыре раза превосходящую частоту 215 в основном диапазоне частот 210. В контексте SBR типичная величина частоты разделения спектра 215 определяется как максимальная частота основного диапазона частот 210, которая может быть, например, в диапазоне ниже 4 кГц, 5 кГц или 6 кГц. Следовательно, максимальная частота 225 из верхнего диапазона частот 220 может, например, составить приблизительно 16 кГц, 20 кГц или 24 кГц.

На фиг.3 изображена схематическая иллюстрация примера первого алгоритма внесения исправлений 205-1. В частности, формирователь участка в спектральной области 120 выполнен с возможностью реализовать выбранный алгоритм внесения исправлений по крайней мере из двух различных алгоритмов внесения исправлений в спектральной области; выбранный алгоритм внесения исправлений - это первый алгоритм внесения исправлений 205-1. Первый алгоритм внесения исправлений 205-1 включает спектральное перемещение, основанное на одном фазовом вокодере 305, включающем параметр расширения полосы частот (σ) двух управляемых преобразований входного диапазона частот 310, извлеченного из основного диапазона частот 210 в первый сформированный диапазон частот 310'. Здесь, фазы спектральных компонентов во входном диапазоне частот 310 умножены на параметр расширения полосы частот (σ) таким образом, что у первого сформированного диапазона частот 310 есть частоты в пределах от частоты разделения (f_x) до двойной частоты разделения (f_x). Первый алгоритм внесения исправлений 205-1 далее включает SBR функциональность негармонического копирования вверх 315 для того, чтобы преобразовать спектральные компоненты первого сформированного диапазона частот 310' во второй сформированный диапазон частот 320' путем первого копирования, таким образом, что у второго сформированного диапазона частот 320' есть частоты в пределах от двойной частоты разделения (f_x) до тройной частоты разделения (f_x); и для дальнейшего преобразования спектральных компонентов из второго сформированного диапазона частот 320' в третий сформированный диапазон частот 330' путем второго копирования, таким образом, что у третьего сформированного диапазона частот 330' есть частоты в пределах от тройной частоты разделения (f_x) до учетверенной частоты разделения (f_x), включенной в верхний диапазон частот 220; таким образом, верхний диапазон частот 220 включает первый 310', второй 320' и третий 330' сформированные диапазоны частот. В частности, как показано на фиг.3, сигнал с расширенной полосой частот 135 включает верхний диапазон частот 220, сформированный из основного диапазона частот 210, где у верхнего диапазона частот 220 максимальная частота составляет четырехкратную частоту разделения (f_x).

На фиг.4 представлена схематическая иллюстрация примера второго алгоритма внесения исправлений 205-2. Здесь, в частности, формирователь участка в спектральной области 120 выполнен с возможностью выполнить выбранный алгоритм внесения исправлений по крайней мере из двух различных алгоритмов внесения исправлений в спектральной области; выбранный алгоритм внесения исправлений, включает второй алгоритм внесения исправлений 205-2. Второй алгоритм внесения исправлений 205-2 включает спектральное перемещение, основанное на многократном фазовом вокодере 405 включающем первый параметр расширения полосы частот (σ₁), 2 управляемых преобразований первого входного диапазона частот 410, извлеченного из основного диапазона частот 210, в первый, сформированный диапазон частот 410'. Здесь, фазы спектральных компонентов в первом входном диапазоне частот 410 умножены на первый фактор расширения полосы частот (σ₁), таким образом, что у первого сформированного диапазона частот 410' есть частоты в пределах от частоты разделения (f_x) до двойной частоты разделения (f_x). Второй алгоритм внесения исправлений 205-2 далее включает второй параметр расширения полосы частот (σ₂) 3 управляемых преобразования второго входного диапазона частот 420-1, 420-2, извлеченного из основного диапазона частот 210 во второй, сформированный диапазон частот 420', 420''. Здесь, фазы спектральных компонентов во втором входном диапазоне частот 420-1, 420-2 умножены на второй параметр расширения полосы частот (σ₂) таким образом, что второй сформированный диапазон частот 420', 420'' имеет частоты в пределах от двойной частоты разделения (f_x) до тройной частоты разделения (f_x), или в пределах от частоты разделения (f_x) до тройной частоты разделения (f_x), соответственно. Наконец, второй алгоритм внесения исправлений 205-2 далее включает третий параметр расширения полосы частот (σ₃), 4 управляемых преобразований третьего входного диапазона частот 430-1, 430-2 извлеченного из основного диапазона частот 210 в третий сформированный диапазон частот 430', 430''. Здесь, фазы спектральных компонентов в третьем входном диапазоне частот 430-1, 430-2 умножены на третий параметр расширения полосы частот (а3) таким образом, что третий сформированный диапазон частот 430', 430'' имеет частоты в пределах от трехкратной частоты разделения (f_x) до четырехкратной частоты разделения (f_x), или в пределах от частоты разделения (f_x) до четырехкратной частоты разделения (f_x), включая в верхний диапазон частот 220, соответственно. Как в первом алгоритме внесения исправлений 205-1, показанном на фиг.3, верхний диапазон частот 220 сигнала с расширенной полосой 135 включает первую 410', вторую 420', 420'' и третью 430', 430'' сформированные диапазоны частот, имеющие максимальную частоту равную четырехкратной частоте разделения (f_x).

На фиг.5 представлена схематическая иллюстрация примера третьего алгоритма внесения исправлений 205-3. В решении на фиг.5 формирователь участка в спектральной области 120 выполнен с возможностью осуществить выбранный алгоритм внесения исправлений по крайней мере из двух различных алгоритмов внесения исправлений в спектральной области; выбранный алгоритм внесения исправлений включает третий алгоритм внесения исправлений 205-3. Третий алгоритм внесения исправлений 205-3 включает SBR функциональный блок негармонического копирования вверх 505 для того, чтобы преобразовать спектральные компоненты входного диапазона частот 510, являющегося основным диапазоном частот 210, в сформированный диапазон частот 510' путем первого копирования вверх, так что у первого сформированного диапазона частот 510' есть частоты в пределах от частоты разделения (f_x) до двойной частоты разделения (f_x). Спектральные компоненты в первом сформированном диапазоне частот 510' далее преобразуются во второй сформированный диапазон частот 520' путем второго копирования, таким образом, что у второго сформированного диапазона частот 520' есть частоты в пределах от двойной частоты разделения (f_x) до тройной частоты разделения (f_x). Наконец, спектральные компоненты во втором сформированным диапазоне частот 520' далее преобразуются в третий сформированный диапазон частот 530' путем третьего копирования таким образом, что у третьего сформированного диапазона частот 530' есть частоты в пределах от трехкратной частоты разделения (f_x) до четырехкратной частоты разделения (f_x) включенной в верхний диапазон частот 220. Таким образом, верхний диапазон частот 220 сигнала с расширенной полосой 135 включает первый 510', второй 520' и третий 530' сформированные диапазоны частот, имеющие максимальную частоту равную четырехкратной частоте разделения (f_x).

На фиг.6 представлена схематическая иллюстрация примера четвертого алгоритма внесения исправлений 205-4. В решении на фиг.6 формирователь участка в спектральной области 120 выполнен с возможностью осуществления выбранного алгоритм внесения исправлений из по крайней мере двух различных алгоритмов внесения исправлений в спектральной области; выбранный алгоритм внесения исправлений, включает четвертый алгоритм внесения исправлений 205-4. Здесь, четвертый алгоритм внесения исправлений 205-4 включает нелинейное искажение для того, чтобы сформировать спектральные компоненты в верхнем диапазоне частот 220 в диапазоне от частоты разделения (f_x) до четырехкратной частоты разделения (f_x).

Вообще, в решениях на фиг.3-6, как описано выше, алгоритмы внесения исправлений в спектральной области 205-1; 205-2; 205-3; 205-4 осуществляются формирователем исправлений в спектральной области 120 выполненным с возможностью преобразовать спектральные компоненты входных спектральных диапазонов 310, 310', 320'; 410, 420-1, 420-2, 430-1, 430-2; 510, 510', 520', полученных из основного диапазона частот 210 или верхнего диапазона частот, не включенного в основной диапазон частот 210, в сформированные спектральные компоненты в верхнем диапазоне частот 220 таким образом, что сформированные спектральные компоненты отличаются для каждого алгоритма внесения исправлений в спектральной области.

В частности формирователь участка в спектральной области 120 может включать полосовой фильтр для извлечения входной полосы частот из основного диапазона частот 210, или из верхнего диапазона частот 220, причем частотные характеристики полосового фильтра могут быть выбраны таким образом, что входная полоса частот будет преобразована в соответствующую сформированную полосу частот 310', 320', 330'; 410', 420', 420'', 430', 430''; 510', 520', 530', как показано на фиг.3-6.

Различные алгоритмы внесения исправлений в спектральной области 205-1; 205-2; 205-3; 205-4 могут быть выполнены в соответствии со схемой расширения полосы частот, представленной на фиг.2b.

Определенно, используя один или многократный фазовый вокодер, как показано, например, на фиг.3 или фиг.4, соответственно, структура частот спектрально корректно расширена на высокочастотную область, потому что основная полоса частот (например, основной диапазон частот 210) спектрально расширена путем умножения (например, σ₁=2, σ₂=3, σ₃=4) и потому что спектральные компоненты в основной группе объединены с дополнительными сформированными спектральными компонентами.

Алгоритм, основанный на фазовом вокодере, может быть выгодным, если основная полоса частот сильно ограничена, например, при использовании только очень низкого битрейта. Следовательно, восстановление верхних частотных компонент начинается на относительно низкой частоте. Типичная частота разделения в этом случае, меньше чем приблизительно 5 кГц (или даже меньше чем 4 кГц). В этом диапазоне человеческое ухо очень чувствительно к диссонансам (расстройкам) из-за неправильно помещенной гармоники. Это может привести к впечатлению "неестественных" тонов. Кроме того, спектрально близко расположенные тона (со спектральным диссонансом приблизительно от 30 Гц до 300 Гц) восприняты как грубые тона. Спектральное продолжение структуры частоты основной полосы позволяет избежать этих неправильных и неприятных эффектов слухового восприятия.

Кроме того, используя SBR функциональный блок негармонического копирования вверх, как показано, например, на фиг.5, спектральные полосы могут быть поддиапазонами, рационально скопированными в более высокую область частот или в область частот, которая будет повторяться. Также копирование основывается на наблюдении, что справедливо для всех методов внесения исправлений, так что спектральные свойства более высокочастотных сигналов подобны во многих отношениях свойствам сигналов основной полосы частот. Есть только очень небольшие отклонения друг от друга. Кроме того, человеческое ухо, как правило, не очень чувствительно к высоким частотам (обычно начиная приблизительно с 5 кГц), особенно к неточному отображению спектральных полос. Фактически, это ключевая идея копирования спектральных диапазонов. Копирование, в частности, включает преимущество, того что его можно легко и быстро осуществить. У этого алгоритма внесения исправлений также есть высокая гибкость относительно границ участков, так как копирование спектра может быть выполнено на любой границе частотного поддиапазона.

Наконец, алгоритм внесения исправлений путем нелинейного искажения (см., например, фиг.6) может включать формирователь гармоник путем обрезания, ограничения, возведения в квадрат, и т.д. Если, например, распространяющийся сигнал занимает очень узкую полосу (например, после применения вышеупомянутого алгоритма внесения исправлений с использованием фазового вокодера), к спектру может быть добавлен искаженный сигнал, чтобы избежать нежелательных провалов частот.

Нужно отметить, что помимо вышеупомянутых алгоритмов внесения исправлений, образующих группу 203 внесения алгоритмов исправлений (см. фиг.2а), могут быть выполнены другие алгоритмы внесения исправлений в пределах спектральной области, такие как спектральное отражение.

В решении на фиг.7 показано устройство 700, не включающее преобразователь время/частота, как обозначено выделенным блоком 710, для того, чтобы преобразовать сигнал 705 временного интервала, полученный из модифицированного спектрального представления 125 в спектральную область. Это означает, что в этом случае, высокочастотный манипулятор восстановления 130 получает на вход модифицированное спектральное представление 125, а не сигнал 715 частотной области, формируемый на выходе такого преобразователя время/частота 710.

Описанная конфигурация может иметь преимущества, потому что в этом случае дальнейшая обработка модифицированного спектрального представления 125 выполняемая высокочастотным манипулятором восстановления 130 может быть выполнена в той же самой области (например, области FFT или QMF), как и область действия алгоритма внесения исправлений, выполняемого формирователем участка в спектральной области 120. Поэтому, дальнейшее преобразование между различными областями, такими как преобразование временного интервала в спектральную область (например, анализ QMF) не будет требоваться, что упрощает решение.

В решении на фиг.8 показано устройство 800 далее включающее второй конвертер 810 для того, чтобы преобразовать модифицированное спектральное представление 125 во временное представление. Снова, компоненты устройства 800 на фиг.8, которые могут соответствовать компонентам устройства 100 на фиг.1а, опущены. Как показано на фиг.8, второй конвертер 810 может быть выполнен с возможностью применения синтеза, подходящего к анализу, реализованному первым конвертером 110. Здесь, первый конвертер 110 выполнен с возможностью осуществить преобразование, имеющее первую длину преобразования 111, в то время как второй конвертер 810 выполнен с возможностью выполнения преобразования, имеющего вторую длину преобразования. В частности, вторая длину преобразования может зависеть от особенности расширения полосы частот, где вычисляются отношение максимальной частоты (F_max) в верхнем диапазоне частот 220 и частоты разделения (f_x) в основном диапазоне частот 210 и первая длина преобразования 111.

В решениях данного изобретения первый конвертер 110 может, например, быть выполнен с возможностью осуществления быстрого преобразования Фурье (FFT), оконного преобразования Фурье (STFT), дискретного преобразования Фурье (DFT) или QMF анализа; в то время как второй конвертер 810 может, например, быть выполнен с возможностью осуществления обратного быстрого преобразования Фурье (IFFT), обратного оконного преобразования Фурье (ISTFT), обратного дискретного преобразования Фурье (IDFT), или QMF синтеза.

В частности, вторая длина преобразования может быть выбрана таким образом, что она будет равна отношению f_max/f_x умноженному на первую длину преобразования 111. Таким образом, вторая длина преобразования или частотное разрешение второго конвертера 810, будет постоянно адаптироваться к параметру расширения полосы частот схемы расширения полосы частот, как показано на фиг.2b. Это возникает, потому что параметром расширения полосы частот по существу управляет вышеупомянутое отношение (f_max/f_x), соответствие более высокой частотой выборки согласно условию Найквиста.

На фиг.9 изображена блок-схема устройства 900 выполненного с возможностью закодировать аудиосигнал 105. Аудиосигнал 105 включает основной диапазон частот 210 и верхний диапазон частот 220. В частности, устройство 900 выполненное с возможностью закодировать аудиосигнал включает основное кодирующее устройство 910, экстрактор параметра 920 и вычислитель параметра 930. Основное кодирующее устройство 910 выполнено с возможностью закодировать аудиосигнал 105 в пределах основного диапазона частот 210, чтобы получить закодированный в пределах основного диапазона частот 210 аудиосигнал 915. Кроме того, экстрактор параметра 920 выполнен с возможностью извлечь управляющий сигнал внесения исправлений 119 из аудиосигнала 105, управляющий сигнал внесения исправлений 119, указывающий выбранный алгоритм внесения исправлений из множества 117-1 различных алгоритмов внесения исправлений в спектральной области. В частности, отобранный алгоритм внесения исправлений может быть выполнен в спектральной области для того, чтобы сформировать синтезированный аудиосигнал в декодере расширения полосы частот. Наконец, вычислитель параметра 930 выполнен с возможностью вычислить параметр SBR 127 из верхнего диапазона частот 220. Параметр SBR 127, вычисленный из верхнего диапазона частот 220, управляющий сигнал внесения исправлений 119, указывающий на выбранный алгоритм внесения исправлений и закодированный в пределах основного диапазона частот 210 аудиосигнал 915 могут сформировать закодированный аудиосигнал 935, для сохранения или передачи в потоке бит.

В решении на фиг.9 экстрактор параметра 920 может быть выполнен с возможностью проанализировать аудиосигнал 105 или сигнал, полученный из аудиосигнала 105, чтобы сформировать управляющий сигнал внесения исправлений 119 основанный на особенности проанализированного сигнала. Например, управляющий сигнал внесения исправлений 119 может указать на первый алгоритм внесения исправлений для первого временного интервала 107-1 проанализированного сигнала, характеризуемого как 'речь', и указать на второй алгоритм внесения исправлений для второго временного интервала 107-2 проанализированного сигнала, характеризуемого как 'постоянная музыка'.

Соответственно, в случае речевого сигнала может использоваться обработка, основанная на речевой исходной модели, или модели формирования информации, такой как LPC (линейное прогнозирующее кодирование), в то время как в случае постоянной музыки, могут использоваться модель стационарного источника или информационная модель. В то время как в первом случае, описан звук, сформированный человеком, во втором случае, описан звук, получаемый аудиторией.

Кроме того, схема обработки, зависящая от сигнала, может быть осуществлена путем переключений между спектральными перемещением временного интервала включающего переходный процесс и негармонической операцией копирования временного интервала, не включающего переходный процесс.

Вышеупомянутая процедура, соответствующая разомкнутому циклу, основана на прямом анализе особенностей аудиосигнала 105 или сигнала, полученного из аудиосигнала 105. Альтернативно, экстрактор параметра 920 может функционировать в замкнутом цикле, соответствующем выполнению "анализа-синтеза".

В решении на фиг.10 показано устройство 1000, выполненное с возможностью закодировать аудиосигнал 105 путем выполнения "анализа-синтеза". В частности, экстрактор параметра 920 устройства 1000 может быть выполнено с возможностью выбора из множества 117-1 различных алгоритмов внесения исправлений в спектральной области алгоритма внесения исправлений. Здесь, выбранный алгоритм внесения исправлений может быть основан на сравнении аудиосигнала 105 или сигнала, полученного из аудиосигнала 105 с множеством 1005 сигналов с расширенной полосой, полученных, путем выполнения множества 117-1 алгоритмов внесения исправлений в спектральной области и манипулирования модифицированным спектральным представлением 125 аудиосигнала 105 на временном интервале. Сравнение может, например, быть выполнено устройством выбора алгоритма внесения исправлений 1010, путем вычисления спектральной меры пологости (SFM) параметров (SFM₁₀₀₅) из множества 1005 сигналов с расширенной полосой частот и аудиосигнала 105 (SFM_ref), путем сравнения расчетных параметров SFM, SFM₁₀₀₅ и SFM_ref и выбора из множества 117-1 алгоритмов внесения исправлений определенного (оптимального) алгоритма внесения исправлений, для которого минимально отклонение сравниваемых параметров SFM. Наконец, выбранный оптимальный алгоритм внесения исправлений может быть обозначен как управляющий сигнал внесения исправлений 119, сформированный на выходе экстрактора параметра 920.

На фиг.11 показан краткий обзор схемы внесения исправлений в области частоты. В частности, изображено устройство, 1100 выполненное с возможностью сформировать сигнал с расширенной полосой частот в рамках схемы расширения полосы частот на фиг.2b. В решении на фиг.11 аудиосигнал 105 представлен в виде РСМ (импульсная кодовая модуляция) данных 1101, имеющих длину фрейма 1024 отсчета ('фрейм: 1024'). Данные РСМ 1101 могут, например, быть расшифрованным низкочастотным сигналом, включающим основную полосу частот, полученную из закодированного аудиосигнала 935; закодированный аудиосигнал 935 передается от устройства кодирования, такого как кодирующее устройство 900. Затем для уменьшения частоты выборки данных РСМ 1101 в 2 раза может использоваться блок уменьшения частоты выборки 1110, например, чтобы получить сигнал с уменьшенной частотой выборки 1115. Сигнал с уменьшенной частотой выборки 1115 далее подается на аналитическое окно 1120, обозначенное блоком, помеченным "окно", которое выполнено с возможностью сформировать множество перекрывающихся, обработанных окном, последовательных блоков аудио сэмплов. Здесь, каждый блок множества последовательных блоков может, например, включать 512 аудио сэмплов. Кроме того, первый временной интервал между двумя последовательными блоками аудио сэмплов, может, например, равняться 64 сэмплам как обозначено "Inc=64". Наложением последовательных блоков аудио сэмплов можно кроме того управлять, выбирая подходящую (оптимальную) аналитическую функцию окна из множества различных аналитических функций окна, осуществляемых аналитическим окном 1120. Временной интервал 1125 аудиосигнала 105, который может соответствовать последовательному блоку из множества последовательных блоков аудио сэмплов, далее подается на первый конвертер 110, который может быть выполнен в виде, например, процессора FFT 1130, имея первую длину преобразования 111 из N=512. Процессор FFT ИЗО может быть выполнен с возможностью преобразования сигнала на временном интервале 1125 в спектральное представление 115, которое может, например, быть осуществлено в полярной форме 1135-1. В частности, это спектральное представление 1135-1 включает информацию о величине 1135-2 и информацию о фазе 1135-3, которая далее обрабатывается формирователем исправлений в спектральной области 1141, который может соответствовать формирователю исправлений в спектральной области 120 на фиг.2а. Формирователь исправлений в спектральной области 1141 на фиг.11 может включать первый алгоритм внесения исправлений 1141-1, обозначенный "фазовый вокодер плюс копирование", соответствующий первому алгоритму внесения исправлений 205-1, второй алгоритм внесения исправлений 1143-1, обозначенный как "фазовый вокодер", соответствующий второму алгоритму внесения исправлений 205-2, третий алгоритм внесения исправлений, обозначенный "функция подобная SBR", соответствующий третьему алгоритму внесения исправлений 205-3, и четвертый алгоритм внесения исправлений 1147-1, обозначенный "другая функция, например, нелинейное искажение", соответствующий четвертому алгоритму внесения исправлений 205-4 от множества 203 алгоритмов внесения исправлений, как показано на фиг.2а.

В соответствии с этим, как ранее описано в контексте на фиг.2а, первый алгоритм внесения исправлений 1141-1 включает один фазовый вокодер 1141-2 и функциональный блок негармонического копирования 1141-3, 1141-4. Кроме того второй алгоритм внесения исправлений 1143-1, который основан на операции, осуществляемой многократным фазовым вокодером, включает первый фазовый вокодер 1143-2, второй фазовый вокодер 1143-3 и фазовый вокодер 1143-4. Кроме того третий алгоритм внесения исправлений 1145-1 включает функциональный блок SBR негармонического копирования, выполняющий первую операцию копирования вверх 1145-2, вторую операцию копирования вверх 1145-3 и третью операцию копирования вверх 1145-4. Наконец, четвертый алгоритм внесения исправлений 1147-1 включает функциональный блок нелинейных искажений.

Заметим, что в решении фиг.11, субкомпоненты блоков 1141-1, 1143-1, 1145-1, 1147-1 алгоритма внесения исправлений могут соответствовать таковым в блоках 205-1, 205-2, 205-3, 205-4 Рис.2а. Кроме того, символ σ может соответствовать частоте разделения (f_x).

Кроме того, может использоваться селектор исправлений 1150, чтобы сформировать управляющий сигнал внесения исправлений 1155 в соответствии с управляющем сигналом внесения исправлений 119 для того, чтобы управлять формирователем исправлений в спектральной области 1141 таким образом, что будут выполнены по крайней мере два различных алгоритма внесения исправлений в спектральной области из группы 1141-1 1143-1, 1145-1, 1147-1 алгоритмов внесения исправлений, формируя модифицированное спектральное представление 1149, соответствующее модифицированному спектральному представлению 125.

Модифицированное спектральное представление 1149 может (как опция) быть обработано последовательным интерполятором 1160, чтобы получить интерполированное модифицированное спектральное представление 1165. интерполированное модифицированное спектральное представление 1165 может затем подаваться на второй конвертер 810, который может, например, быть осуществлен как iFFT процессор 1170, имеющий вторую длину преобразования N=2048. Здесь, как описано соответственно на фиг.8, вторая длина преобразования N=2048 выбрана так, чтобы быть точно в четыре раза выше, чем первая длина преобразования N=512. Таким образом, рассмотрены особенности расширения полосы частот, осуществляемого схемой расширения полосы частот, которая выполнена с использованием различных алгоритмов внесения исправлений в спектральной области, что было подробно объяснено ранее.

iFFT процессор 1170 может быть выполнен с возможностью преобразовать интерполированное модифицированное спектральное представление 1165 в модифицированный сигнал 1175 на временном интервале, соответствующий модифицированной временной реализации сигнала 815 на фиг.8. Модифицированный сигнал 1175 на временном интервале может тогда подаваться на окно синтеза 1180 для того, чтобы применить функцию окна синтеза к модифицированному сигналу 1175 на временном интервале, чтобы получить модифицированный, обработанный функцией окна, сигнал 1185 на временном интервале. Здесь, функция окна синтеза подобрана к аналитической функции окна, таким образом, что за эффект применения аналитической функции окна компенсируется за счет применения функции окна синтеза.

Так как из-за расширения полосы частот, модифицированный, обработанный функцией окна, сигнал на временном интервале 1185 должен быть выбран при большей частоте осуществления выборки (например, 32 КГЦ) по сравнению с оригинальным уровнем осуществления выборки (например, 8 КГЦ); модифицированный, обработанный функцией окна, сигнал 1185 на временном интервале может быть, наконец, добавлен с наложением в блоке 1190, обозначенном "наложение и добавление", при этом отношение второго временного интервала, например 256 отсчетов (сэмплов), обозначенного "Inc=256", подаваемого на блок 1190 и первого временного интервала, например 64 отсчета, подаваемого на аналитическое окно 1120 (т.е отношение=4), будет равно отношению более высокой частоты осуществления выборки и оригинальной частоты осуществления выборки. Таким образом может быть получен выходной сигнал 1195, у которого такой же параметр наложения как и у оригинального (с низкой частотой выборки) сигнала 1115. Выходной сигнал 1195 формируемый устройством 1100, может быть обработан далее, высокочастотным манипулятором восстановления 130, как показано на фиг.1a, чтобы, наконец, получить сигнал с расширенной полосой частот.

Нужно отметить, что в решении на фиг.11, все различные алгоритмы внесения исправлений выполнены в той же самой области, например в области частоты. Область может быть областью QMF, как это делается в SBR, или любая другая область, такая как преобразование Фурье. Фактическое формирование исправлений данных может быть выполнено в различных областях. В этом случае, полное внесение исправлений, однако, всегда выполняется в той же самой области.

В добавление с внесением исправлений, которые рассматриваются при выборе, могут быть связаны различные модели источников сигнала. Например, модель источника речи, используемая при расширении полосы частот речи, как описано в Frederik Nagel, Sascha Disch, "A harmonic bandwidth extension method for audio codecs," ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009, может быть выбрана для речевых сигналов, в то время как модель стационарного источника может быть принята для постоянной музыки. Таким же образом, как описано ранее, у переходных процессов может быть своя собственная модель для внесения исправлений.

Кроме того, за счет наложения аналитических окон и окон синтеза для частотного-временного перемещения, между различными схемами внесения исправлений гарантируются гладкие переходы. Альтернативно, чтобы сделать возможным более низкое наложение могут использоваться специальные аналитические окна и окна синтеза.

В резюме, в решении на фиг.11 методы внесения исправлений могут быть выбраны среди простых операций копирования соседних частотных диапазонов, схема спектрального перемещения, основанная на фазовом вокодере включает копирование соседних частотных диапазонов.

Хотя данное изобретение было описано в контексте блок-схем, где блоки представляют физические или логические компоненты аппаратных средств, данное изобретение может также быть осуществлено методом с использованием компьютера. В последнем случае блоки представляют соответствующие шаги метода, где эти шаги обозначают функциональности, выполненные соответствующими логическими или физическими блоками аппаратных средств.

Описанные решения просто иллюстрируют принципы данного изобретения. Подразумевается, что модификации и изменения, описанных здесь, мероприятий и деталей будут очевидны для квалифицированных специалистов. Таким образом, это выражает намерение ограничится только областью основных утверждений в формулы изобретения, а не определенными деталями, представленными посредством описания и объяснения представленных решений.

В зависимости от определенных требований изобретение может быть осуществлено в виде аппаратуры или программного обеспечения. Изобретение может быть реализовано с использованием цифрового носителя данных, в частности, диска, DVD или компакт-диска, формирующего с помощью электроники, удобочитаемые управляющие сигналы, сохраненные на нем, которые действуют в программируемых компьютерных системах так, что выполняются предложенные методы решений. Вообще, данное изобретение может быть осуществлено как компьютерный программный продукт, с программой, сохраненной на машиночитаемом носителе, код программы, выполняется для того, чтобы осуществить методы изобретения, когда компьютерный программный продукт выполняется на компьютере. Другими словами изобретенные методы - это компьютерная программа, имеющая программный код для того, чтобы выполнить по крайней мере один из изобретенных методов, при выполнении компьютерной программы на компьютере. Закодированный с использованием изобретенных методов аудиосигнал может быть сохранен на любом машиночитаемом носителе данных, таком как цифровой носитель данных.

Решения данного изобретения позволяют расширить полосу частот, принимая во внимание звук, аппаратные средства, и особенности сигнала для процесса внесения исправлений. Решение для лучшего подходящего внесения исправлений может быть сделано в рамках принципа открытого или замкнутого цикла. Поэтому, качеством восстановления можно управлять и увеличивать его.

Представленная концепция имеет также преимущество легкого достижения гладкого перехода между различными алгоритмами внесения исправлений, обеспечивая быструю и точную адаптацию расширения полосы частот, основанную на сигнале.

Большинство известных решений - это аудио декодеры, которые часто осуществляются на переносных устройствах и, таким образом, работают от батареи.