АУДИО КОДЕР И ДЕКОДЕР, УВЕЛИЧИВАЮЩИЙ ПОЛОСУ ЧАСТОТ

Варианты осуществления изобретения связаны с обработкой аудио сигнала, а именно, с аудио кодером, способом получения выходного сигнала, декодером, который обеспечивает расширение диапазона частот, и способом получения аудио сигнала с увеличенным диапазоном частот.

Кодирование аудио сигналов с учетом их последующего восприятия для того, чтобы уменьшить объем данных для эффективного хранения и передачи информации нашло применение во многих сферах. Известными алгоритмами кодирования являются, например, MPEG 1/2 LAYER 3 "МР3" или MPEG 4 ААС. Применение данных алгоритмов кодирования, особенно при самых низких битрейтах, приводит к снижению качества звука. Это часто вызвано тем, что кодер имеет ограниченный диапазон передаваемых частот. Сигнал, пропущенный через фильтр нижних частот, кодируется при помощи так называемого центрального кодера, а области с более высокими частотами представляются в виде параметров и затем восстанавливаются из области, пропущенной через фильтр нижних частот.

Согласно WO 9857436 аудио сигнал подвергается процедуре уменьшения диапазона частот на стороне кодера, при этом кодируется только область низких частот аудио сигнала с помощью кодера высокого качества. Область высоких частот характеризуется очень примерно с помощью набора параметров, которые позволяют восстановить исходный спектр области высоких частот. Затем, на стороне декодера синтезируется полоса высоких частот. Для этой цели предлагается гармоническая транспозиция, когда полоса низких частот декодированного аудио сигнала направляется в банк фильтров. Каналы банка фильтров полосы низких частот соединяются с каналами банка фильтров полосы высоких частот, или «приводятся в соответствие», и каждый такой сигнал, пропущенный через полосно-пропускающий фильтр, подвергается корректировке. Синтезирующий банк фильтров, принадлежащий особому анализирующему банку фильтров, получает фильтрованный сигнал в диапазоне низких частот и скорректированный фильтрованный сигнал диапазона низких частот, который соответствует области высоких частот. Сигнал на выходе синтезирующего банка фильтров представляет собой сигнал, расширенный в соответствии с диапазоном частот аудио сигнала, переданного из кодера в декодер при низкой скорости передачи данных, т.к. вычисления банка фильтров и процесс определения соответствий между диапазонами высоких и низких частот представляет значительные трудности.

Менее затратные с точки зрения вычислений способы расширения диапазона частот аудио сигнала с ограниченным диапазоном частот применяют копирование низкочастотных областей сигнала (LF) в область высоких частот (HF) для того, чтобы приблизительно заполнить недостающую информацию, которая отсутствует из-за ограничения диапазона. Подобные способы описаны в следующих работах: М.Dietz, L.Liljeryd, K.Kjörling and 0.Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002; S.Meltzer, R. Böhm and F.Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)," 112th AES Convention, Munich, May 2002; Т.Ziegler, A.Ehret, P.Ekstrand and М.Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3 PRO Algorithm," in 112th AES Convention, Munich, May 2002; International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension," ISO/IEC, 2002, or "Speech bandwidth extension method and apparatus", Vasu Iyengar et al. US Patent Nr. 5,455,888.

Данные способы не применяют гармоническую транспозицию. Согласно этим способам полосовой сигнал низкой частоты искусственно копируется в смежную область полосового сигнала высоких частот. Это приводит к неточному представлению диапазона высоких частот. Грубое приближение полученного сигнала к исходному сигналу затем корректируется на следующем этапе путем определения контрольных параметров на основе исходного сигнала. Например, стандарт MPEG-4 использует масштабные коэффициенты для корректировки спектральной огибающей, сочетание обратной фильтрации и добавления порога шума для корректировки тональности, а также вставку синусоидальныхных частей сигнала для добавления тональных компонентов.

Кроме этого существует так называемое «слепое расширение диапазона частот», описанное в работах Е.Larsen, R.M.Aarts, and М.Danessis, "Efficient high-frequency bandwidth extension of music and speech". Однако об этом способе не упоминалось на 112-й конференции AES в Мюнхене, Германия, май 2002 г. Также существует так называемый способ «искусственного расширения диапазона частот», который рассматривается в работе K.Käyhkö, A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing, 2001.

В работе J.Makinen et al.: AMR-WB+: a new audio coding standard for 3^rd generation mobile audio services Broadcasts, IEEE, ICASSP ′05 описывается способ расширения диапазона частот, при котором операция копирования компонентов низких частот в диапазон высоких частот производится с помощью зеркального отражения, получаемого при увеличении частоты дискретизации низкочастотного фильтрованного сигнала.

В качестве альтернативы может применяться одностороння модуляция диапазона, которая в целом эквивалентна операции копирования в области фильтра. Способы, которые применяют гармоническое расширение диапазона? обычно используют этап определения тона (pitch tracking), этап нелинейного искажения (см. "U.Kornagel, Spectral widening of the excitation signal for telephone-band speech enhancement, in: Proceedings of the IWAENC, Darmstadt, Germany, September 2001, pp.215-218") или применяют фазовые голосовые кодеры, что указано в заявке на патент F.Nagel, S.Disch: "Apparatus and method of harmonic bandwidth extension in audio signals"" with the application number US 61/025129.

Стандарт WO 02/41302 A1, например, описывает способ повышения эффективности кодирующих систем, которые применяют реконструкцию высоких частот. Он показывает, как повысить общую эффективность таких систем при помощи постепенной адаптации частоты перехода между полосой низких частот, кодированной основным кодером, и полосой высоких частот, кодированной системой, которая применяет реконструкцию диапазона высоких частот. Согласно этому способу, основной кодер должен работать с различными частотами перехода как на стороне кодера, так и на стороне декодера. Таким образом, структура основного кодера усложняется.

Способы расширения диапазона частот описываются также в следующих работах: R.М.Aarts, E.Larsen, and О.Ouweltjes, A unified approach to low- and high-frequency bandwidth extension. In AES 115th Convention, New York, USA, October 2003", E.Larsen and R.М.Aarts: Audio Bandwidth Extension - Application to psychoacoustics. Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004", E.Larsen, R.М.Aarts, and М.Danessis: Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002", "J.Makhoul: Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973", "United States Patent Application 08/951,029, Ohmori et al.: Audio band width extending system and method" and "United States Patent 6895375, Malah, D & Cox, R. VS.: System for bandwidth extension of Narrow-band speech.

Способы гармонического расширения диапазона частот обычно являются очень сложными, а при упрощении способов расширения диапазона частот ухудшается качество. В конкретном случае, когда низкий битрейт сочетается с небольшой полосой низких частот, могут появиться такие помехи, как резкие переходы и искажения тембра.

Причиной этому является то, что порция высоких частот часто получена приблизительно на основе операции копирования, которая не определяет гармонические соотношения между частями тонального сигнала. Это относится как к гармоническому соотношению между диапазонами низкой и высокой частот, так и к гармоническому соотношению между последующими патчами в пределах диапазона высоких частот. Например, в SBR соседнее расположение кодированных компонентов и копируемых компонентов, которое случается на границе полос высоких и низких частот, может стать причиной тому, что звук воспринимается как неравномерный. Это показано на фиг.18, где тональные порции, скопированные из диапазона низких частот в диапазон высоких частот, спектрально близко примыкают к тональным порциям диапазона низких частот.

Фиг.18A иллюстрирует исходную спектрограмму 1800A сигнала, состоящего из трех тонов. Фиг.18B показывает диаграмму 1800B сигнала с увеличенным диапазоном, который соответствует исходному сигналу на фиг.18A. Абсцисса указывает время, ордината - частоту. В частности, что касается последнего тона, то здесь можно наблюдать потенциальные проблемы 1810 (размытые линии 1810).

Если известные способы рассматривают гармоническое отношение, то это происходит всегда на основе F₀-оценки. В этом случае успех этих способов в значительной мере зависит от надежности этой оценки.

В целом, известные способы увеличения диапазона частот позволяют получить аудио сигналы при низком битрейте, при высоком битрейте качество аудио сигнала не всегда может быть высоким.

Задачей настоящего изобретения является улучшение схемы кодирования аудио сигналов.

Эта задача решается при помощи аудио кодера согласно п.1, декодера, увеличивающего диапазон частот, согласно п.3 и п.8 и способу согласно п.12, 13 и 14.

При осуществлении настоящего изобретения применяется аудио кодер, который генерирует выходной сигнал на основе входного аудио сигнала. Аудио кодер включает генератор патчей, компаратор и выходной интерфейс.

Генератор патчей генерирует, как минимум, один сигнал с увеличенным диапазоном высоких частот. Сигнал с увеличенным диапазоном высоких частот включает полосу высоких частот, которая основана на низких частотах входного аудио сигнала.

Если создавались разные сигналы с увеличенным диапазоном высоких частот, то различные сигналы будут включать различные частоты.

Компаратор вычисляет множество сравнительных параметров. Сравнительный параметр вычисляется на основе сравнения входного аудио сигнала и созданного сигнала с увеличенным диапазоном высоких частот. Каждый параметр из множества параметров сравнения вычисляется на основе отдельной частоты смещения между входным аудио сигналом и созданным сигналом с увеличенным диапазоном высоких частот. Далее компаратор выделяет параметр сравнения из множества параметров сравнения таким образом, что выделенный параметр соответствовал заранее заданному критерию.

Иначе говоря, компаратор может быть сконфигурирован таким образом, что он будет определять тот параметр сравнения среди множества параметров сравнения, который наилучшим образом соответствует заданному критерию.

Выходной интерфейс обеспечивает выходной сигнал для его передачи или хранения. Выходной сигнал включает индикацию сигнала на основе частоты смещения, соответствующей определенному параметру сравнения.

Иначе говоря, выходной сигнал включает выбранный параметр сравнения, который указывает оптимальную частоту смещения.

Следующий вариант изобретения включает декодер, который увеличивает диапазон частот, для получения аудио сигнала с увеличенным диапазоном частот на основе входного аудио сигнала и параметрического сигнала. Параметрический сигнал содержит указание на частоту смещения и параметр плотности мощности. Декодер, увеличивающий диапазон частот, включает генератор патчей, блок объединения и выходной интерфейс.

Генератор патчей создает сигнал с увеличенным диапазоном высоких частот, который включает полосу высоких частот. Полоса высоких частот данного сигнала генерируется на основе одного или более сдвига полосы частот входного аудио сигнала. Сдвиги частот основаны на частоте смещения.

Генератор патчей может расширять или уменьшать полосу высоких частот сигнала с увеличенным диапазоном высоких частот с помощью коэффициента, равного значению параметра плотности мощности или обратной величине параметра плотности мощности соответственно.

Блок объединения соединяет сигнал с полосой высоких частот и входной аудио сигнал для того, чтобы получить сигнал с увеличенным диапазоном высоких частот.

Выходной интерфейс обеспечивает выход сигнала с увеличенным диапазоном.

Следующий вариант реализации настоящего изобретения имеет декодер, увеличивающий полосу частот, для получения аудио сигнала с увеличенным диапазоном частот на основе входного аудио сигнала. Декодер, увеличивающий полосу частот, включает генератор патчей, компаратор, блок объединения и выходной интерфейс.

Генератор патчей создает, как минимум, один сигнал с полосой высоких частот, включающий полосу высоких частот, полученную на основе входного аудио сигнала. При этом нижняя предельная частота полосы высоких частот созданного сигнала оказывается ниже, чем верхняя предельная частота входного аудио сигнала. Если генерируются разные сигналы с полосой высоких частот, то полученные сигналы с полосой высоких частот имеют различные частоты в рамках своих высокочастотных полос.

Компаратор вычисляет множество параметров сравнения. Параметр сравнения вычисляется на основе сравнения входного аудио сигнала и созданного сигнала с полосой высоких частот. Каждый параметр сравнения из множества параметров сравнения вычисляется на основе разных частот смещения между входным аудио сигналом и созданным сигналом с полосой высоких частот. Далее компаратор выделяет параметр сравнения из множества параметров сравнения так, чтобы определенный параметр соответствовал заранее заданному критерию.

Иначе говоря, компаратор определяет тот параметр сравнения среди множества параметров, который максимально соответствует заданному критерию.

Блок объединения объединяет входной аудио сигнал и сигнал с полосой высоких частот для получения аудио сигнала с увеличенным диапазоном частот. При этом сигнал с полосой высоких частот, используемый для получения сигнала с увеличенным диапазоном частот, основывается на частоте смещения, соответствующей выделенному параметру сравнения.

Выходной интерфейс обеспечивает выход аудио сигнала с увеличенным диапазоном частот.

Варианты реализации настоящего изобретения основываются на основной идее о том, что можно создавать сигнал с полосой высоких частот, который также называется патч, на базе исходного входного сигнала, а также их сравнивать. При помощи различных частот смещения сигнала с полосой высоких частот или нескольких сигналов с полосой высоких частот с различными частотами смещения может быть вычислено множество параметров сравнения, соответствующих этим частотам смещения. Параметры сравнения могут быть соотнесены с числом, которое ассоциируется с качеством аудио сигнала. Таким образом, при определении параметра сравнения гарантируется соответствие сигнала с полосой высоких частот и входного аудио сигнала, вследствие чего повышается качество звука.

Битрейт для передачи и хранения кодированного аудио сигнала может быть уменьшен при помощи указания параметра на основе частоты смещения, соответствующего определенному параметру сравнения для реконструкции полосы высоких частот исходного входного аудио сигнала. В этом случае для хранения и передачи необходимы только порция низких частот входного аудио сигнала и индикация параметра.

Термины ′параметр сравнения′, ′частота перехода′ и ′индикация параметра′ будут определены позже.

Некоторые варианты реализации настоящего изобретения включают компаратор, который использует взаимную корреляцию при сравнении входного аудио сигнала и созданного сигнала с полосой высоких частот для вычисления параметра сравнения.

Некоторые варианты реализации настоящего изобретения включают генератор патчей, который создает сигнал с полосой высоких частот во временной области на основе односторонней модуляции полосы частот.

Преимуществом предпочтительных форм реализации настоящего изобретения является улучшенная схема кодирования аудио сигналов, которая позволяет увеличить качество звука и/или уменьшить битрейт для передачи или хранения сигнала.

Варианты реализации настоящего изобретения будут далее детально рассмотрены в соответствии со следующими фигурами, которые даны в приложении:

Фиг.1 - блок-схема аудио кодера;

Фиг.2 - схематическая иллюстрация процесса создания сигнала с полосой высоких частот, сравнения входного аудио сигнала и созданного сигнала с полосой высоких частот, а также процесса адаптации мощности сигнала с полосой высоких частот;

Фиг.3- схематическая иллюстрация процесса создания сигнала с полосой высоких частот, сравнения входного аудио сигнала и сигнала с полосой высоких частот, а также процесса адаптации мощности сигнала с полосой высоких частот;

Фиг.4 - блок-схема кодера, увеличивающего полосу частот;

Фиг.5 - блок-схема декодера, увеличивающего полосу частот;

Фиг.6 - блок-схема декодера, увеличивающего полосу частот;

Фиг.7- схема способа получения выходного сигнала на основе входного аудио сигнала;

Фиг.8 - схема способа получения сигнала с увеличенным диапазоном частот;

Фиг.9- схема способа получения выходного сигнала на основе входного аудио сигнала;

Фиг.10 - схема способа вычисления параметра сравнения;

Фиг.11 - схематическая иллюстрация интерполяции частоты смещения;

Фиг.12 - блок-схема декодера, увеличивающего полосу частот;

Фиг.13 - схема способа получения сигнала с увеличенным диапазоном частот;

Фиг.14 - блок-схема способа получения сигнала с увеличенным диапазоном частот;

Фиг.15 - блок-схема кодера, увеличивающего полосу частот;

Фиг.16A - спектрограмма трех тонов при использовании переменной переходной частоты;

Фиг.16B - спектрограмма исходного аудио сигнала, состоящего из трех тонов;

Фиг.17 - диаграмма спектра мощности исходного аудио сигнала и сигнала с увеличенным диапазоном частот, которые используют постоянную частоту перехода, и сигнала с увеличенным диапазоном частот, который использует переменную частоту перехода;

Фиг.18A - спектрограмма трех тонов при использовании известного способа увеличения диапазона частот;

Фиг.18B - спектрограмма исходного аудио сигнала, состоящего из трех тонов.

В последующем описании объекты и функциональные модули, имеющие одинаковые или схожие функциональные свойства, будут указываться одними и теми же порядковыми номерами на схемах. Описания, касающиеся какой-либо схемы, будут относиться и к другим схемам во избежание повторов в описании вариантов изобретения.

Фиг.1 показывает блок-схему аудио кодера 100 для получения выходного сигнала 132 в соответствии с настоящим изобретением, используя входной аудио сигнал 102. Выходной сигнал может применяться для расширения полосы частот на стороне декодера. Таким образом, аудио кодер также называется кодер увеличения полосы частот. Кодер увеличения полосы частот 100 включает генератор патчей 110, компаратор 120 и выходной интерфейс 130. Генератор патчей 110 соединяется с компаратором 120, а компаратор 120 соединяется с выходным интерфейсом 130.

Генератор патчей 110 генерирует, как минимум, один сигнал с полосой высоких частот 112. Сигнал 112 имеет полосу высоких частот, которая создана на основе полосы низких частот входного аудио сигнала 102. В том случае, если генерируются различные сигналы с полосами высоких частот 112, то сигналы 112 имеют различные частоты в диапазоне высоких частот.

Компаратор 120 вычисляет множество параметров сравнения. Параметр сравнения вычисляется на основе сравнения входного аудио сигнала 102 и созданного сигнала с полосой высоких частот 112. Каждый параметр сравнения из множества параметров сравнения на основе разных частот смещения между входным аудио сигналом 102 и созданным сигналом с полосой высоких частот 112. Далее компаратор определяет параметр сравнения из множества параметров сравнения так, чтобы он соответствовал заранее заданному критерию.

Выходной интерфейс 130 обеспечивает выходной сигнал 132 для последующей передачи или хранения. Выходной сигнал 132 имеет индикацию параметра на основе частоты смещения в соответствии с определенным параметром сравнения.

При помощи вычисления множества параметров сравнения для различных частот смещения может быть найден сигнал с полосой высоких частот 122, который максимально соответствует исходному входному сигналу 102. Это достигается путем генерации множества сигналов с полосой высоких частот 112, каждый из которых имеет различную частоту смещения, или путем создания одного сигнала с полосой высоких частот 112 и дальнейшим сдвигом полосы высоких частот сигнала 112 при помощи различных частот смещения. Также возможна комбинация создания множества сигналов с полосой высоких частот 112 с различными частотами смещения и дальнейшего сдвига полос высоких частот этих сигналов при помощи других частот смещения. Например, генерируются пять различных сигналов с полосой высоких частот 112, и каждый их них сдвигается пять раз на определенную частоту смещения.

На фиг.2 представлена схематическая иллюстрация 200 процесса создания сигнала с полосой высоких частот, сравнения сигнала с полосой высоких частот с входным сигналом и опциональную адаптацию мощности сигнала с полосой высоких частот в случае, если генерируется только один сигнал с полосой высоких частот, который сдвигается на величину различных частот смещения.

Первая диаграмма «мощность vs. частота» 210 схематично показывает входной аудио сигнал 102. На основе этого входного сигнала 102 генератор патчей 110 может создавать сигнал с полосой высоких частот 112, например, при помощи сдвига 222 полосы низких частот входного аудио сигнала 102 в сторону более высоких частот (как указано порядковым номером на схеме). Например, полоса низкой частоты сдвигается на частоту, равную частоте перехода основного кодера, не показанного на фиг.1, который может быть частью кодера 100, увеличивающего полосу частот, или на другую заранее заданную частоту.

Созданный сигнал с полосой высоких частот 112 затем может сдвигаться на различные частоты смещения 232, для каждой частоты смещения 232 (на схеме обозначено номером 230) компаратором 120 может быть вычислен параметр сравнения. Частота смещения 232 может быть определена, например, по отношению к частоте перехода основного кодера, по отношению к другой заданной частоте или как абсолютное частотное значение.

Далее компаратор 120 определяет параметр сравнения, соответствующий заранее заданному критерию. Таким образом может быть определен сигнал с полосой высоких частот 112 с частотой смещения 242, соответствующей определенному параметру сравнения (на схеме указано номером 240).

Дополнительно может быть определен параметр плотности мощности 252 (на схеме указан номером 250). Параметр плотности мощности 252 показывает отношение полосы высоких частот созданного сигнала с частотой смещения согласно определенному параметру сравнения к соответствующей полосе частот входного аудио сигнала. Например, это отношение может быть представлено коэффициентом плотности мощности, коэффициентом мощности или другим коэффициентом, который относится к плотности мощности частотного диапазона.

В отличие от предыдущих схем, фиг.3 представляет собой схематическую иллюстрацию 300 процесса создания сигнала с полосой высоких частот, сравнения созданных сигналов с входным аудио сигналом и возможной адаптации мощности созданного сигнала с полосой высоких, если создается множество сигналов с полосами высоких частот, которые имеют различные частоты смещения.

В отличие от последовательности, показанной на фиг.2, генератор патчей 110 создает множество сигналов с полосами высоких частот 112 с различными частотами смещения (показано номером 320). Это происходит, как и в предыдущем случае, с помощью частотного сдвига 222 полосы низких частот входного аудио сигнала 102 в диапазон высоких частот. Полоса низких частот входного аудио сигнала 102 может сдвигаться на постоянную частоту плюс индивидуальная частота смещения 232 каждого сигнала с полосой высоких частот 112. Постоянная частота может быть равной частоте перехода основного кодера или другой определенной частоте.

Затем компаратором 120 вычисляется параметр сравнения для каждого созданного сигнала с полосой высоких частот 112, а также параметр сравнения 240, соответствующий заранее заданному критерию.

Параметр плотности мощности 250 определяется так, как это указано выше.

Схемы, показанные на фиг.2 и 3, могут быть также скомбинированы.

Сравнение входного аудио сигнала 102 и созданного сигнала с полосой высоких частот 112 может проводиться на основе взаимной корреляции обоих сигналов. В этом случае параметр сравнения может быть, например, результатом взаимной корреляции между входным аудио сигналом 102 и созданным сигналом с полосой высоких частот 112 для определенной частоты смещения.

Индикация параметра выходного сигнала 132 может быть представлена самой частотой смещения, квантованной частотой смещения или другой величиной, основанной на частоте смещения.

При передаче или хранении только индикации параметра вместо полосы высоких частот входного аудио 102 битрейт для передачи или хранения может быть понижен. Выбор параметра, основанного на частоте смещения согласно параметру сравнения, соответствующего заданному критерию, приводит к улучшению качества звука по сравнению с декодированием аудио сигнала с ограниченной полосой частот.

Согласно заранее заданному критерию определяется параметр сравнения из множества параметров сравнения, который указывает, например, на сигнал с полосой высоких частот 112 с необходимой частотой смещения, который соответствует входному аудио сигналу 102 лучше, чем остальные 70% сигналов с полосами высоких частот с другими частотами смещения. Параметр сравнения может также указывать на сигнал с полосой высоких частот 112 с необходимой частотой смещения, который является одним из трех лучших соответствий входному аудио сигналу 102, или на сигнал с полосой высоких частот 112 с необходимой частотой смещения, который максимально соответствует входному сигналу. Это относится к той ситуации, когда генерируется множество сигналов с полосой высоких частот 112 с различными частотами смещения или к ситуации, когда генерируется один сигнал с полосой высоких часто 112, который сдвигается при помощи разных частот смещения, или к комбинации этих схем.

Параметр сравнения может быть результатом взаимной корреляции или другой величиной, которая указывает, как максимально сигнал с полосой высоких частот 112 с определенной частотой смещения соответствует входному аудио сигналу 102.

Кодер, увеличивающий диапазон частот, 100 может включать основной кодер для кодирования полосы низких частот входного аудио сигнала 102. Основной кодер может работать с частотой перехода, которая соответствует верхней предельной частоте кодируемой полосы низких частот входного аудио сигнала 102. Переходная частота основного кодера может быть постоянной или переменной. Применение переменной частоты перехода усложняет функционирование основного кодера, но может также увеличить гибкость процесса кодирования.

Процесс, показанный на фиг.2 и/или фиг.3 может повторяться для полос с более высокими частотами или патчей. Например, полоса низких частот входного аудио сигнала 102 имеет верхнюю предельную частоту 4 кГц. Таким образом, если полоса нижних частот входного аудио сигнала 102 сдвигается на величину, равную верхней предельной частоте полосы нижних частот, для того, чтобы получить сигнал с полосой высоких часто 112, то сигнал 112 имеет полосу высоких частот с нижней предельной частотой 4 кГц и верхней предельной частотой 8 кГц. Процесс можно повторить, если сдвинуть полосу нижних частот входного аудио сигнала 102 на величину, равную верхней предельной частоте полосы нижних частот, увеличенную в два раза. Так, созданный сигнал с полосой высоких частот 112 будет иметь полосу высоких частот с нижней предельной частотой 8 кГц и верхней предельной частотой 12 кГц. Этот процесс может повторяться до тех пор, пока не будет достигнута необходимая высокая частота.

В качестве альтернативы эту процедуру можно осуществить путем создания одного сигнала со множеством полос высоких частот.

Как показано на примере, ширина полосы низких частот входного аудио сигнала и ширина полосы высоких частот созданного сигнала одинаковы. В качестве альтернативы полоса низких частот входного аудио сигнала может быть растянута или сдвинута для того, чтобы получить сигнал с полосой высоких частот.

При определении сигнала с полосой высоких частот 112 с частотой смещения 232, соответствующей определенному параметру сравнения, может остаться пробел между полосой низких частот входного аудио сигнала 102 и полосой высоких частот созданного сигнала 112 в зависимости от частоты смещения 242. Этот пробел можно заполнить путем создания частотных порций, соответствующих пробелу и содержащих, например, шум, ограниченный по полосе. Пробел можно также оставить незаполненным, т.к. качество звука существенно не пострадает.

На фиг.4 показана блок-схема кодера, увеличивающего диапазон частот, 400, который создает выходной сигнал 132 в процессе обработки входного аудио сигнала 102 в соответствии с одним из вариантов реализации настоящего изобретения. Кодер, увеличивающий диапазон частот, 400 включает генератор патчей 110, компаратор 120, выходной интерфейс 130, основной кодер 410, полосовой фильтр 420 и блок выделения параметров 430. Основной кодер 410 соединен с выходным интерфейсом 130 и генератором патчей 110, генератор патчей 110 соединен с компаратором 120, компаратор 120 соединен с блоком выделения параметров 430, блок выделения параметров 430 соединен с выходным интерфейсом 130 и полосовой фильтр 420 соединен с компаратором 120.

Генератор патчей 110 может быть реализован как модулятор для создания сигнала с полосой высоких частот 112 на основе входного сигнала 102. Компаратор 120 выполняет сравнение входного аудио сигнала 102, отфильтрованного с помощью полосового фильтра 420, и созданного сигнала с полосой высоких частот 112 на основе их взаимной корреляции. Определение параметра сравнения, соответствующего заранее заданному критерию, может быть также названо вычислением отставания.

Выходной интерфейс может также иметь функцию блока формирования битового потока и включать блок объединения для соединения низкочастотного сигнала, который обеспечивается основным кодером 410, и параметрического сигнала, включающего параметр, определенный на основе частоты смещения, который обеспечивается блоком выделения параметров 430. Далее выходной интерфейс 130 может включать энтропийный кодер или дифференциальный кодер для уменьшения битрейта выходного сигнала 132. Блок объединения и энтропийный или дифференциальный кодер могут быть частью выходного интерфейса 130, как показано в этом примере, или представлять собой отдельные блоки.

Аудио сигнал 102 может быть разделен на две части: с низкими частотами и высокими частотами. Разделение проводится с помощью фильтра нижних частот основного кодера 410 или полосового фильтра 420. Фильтр нижних частот может быть частью основного кодера 410 или быть независимым фильтром, соединенным с основным кодером 410.

Низкочастотная часть обрабатывается основным кодером 410, подобным MPEG 1/2 Layer 3 "МР3" или MPEG 4 AAC standard или голосовым кодером.

Полоса низких частот сдвигается на фиксированную величину посредством преобразования полосы боковых частот или быстрого преобразования Фурье (FFT) в частотной области. Таким образом, она располагается выше исходной области низких частот в соответствующем патче. Кроме этого полоса низких частот может быть получена непосредственно из входного сигнала 102 с помощью независимого фильтра нижних частот, соединенного с генератором патчей 110.

В случае постоянных временных интервалов может быть вычислена взаимная корреляция между амплитудно-частотными характеристиками окон исходной высокочастотной полосы (исходного аудио сигнала) и полученной высокочастотной полосы (созданного сигнала с полосой высоких частот). Таким образом может быть определена задержка (частота смещения) для максимальной корреляции. Эта задержка означает корректирующий коэффициент в терминах исходного одностороннего преобразования частотного диапазона, т.е. одностороннее преобразование частотного диапазона может быть дополнительно скорректировано с помощью задержки для того, чтобы довести взаимную корреляцию до максимума. Иными словами, определяется частота смещения, также называемая задержкой, соответствующая параметру сравнения, который, в свою очередь, отвечает заранее заданному критерию. Таким образом, параметр сравнения соответствует взаимной корреляции, а задачей заранее заданного критерия является нахождение максимальной корреляции.

Дополнительно определяется отношение между абсолютными значениями амплитудно-частотных характеристик. Так вычисляется коэффициент, на который уменьшается или увеличивается полученный высокочастотный сигнал. Иными словами, может быть определен параметр плотности мощности, который обозначает коэффициент мощности, плотностей мощности, абсолютных значений амплитудно-частотных характеристик или других величин, соотносимых с соотношением плотности мощности между полосой высоких частот созданного сигнала 112 и соответствующей полосы частот исходного входного аудио сигнала 102. Процедура проводится компаратором плотности мощности, который может быть частью блока извлечения параметров 430, как показано в данном примере, или независимым блоком. Для определения параметра плотности мощности может быть использован сигнал с полосой высоких частот 112, который был создан путем сдвига полосы низких частот входного аудио сигнала 102 на постоянную частоту или сигнал с полосой высоких частот 112, соответствующий определенному параметру сравнения, или другой созданный сигнал с полосой высоких частот 112. Соответствующая полоса частот в этом случае обозначает полосу частот с одинаковым частотным диапазоном. Например, если полоса высоких частот созданного сигнал включает частоты от 4 кГц до 8 кГц, то соответствующая полоса частот входного аудио сигнала также имеет диапазон от 4 кГц до 8 кГц.

Полученные коэффициенты корректировки (частота смещения, параметр плотности мощности), соответствующие задержке и абсолютному значению амплитуды, могут быть интерполированы во времени. Иными словами, возможна интерполяция параметра, полученного для одного окна сигнала (для временного фрейма), на каждый временной период сигнала.

Эта модуляция (контроль) сигнала (параметрического сигнала) или его параметрическая репрезентация может быть сохранена или передана в декодер. Иными словами, параметрический сигнал 432 может быть объединен с полосой низких частот входного аудио сигнала 102, обработанного основным кодером 410, для того, чтобы получить выходной сигнал 132, который может быть сохранен или передан в декодер.

В дополнение могут быть определены параметры для адаптации, например, уровня шума и/или тональности. Вычисления проводятся блоком извлечения параметров 430. Дополнительные параметры добавляются к параметрическому сигналу 432.

Пример, показанный на фиг.4, иллюстрирует вычисления переменных во времени модуляций на стороне кодера. Переменные во времени модуляции в этом случае относятся к сигналам с полосой высоких частот 112 с различными частотами смещения. Частота смещения, соответствующая определенному параметру сравнения, который отвечает заранее заданному критерию, может изменяться во времени.

На фиг.5 показана блок-схема декодера, увеличивающего полосу частот, 500, для получения сигнала с увеличенным частотным диапазоном 532 на основе входного аудио сигнала 502 и параметрического сигнала 504 в соответствии с одним из вариантов реализации настоящего изобретения. Параметрический сигнал 504 включает показатель частоты смещения и параметр плотности мощности. Декодер, увеличивающий полосу частот, 500 включает генератор патчей 510, блок объединения 520 и выходной интерфейс 530. Генератор патчей 510 соединен с блоком объединения 520, а блок объединения 520 соединен с выходным интерфейсом 530.

Генератор патчей 510 генерирует сигнал с полосой высоких частот 512, который имеет полосу высоких частот, созданную на основе входного аудио сигнала 502. Полоса высоких частот созданного сигнала 512 генерируется на основе частотного сдвига полосы частот входного аудио сигнала 502, при этом частотный сдвиг производится на основе частоты смещения.

Далее генератор патчей 510 увеличивает или уменьшает полосу высоких частот созданного сигнала 512 на коэффициент, равный значению параметра плотности мощности или обратный значению параметра плотности мощности.

Блок объединения 520 соединяет сигнал с полосой высоких частот 512 и входной аудио сигнал 502 для того, чтобы получить аудио сигнал с увеличенным диапазоном частот 532, а выходной интерфейс 530 выводит сигнал с увеличенным диапазоном частот 532.

Создание сигнала с полосой высоких частот 112 на основе частоты смещения позволяет расширить диапазон высоких частот входного аудио сигнала, если, например, частота смещения определяется так, как было указано ранее. Это позволяет улучшить качество звука сигнала с увеличенным диапазоном частот 532.

Кроме этого плотность мощности при расширении полосы высоких частот входного аудио сигнала 502 устанавливается эффективным способом - путем увеличения или уменьшения полосы высоких частот созданного сигнала 112 на коэффициент плотности мощности. В этом случае нет необходимости в корректировке.

Генератор патчей 510 генерирует сигнал с полосой высоких частот 512 при помощи сдвига полосы частот входного аудио сигнала 512 на постоянную частоту, а также на частоту смещения. Если частота смещения указывает на частотный сдвиг к более низким частотам, то блок объединения может проигнорировать часть полосы высоких частот созданного сигнала 512, которая включает частоты ниже верхней предельной частоты входного аудио сигнала 502.

Генератор патчей 510 создает сигнал с полосой высоких частот 512 во временной или частотной области. Во временной области генератор патчей 510 может создавать сигнал с полосой высоких частот 512 на основе одностороннего преобразования диапазона частот.

Кроме этого выходной интерфейс может усиливать выходной сигнал.

На фиг.6 показана блок-схема декодера, увеличивающего полосу частот, 600 для получения сигнала с увеличенным диапазоном частот 532 на основе входного аудио сигнала 502 и параметрического сигнала 504 согласно одному из вариантов реализации настоящего изобретения. Декодер, увеличивающий полосу частот, включает генератор патчей 510, блок объединения 520, выходной интерфейс 530, основной декодер 610 и блок извлечения параметров 620. Основной декодер 610 соединен с генератором патчей 510 и блоком объединения 520, блок извлечения параметров 620 соединен с генератором патчей 510 и выходным интерфейсом 530, генератор патчей 510 соединен с блоком объединения 520, а блок объединения 520 соединен с выходным интерфейсом 530.

Основной декодер 610 декодирует полученный битовый поток 602 и направляет входной аудио сигнал 502 в генератор патчей 510 и блок объединения 520. Входной аудио сигнал 502 может иметь верхнюю предельную частоту, равную частоте перехода основного декодера 610. Частота перехода может быть постоянной или переменной во времени. Переменная во времени обозначает, что она меняется для различных временных интервалов или временных фреймов, но остается постоянной для одного временного интервала или временного фрейма.

Блок извлечения параметров 620 может отделять параметрический сигнал 504 от полученного битового потока 602 и направлять его в генератор патчей 510. Кроме этого параметрический сигнал 504 или выделенный параметр шума и/или тональности может быть направлен на выходной интерфейс 530.

Генератор патчей 510 может преобразовывать входной аудио сигнал 502 на основе частоты смещения для того, чтобы получить сигнал с полосой высоких частот 512, а также увеличивать или уменьшать сигнал с полосой высоких частот 512 на основе параметра плотности мощности, который находится в параметрическом сигнале 504. Сигнал с полосой высоких частот 512 направляется в блок объединения 530. Иными словами, генератор патчей 510 преобразовывает входной аудио сигнал 502 с помощью частоты смещения и параметра плотности мощности для того, чтобы получить высокочастотный сигнал. Процесс может происходить, например, во временной области с помощью одностороннего преобразования полосы частот 634 совместно с интерполяцией и/или фильтрованием 632 для каждого временного интервала.

Блок объединения 520 соединяет входной аудио сигнал 502 и созданный сигнал с полосой высоких частот 512 для того, чтобы получить сигнал с расширенным диапазоном частот 532.

Выходной интерфейс 530 выводит сигнал с расширенным диапазоном частот 532 и может дополнительно включать корректирующий блок. Корректирующий блок выполняет коррекцию тональности и/или шума на основе параметров, которые обеспечиваются блоком извлечения параметров 620. Корректирующий блок может быть частью выходного интерфейса 530, как показано на фиг.6, или отдельным блоком. Корректирующий блок может также располагаться между генератором патчей 510 и блоком объединения 520. В этом случае корректирующий блок корректирует тональность и/или шум только созданного сигнала с полосой высоких частот 512. Корректировка тональности и шума входного аудио сигнала 502 может не приниматься во внимание, т.к. входной аудио сигнал 502 соответствует исходному аудио сигналу.

Обобщая, можно сказать, что декодер, увеличивающий полосу частот, 600 может синтезировать и формировать спектр сигнала с высокой частотой на основе выходного сигнала аудио декодера или основного декодера (входного аудио сигнала при помощи переданной функции преобразования. Переданная функция преобразования обозначает функцию преобразования на основе частоты смещения или параметра плотности мощности. Затем возможно соединение сигналов с высокой частотой и низкой частотой, далее возможно применение параметров для адаптации шума и тональности.

На фиг.7 показана схема способа 700 для получения выходного сигнала на основе входного аудио сигнала в соответствии с реализацией настоящего изобретения. Способ включает создание 710, как минимум, одного сигнала с полосой высоких частот, вычисление 720 множества параметров сравнения, выделение 730 параметра сравнения из множества параметров сравнения и обеспечение 740 выходного сигнала для последующей передачи или хранения.

Созданный сигнал с расширенной полосой частот имеет полосу высоких частот. Полоса высоких частот созданного сигнала основана на полосе низких частот входного аудио сигнала. Различные сигналы с расширенными полосами частот имеют различные частоты в рамках полосы высоких частот.

Параметр сравнения вычисляется на основе сравнения входного аудио сигнала и созданного сигнала с полосой высоких частот. Каждый параметр сравнения из множества параметров вычисляется на основе различных частот смещения между входным аудио сигналом и созданным сигналом с полосой высоких частот.

Выделенный параметр сравнения соответствует заранее заданному критерию.

Выходной сигнал включает индикацию параметра, основанного на частоте смещения, которая соответствует определенному параметру сравнения.

На фиг.8 показана схема способа 800 получения аудио сигнала с увеличенным диапазоном частот на основе входного аудио сигнала и параметрического сигнала согласно одному из вариантов реализации настоящего изобретения. В параметрическом сигнале имеется указание на частоту смещения и параметр плотности мощности. Способ включает создание 810 сигнала с полосой высоких частот, увеличение 820 или уменьшение полосы высоких частот сигнала с расширенной полосой частот, объединение 830 сигнала с полосой высоких частот и входного аудио сигнала для получения сигнала с расширенным диапазоном частот и вывод 840 сигнала с расширенным диапазоном частот.

Сигнал с расширенной полосой частот имеет полосу высоких частот. Полоса высоких частот сигнала с расширенной полосой частот создается 810 на основе сдвига полосы частот входного аудио сигнала. Частотный сдвиг происходит при помощи частоты смещения.

Полоса высоких частот сигнала с расширенной полосой частот увеличивается 820 или уменьшается на коэффициент, равный значению параметра плотности мощности или обратный значению параметра плотности мощности.

На фиг.9 показана схема способа 900 получения и вывода сигнала на основе входного аудио сигнала согласно одному из вариантов реализации настоящего изобретения. Схема иллюстрирует возможность применения алгоритма на стороне кодера. Последовательность можно описать математически следующим образом. Сигналы реального времени обозначаются прописными латинскими буквами, сигналы, прошедшие этап трансформации Гилберта, обозначаются соответствующими буквами греческого алфавита, сигналы, прошедшие этап трансформации Фурье, - заглавными буквами латинского или греческого алфавита.

Входной сигнал обозначен как f(n), выходной сигнал - о(n). указывает на трансформацию Фурье, j обозначает воображаемое число, трансформация Гилберта Н(.) определяется обычным образом:

φ(m):=H(f(n))=F^-1(-j·sgn(ω)·F(jω)),

где

F(jω):=F(f(n))

xOver обозначает предельную частоту основного кодера, n∈N обозначает время. k_max>k∈N обозначает k-e расширение или патч. α_k обозначает границу полосы воспринимаемых полос, относящихся к xOver в соответствии, например, со шкалой Барка или ERB. В качестве альтернативы α_k может увеличиваться линейно, т.е. α_k+1-α_k≡константа. Трансформация Гилберта может быть эффективно вычислена при помощи фильтрации сигнала модулированным фильтром нижних частот.

Во-первых, может быть создана аналитическая функция модулятора 902 с частотами модуляции α_k и результирующими фазовыми инкрементами при временном инкременте (Fs указывает частоту выборки). Математически это можно описать с помощью следующих формул:

Сумму можно заменить только на n, если γ_k не зависит от n.

Входной аудио сигнал 102 или реальный аудио сигнал f подвергается процессу фильтрации с помощью полосового фильтра до полосы α_k+1-α_k, что можно выразить следующим образом:

f_LF=f*filt_LF

В этом случае каждый патч будет иметь одинаковую ширину полосы.

В качестве альтернативы входной сигнал f 102 может быть отфильтрован с помощью полосового фильтра до полос α_k с различной шириной, что выражается формулой:

Затем определяются области исходного сигнала, которые должны быть реконструированы с помощью рассматриваемого способа. Области с ограниченными полосами обозначаются как:

и располагаются в интервалах (α_k, α_k+1).

Преобразование входных сигналов, отфильтрованных с помощью фильтра нижних частот, 904 может происходить в частотной или временной области.

В частотной области входные сигналы сначала разбиваются на окна, что выражается следующим образом:

где NFFT - число быстрых преобразований Фурье (например, с частотой дискретизации 512), ξ - количество окон, a win(.) - оконная функция. Окна или временные фреймы могут частично совмещаться в плане времени. Например, формула, приведенная выше, представляет наложение по времени, равное половине окна. N∈N временные интервалы исходного сигнала и связанные с ним множество амплитудно-спектральных характеристик F_ξ(ω) при ξ≤N как абсолютные значения преобразования Фурье

представляют показатель границы полосы k в процессе преобразования Фурье.

Затем сигнал преобразовывается в частотной области при помощи сдвига цифровых результатов FFT-преобразований (быстрых преобразований Фурье). В имплицитном преобразовании Гилберта здесь нет необходимости, но оно позволяет равноценно описать последующие шаги:

для ω≥0 и

Ф_ξ(ω):=Ψ_ξ(ω):≡0∀ω<0

Во временной области трансформация Гилберта 906 входного аудио сигнала f 102 для создания аналитического сигнала 908 производится в первую очередь.

φ:=f+jH(f)

и

Затем аналитический сигнал подвергается преобразованию при помощи односторонней модуляции полосы частот 710 посредством модулятора µ(n) 902:

или

ψ(n):=φ_LF(n)·µ(n)

В этом случае создается сигнал с расширенной полосой частот, который также называется модулированный сигнал 910.

Далее проводится разделение на окна (с возможным наложением) входного сигнала 912 и сигнала с расширенным диапазоном частот 914, а также преобразование Фурье:

и

где NFFT - число цифровых результатов (bins) быстрого преобразования Фурье (например, 256, 512, 1024 или другое число в пределах от 2⁴ до 2³²), ξ - количество окон, win(.) - оконная функция. Временные интервалы N∈N создаются на основе исходного сигнала и связанные с ним множество амплитудно-спектральных характеристик Ф_ξ(ω), Ψ_ξ(ω) при ξ≤N как абсолютные значения преобразования Фурье 916

представляют показатель границы полосы k в процессе преобразования Фурье.

Процесс во временной области показан на фиг.9.

Следующий этап - это вычисление 720 взаимной корреляции R_ξ,k (параметр сравнения может быть равен результату взаимной корреляции) части амплитудно-спектральных характеристик исходного сигнала и сигнала с расширенным диапазоном частот, что математически выражается следующим образом:

при

Ф_ξ(ω):≡Ψ_ξ(ω):≡0∀ω<0; v≤Λ

δ обозначает максимальную задержку (максимальную частоту смещения), для которой рассчитывается взаимная корреляция. Если взаимная корреляция должна быть рассчитана со смещением, т.е. предпочтение отдается небольшим задержкам и, соответственно, большим наложениям, необходимо выбрать β=0. Наоборот, если необходимо компенсировать то, что меньшее число цифровых результатов быстрых преобразований Фурье (FFt-bins) накладываются друг на друга при больших задержках, то необходимо выбрать β=1. В целом, можно произвольно выбирать 0≤β∈P. Дополнительно или в качестве альтернативы можно принять 2<δ∈N; mod(δ,2)=0 для того, чтобы выбрать область взаимной корреляции несколько большую, чем созданная полоса частот (патч). При этом область, которая рассматривается при взаимной корреляции, может быть расширена с помощью с обоих сторон спектра определенной полосы (патча).

На основе результатов взаимной корреляции определяется максимум взаимной корреляции 730

и lag d_ξ,k взаимной корреляции

R_ξ,k(d_ξ,k)=m_ξ,k

Дополнительно определяются коэффициенты энергии или мощности в патче при помощи спектров плотности мощности:

Если невозможно определить четкого максимума 924, задержка устанавливается обратно как 0 (на схеме показано под номером 922). В противном случае предполагаемая задержка 918 может оказаться задержкой, соответствующей максимальной взаимной корреляции. Для этого определяется подходящий пороговый критерий d_ξ,k>τ, где необходимо выбрать τ. Кроме этого может наблюдаться изгиб или ровная часть спектра (SFN) взаимной корреляции, например:

или

при

Задержки d_ξ,k и параметры плотности мощности ζ_ξ,k можно интерполировать 926 для того, чтобы получить значение для каждого временного интервала:

ζ_k(n)=interp(c_ξ,k); λ_k(n)=interp(d_ξ,k).

Далее после модификаций, амплитудных преобразований и частотного сдвига определяется общая функция модуляции:

Общая функция модуляции или параметры общей функции модуляции обеспечиваются 740 вместе с выходным сигналом для дальнейшего хранения или передачи.

Дополнительно могут определяться параметры для корректировки шума и/или тональности.

Модуляция на стороне декодера проводится согласно формуле:

а также дополнительно количество k частичных модуляций (если присутствует более чем один патч). Для этого общая функция модуляции µ_k(n) или µ(n) или параметры ζ_k(n) и λ_k(n) или c_ξ,k и d_ξ,k общей функции модуляции кодируются подходящим способом, например квантованием. Если есть необходимость, частота выборки может быть уменьшена и введен гистерезис.

Вычисление задержки можно опустить, если отсутствует тональный сигнал, например период молчания, переходного момента, шума. В этих случаях задержка может быть установлена на значении 0.

На фиг.10 детально рассматривается пример 1000, где определяется задержка.

Для временного фрейма или окна ξ=i 1010 задержка v устанавливается на минус λ в качестве первоначального значения. Затем вычисляется взаимная корреляция R_ξ,k(v) 720. Если v меньше, чем Λ 1030, v увеличивается 1032 и вычисляется 720 следующий параметр сравнения в рамках взаимной корреляции. Если v равен или больше, чем Λ 1030, может быть определена 730 задержка, соответствующая максимальной вычисленной взаимной корреляции. Если максимум четко определяется 924, то определенная задержка используется как параметр d_ξ,k 918. В противном случае задержка устанавливается на значении 0 и используется как параметр d_ξ,k=0922.

Далее весь процесс повторяется 1040 для следующего временного фрейма ξ=ξ+1 1050. Определенные задержки подвергаются интерполяции 926 для того, чтобы получить параметр для каждого временного интервала N.

Вычисление множества параметров сравнения, например результатов взаимной корреляции, может проводиться параллельно, если используется необходимое количество компараторов. Обработка различных временных фреймов может проводиться также параллельно, если необходимое аппаратное обеспечение используется несколько раз. Цикл вычислений взаимной корреляции начинается при +Λ и может быть уменьшен при каждом цикле до v≤Λ.

На фиг.11 показана схематическая иллюстрация интерполяции 926 частот смещения разных временных фреймов, временных интервалов или окон. На фиг.11а показана интерполяция 1100, если временные фреймы не пересекаются. Задержка d_ξ,k определяется для всего временного фрейма 1110. Самым простым способом интерполяции параметра для каждого временного интервала 1120 является установка параметров временного фрейма 1110, равных соответствующей задержке d_ξ,k для всех временных интервалов 1120. На границах временного фрейма может быть выбрана задержка предыдущего или последующего временного фрейма. Например, параметры от λ_k(n) до λ_k(n+3) равны d_ξ,k, а параметры от λ_k(n+4) до λ_k(n+7) равны d_ξ+1,k.

Как альтернатива задержки временных фреймов 1110 могут интерполироваться линейно между временными фреймами, например:

λ_k(n+2)=d_ξ,k

На фиг.11В показан пример 1150 для пересекающихся временных фреймов 1110. В этом случае один временной интервал 1120 относится к более чем одному временному фрейму 1110. Таким образом, более чем одна определенная задержка относится к одному временному интервалу 1120. Так, определенные задержки могут интерполироваться 926 для того, чтобы получить один параметр для каждого временного интервала 1120. Определенные задержки, соответствующие одному временному интервалу 1120, могут интерполироваться линейно. Например, возможна следующая интерполяция:

λ_k(n)=d_ξ-1,k

λ_k(n+2)= d_ξ,k

В качестве альтернативы интерполяция может проводиться, например, с помощью медиального фильтрования.

Интерполяция может проводиться с помощью особых средств, предназначенных для интерполяции. Эти средства могут быть частью блока извлечения параметров или выходного интерфейса, а также отдельным блоком.

На стороне декодера расширение диапазона частот проводится согласно формуле:

После декодирования и φ_LF(N) как выходного сигнала основного кодера. Дополнительно может быть адаптирован с помощью параметров, полученных заранее от исходного сигнала, по уровню тональности и/или шума.

Вычисление общей функции модуляции на стороне декодера производится согласно одной из двух формул, указанных ниже:

и

ψ(n)=φ_LF(n)·µ(n)+noise(n)

Воображаемая часть сигнала может быть опущена:

o(n)=Re(ψ(n))

Далее, как указывалось выше, может следовать корректировка тональности с помощью, например, обратного фильтрования.

На фиг.12 показана блок-схема декодера, увеличивающего полосу частот, 1200 для получения аудио сигнала с расширенным диапазоном частот 532 на основе входного аудио сигнала 502 согласно одному из вариантов реализации настоящего изобретения. Декодер, увеличивающий полосу частот, 1200 включает генератор патчей 1210, компаратор 1220, блок объединения 1230 и выходной интерфейс 1240. Генератор патчей 1210 соединен с компаратором 1220, компаратор 1220 соединен с блоком объединения 1230, блок объединения 1230 соединен с выходным интерфейсом 1240.

Генератор патчей 1210 создает, как минимум, один сигнал с полосой высоких частот 1212, который имеет полосу высоких частот на основе входного сигнала 502, при этом нижняя предельная частота полосы высоких частот созданного сигнала 1212 ниже, чем верхняя предельная частота входного аудио сигнала 502. Различные сигналы с полосами высоких частот 1212 имеют различные частоты в пределах полосы высоких частот.

Компаратор 1220 вычисляет множество параметров сравнения. Параметр сравнения вычисляется на основе сравнения входного аудио сигнала 502 и созданного сигнала с полосой высоких частот 1212. Каждый параметр сравнения из множества параметров сравнения вычисляется на основе различных частот смещения между входным аудио сигналом 502 и созданным сигналом с полосой высоких частот 1212. Далее компаратор выделяет параметр сравнения из множества параметров сравнения так, чтобы он соответствовал заранее заданному критерию.

Блок объединения 1230 соединяет входной аудио сигнал 502 и созданный сигнал с полосой высоких частот 1212 для того, чтобы получить сигнал с расширенным диапазоном частот 532, при этом созданный сигнал с полосой высоких частот основывается на частоте смещения, соответствующей выделенному параметру сравнения.

Выходной интерфейс 1240 обеспечивает вывод сигнала с расширенным диапазоном частот 532.

По сравнению с декодером, показанным на фиг.5, рассматриваемый декодер 1200 сам определяет частоту смещения. Таким образом, отсутствует необходимость в получении этого параметра с входным аудио сигналом 502. В этом случае битрейт для передачи или хранения аудио сигналов может быть уменьшен.

Как указывалось при рассмотрении фиг.1, генератор патчей 1210 может создавать множество сигналов с полосой высоких частот с различными частотами смещения или один сигнал с полосой высоких частот, который сдвигается при помощи различных частот смещения. Возможно также использование комбинации двух этих возможностей.

На фиг.13 показана схема способа 1300 получения сигнала с расширенным диапазоном частот согласно одному из вариантов реализации настоящего изобретения. Способ 1300 включает создание 1310, как минимум, одного сигнала с полосой высоких частот, вычисление 1320 мнжества параметров сравнения, выделение 1330 одного параметра из множества параметров сравнения, объединение 1340 входного аудио сигнала и созданного сигнала с полосой высоких частот, а также вывод 1350 сигнала с расширенным диапазоном частот.

Сигнал с расширенным диапазоном частот имеет полосу высоких частот, созданную на основе входного аудио сигнала. Нижняя предельная частота полосы высоких частот сигнала с расширенным диапазоном частот ниже, чем верхняя предельная частота входного аудио сигнала. Если генерируются различные сигналы, то сигналы с полосами высоких частот имеют различные частоты в пределах полосы высоких частот.

Параметр сравнения вычисляется на основе сравнения входного аудио сигнала и созданного сигнала с полосой высоких частот. Каждый параметр сравнения из множества параметров сравнения вычисляется на основе различных частот смещения между входным аудио сигналом и созданным сигналом с полосой высоких частот.

Выделенный параметр сравнения соответствует заранее заданному критерию.

Созданный сигнал с полосой высоких частот, который соединяется с входным аудио сигналом для того, чтобы получить сигнал с расширенным диапазоном частот, основывается на частоте смещения, соответствующей выделенному параметру сравнения.

На фиг.14 показана схема способа 1400 для получения аудио сигнала с расширенным диапазоном частот согласно одному из вариантов реализации настоящего изобретения.

После получения 1402 битового потока, содержащего входной аудио сигнал, основной декодер декодирует 1410 входной аудио сигнал. На основе входного аудио сигнала генерируется 1310 сигнал с полосой высоких частот и вычисляется 1320 множество параметров сравнения в плане взаимной корреляции между входным аудио сигналом и созданным сигналом с полосой высоких частот. Затем определяется 1330 параметр сравнения, соответствующий заранее заданному критерию; параметр сравнения также называется предполагаемой задержкой.

На основе частоты смещения, которая соответствует определенному параметру сравнения, модулятор модулирует 1420 входной аудио сигнал. Дополнительно может быть извлечен 1430 параметр из полученного битового потока 1402 для адаптации, например, плотности мощности модулированного сигнала. Модулированный сигнал затем соединяется 1340 с входным аудио сигналом. Кроме этого могут корректироваться 1440 тональность и шум сигнала с расширенным диапазоном частот. Этот этап может проводиться до объединения с входным сигналом. Затем аудио данные, а именно аудио сигнал с расширенным диапазоном частот, направляются 1350, например, для аудио воспроизведения.

В данном случае вычисление модуляции, которая является непостоянной во времени, проводится на стороне декодера.

В отличие от модулятора, который модулирует 1420 входной аудио сигнал и создает патч, может использоваться, например, ранее созданный сигнал с полосой высоких частот, либо генератор патчей может создавать сигнал с полосой высоких частот (патч) на основе частоты смещения, которая соответствует определенному параметру сравнения.

Иными словами, если низкая скорость передачи данных более приоритетна, чем сложная структура декодера, то определение частотной модуляции, которую выполняют модуляторы, может также проводиться на стороне декодера. Для этого на стороне декодера с некоторыми изменениями выполняется алгоритм, показанный на фиг.9. Так как на стороне декодера исходный сигнал не доступен для вычисления взаимной корреляции, корреляция вычисляется между исходным сигналом (входным аудио сигналом) и исходным сигналом (входным аудио сигналом), который подвергся сдвигу в области пересечения. Например, сигнал сдвигается между нулем и α_k, например, α_k делится на 2, α_k делится на 3 или α_k делится на 4. α_k обозначает границу полосы k, например, α₁ обозначает частоту перехода основного кодера.

Вычисления могут происходить аналогичным образом как на стороне кодера, так и на стороне декодера. На стороне декодера извлекаются параметры для формирования спектра, корректировки шума и/или тональности, которые затем передаются в декодер.

На фиг.15 показана блок-схема кодера, увеличивающего полосу частот, 1500 для получения выходного сигнала на основе входного сигнала согласно одному из вариантов реализации настоящего изобретения. Кодер 1500 соответствует кодеру, показанному на фиг.4. Однако кодер 1500 сам не обеспечивает выходной сигнал 132 с индикацией параметра на основе частоты смещения. Он может только определять параметр плотности мощности и факультативные параметры для коррекции тональности и шума и включать индикацию этих параметров в выходной сигнал 132. Параметр плотности мощности (как и другие параметры в случае их вычисления) определяются на основе частоты смещения, соответствующей выделенному параметру сравнения.

Например, параметр плотности мощности может указывать соотношение между входным аудио сигналом 102 и созданным сигналом с полосой высоких частот с частотой смещения, соответствующей определенному параметру сравнения. Таким образом, индикация параметра, которая соотносится с параметром плотности мощности и факультативно - с параметрами корректировки тональности и/или шума, основана на частоте смещения, соответствующей определенному параметру сравнения.

Следующее различие между кодером 1500 и кодером, показанным на фиг.4, заключается в том, что генератор патчей 110 создает сигнал с полосой высоких частот таким же образом, что и генератор патчей декодера 1400. В этом случае кодер 1500 и декодер могут получать одинаковые частоты смещения, поэтому параметры, извлеченные кодером 1500, действительны и для патчей, созданных декодером.

Некоторые варианты настоящего изобретения реализуются посредством устройств и способа расширения полосы частот аудио сигналов во временной области с помощью модуляторов, изменяющихся во времени. Иными словами, патч генерируется с меняющейся предельной частотой, например, для каждого временного интервала, каждого временного фрейма, части временного фрейма или групп временных фреймов.

Описанный способ расширения полосы частот аудио сигнала может применяться на стороне кодера и на стороне декодера, а также только на стороне декодера. В отличие от других известных способов, описанный новый способ может выполнять так называемое гармоническое расширение полосы частот, не требуя точной информации о фундаментальной частоте аудио сигнала. В отличие от так называемых гармонических расширений полосы частот, рассматриваемых, например, в заявке на патент на территории США "F.Nagel, S.Disch: "Apparatus and method of harmonic bandwidth extension in audio signals"" под номером US 61/025129, которые производятся при помощи фазовых голосовых кодеров, в данном случае спектр не подвергается расширению, поэтому плотность остается неизменной. Для обеспечения гармонии используется корреляция между расширенной и базовой полосами частот. Эта корреляция вычисляется как на стороне кодера, так и на стороне декодера в зависимости от возможности проведения вычислений, объемов памяти и скорости передачи данных.

Например, расширение полосы частот может выполняться при помощи амплитудной модуляции (AM) или частотного сдвига посредством односторонней модуляции полосы частот (SSB). В ходе последующей обработки в соответствии с дополнительными параметрами предпринимается попытка приблизить огибающую спектра, уровень шума и другие параметры к исходным сигналам.

Новый способ преобразования сигналов позволяет избежать проблем, которые появляются при простом копировании или при операции зеркального отображения, т.к. в данном случае создается гармоническое корректное продолжение спектра при помощи меняющейся во времени предельной переходной частоты между диапазоном низких частот (LF) и диапазоном высоких частот (HF), а также между последующими полосами высоких частот, так называемыми патчами. Предельные частоты выбираются таким образом, что созданные патчи максимально соответствуют реальному гармоническому растру.

На фиг.16 показан модулятор с тремя меняющимися во времени амплитудами и предельными частотами, с помощью которых могут быть созданы три патча посредством односторонней модуляции базовых полос. На фиг.16А показана диаграмма 1600А спектра сигнала с расширенным диапазоном частот при использовании меняющихся во времени предельных частот 1610. На фиг.16В показана диаграмма 1600В спектра аудио сигнала, состоящего из трех тонов. В отличие от спектрограммы, показанной на фиг.18В, линии 1620 значительно менее размыты.

На фиг.17 показана диаграмма 1700. Спектр плотности мощности трех тонов исходного аудио сигнала показан под номером 1710, сигнала с постоянной предельной частотой - под номером 1720, сигнала с переменной предельной частотой - под номером 1730. В отличие от использования постоянной предельной частоты, гармоническая структура сохраняется при использовании переменной предельной частоты 1730.

При гармоническом продолжении спектра можно избежать проблем в точке перехода между базовой полосой (основной кодер) и расширенной полосой, а также между последующими патчами. Без оценки F₀, которая является необходимым условием функционирования системы, возможно гармоническое продолжение случайных сигналов без слышимых помех, при этом не нарушаются гармония и переходные звуковые моменты.

Варианты реализации настоящего изобретения относятся к способу, который подходит для всех аудио приложений, где не доступен полный диапазон частот.

Например, способ можно применять для трансляции аудио информации с помощью цифрового радио, Интернет потока или приложений, применяющих аудио коммуникацию.

Другие варианты реализации настоящего изобретения относятся к декодеру, увеличивающему полосу частот, который получает сигнал с расширенным диапазоном частот на основе входного аудио сигнала и параметрического сигнала, при этом параметрический сигнал указывает на частоту сдвига и параметр плотности мощности. Декодер, увеличивающий полосу частот, включает генератор патчей, блок объединения и выходной интерфейс. Генератор патчей создает сигнал с полосой высоких частот, при этом полоса высоких частот созданного сигнала генерируется на основе частотного сдвига полосы частот входного аудио сигнала. Частотный сдвиг производится на основе частоты смещения. Генератор патчей увеличивает или уменьшает полосу высоких частот созданного сигнала при помощи коэффициента, равного значению параметра плотности мощности или равного величине, обратной значению параметра плотности мощности. Блок объединения соединяет созданный сигнал с полосой высоких частот и входной аудио сигнал для получения аудио сигнала с расширенным диапазоном частот. Выходной интерфейс обеспечивает вывод сигнала с расширенным диапазоном частот.

Остальные варианты реализации настоящего изобретения относятся к декодеру, увеличивающему полосу частот, который был описан выше, при этом генератор патчей увеличивает или уменьшает полосу высоких частот сигнала с полосой высоких частот при помощи коэффициента, равного значению параметра плотности мощности или равного величине, обратной значению параметра плотности мощности. Параметр плотности мощности в данном случае указывается во входном аудио сигнале.

Несмотря на то что настоящее изобретение было описано в нескольких вариантах реализации, возможны другие изменения и варианты функционирования в рамках данного изобретения. Необходимо отметить, что существует множество альтернативных способов реализации способов, а также путей композиции настоящего изобретения. Предполагается, что нижеследующая формула включает все подобные опции и изменения, т.к. они не выходят за рамки объема и сущности настоящего изобретения.

Необходимо отметить, что в зависимости от условий схема изобретения может быть реализована в качестве программного обеспечения. Реализация изобретения может быть произведена на цифровых средствах хранения информации. Например, на гибком диске или CD, которые являются читаемыми и имеют возможность работы с программируемой компьютерной системой для того, чтобы выполнялся соответствующий способ. В целом, изобретение состоит из компьютерного программного продукта с программным кодом, который хранится на читаемом носителе, для осуществления изобретенного способа, когда программный продукт выполняется на компьютере. Иными словами, изобретение может быть реализовано как компьютерная программа с программным кодом для осуществления способа, когда компьютерный программный продукт выполняется на компьютере.