ШУМОВОЙ ФОН, УСТРОЙСТВО ОБРАБОТКИ ШУМОВОГО ФОНА, МЕТОД ОБЕСПЕЧЕНИЯ ПАРАМЕТРОВ ШУМОВОГО ФОНА, МЕТОД ОБЕСПЕЧЕНИЯ СПЕКТРАЛЬНОГО ПРЕДСТАВЛЕНИЯ ШУМОВОГО ФОНА АУДИОСИГНАЛА, КОМПЬЮТЕРНАЯ ПРОГРАММА И КОДИРОВАННЫЙ АУДИОСИГНАЛ

Предпосылки создания изобретения

Реализация изобретения позволяет использовать шумозаполнитель с целью создания заполненного шумом спектрального представления звукового сигнала на основе входного спектрального представления звукового сигнала, вычислять параметр шумозаполнения на основе квантованного спектрального представления звукового сигнала, создать кодированный звуковой сигнал, использовать новый метод создания заполненного шумом спектрального звукового сигнала, использовать новый метод вычисления параметра шумозаполнения на основе квантованного спектрального звукового сигнала, использовать компьютерные программы для осуществления вышеуказанных методов.

Далее будут описаны некоторые сценарии, в которых изобретение может быть реализовано. Многие кодеры звуковых сигналов в частотной области основаны на идее, что некоторые области частот или области спектра (например, частотные линии или спектральные линии, полученные в результате преобразования временной области в частотную область) более важны, чем другие спектральные области. В связи с этим спектральные области с высокой психоакустической релевантностью обычно кодируются с большей точностью, чем спектральные области с меньшей психоакустической релевантностью. Психоакустическая релевантность разных спектральных областей может быть, например, вычислена с использованием психоакустической модели, которая принимает во внимание маскировку более слабых спектральных областей прилегающими более сильными спектральными пиками.

При необходимости понизить битрейт кодированного звукового сигнала до более низкого уровня некоторые спектральные области квантуются с очень низкой точностью (например, с точностью один бит или два бита). Соответственно многие спектральные области, квантованные с низкой точностью, квантуются до нуля. Поэтому при низком битрейте звуковые кодеры с преобразованием неизбежно функционируют с искажениями, особенно с искажениями, вызванными частотными линиями, квантованными до нуля. Действительно, грубое квантование спектрального значения при низком битрейте звукового кодирования может привести к очень разреженному спектру после инверсного квантования, так как многие спектральные линии могут быть квантованы до нуля. Эти частотные пробелы в восстановленном сигнале производят нежелательные звуковые искажения. Это может сделать воспроизводимый звук слишком резким или нестабильным (свист высокого тона), когда частотные пробелы в спектре перемещаются от фрейма к фрейму.

Шумозаполнение является средством для маскировки этих искажений путем заполнения на стороне декодера квантованных до нуля коэффициентов или частотных полос произвольным шумом. Энергия вставленного шума определяется параметром, вычисленным и переданным кодером.

Известны различные концепции шумозаполнения. Например, так называемый AMR-WR+ сочетает в себе шумозаполнение и дискретное преобразование Фурье (ДПФ), как описано, например, в ссылке [1]. Кроме того, международный стандарт ITU-T G.729.1 определяет концепцию, которая сочетает в себе шумозаполнение и изменение дискретного косинусного преобразования (МСКТ). Подробности представлены в работе [2].

Дальнейшие аспекты, касающиеся шумозаполнения, описаны в международной заявке на патент PCT/IB2002/001388 от Koninklijke Philips Electronics NV (см. ссылку [3]).

Тем не менее традиционные подходы к шумозаполнению приводят к значительным звуковым искажениям.

В связи с этим возникает необходимость создать концепцию шумозаполнения, которая обеспечит улучшение звукового впечатления.

Краткое описание изобретения

Форма реализации настоящего изобретения представляет собой шумозаполнитель для получения заполненного шумом спектрального звукового сигнала на основе входного спектрального звукового сигнала. Шумозаполнитель включает в себя идентификатор спектральной области, предназначенный для идентификации спектральных областей (например, спектральных линий или спектральных бункеров) входного спектрального сигнала, отделенного от ненулевых спектральных областей (например, спектральных линий или спектральных бункеров) входного спектрального сигнала, по крайней мере, одной промежуточной спектральной областью для получения идентифицированных спектральных областей. Шумозаполнитель также включает в себя устройство для вставки шума, предназначенное для того, чтобы выборочно вставлять шум в идентифицированные спектральные области (например, спектральные линии или спектральные бункеры) для получения заполненных шумом спектральных представлений звукового сигнала.

Применение данного изобретения основано на том, что тональные компоненты спектрального звукового сигнала, как правило, ухудшаются с точки зрения слухового впечатления, если шумозаполнение применяется в непосредственной близости от таких тональных компонентов. В связи с этим установлено, что улучшения слухового впечатления шумозаполненного звукового сигнала можно добиться, если применять шумозаполнение только в спектральных областях, которые отдалены от таких тональных, ненулевых спектральных областей. Соответственно, тональные компоненты спектра звукового сигнала (которые не квантованы к нулю в квантованном спектральном представлении на входе в шумозаполнитель) остаются слышимыми (т.е. не размываются близко расположенным шумом), при этом удается эффективно избежать появления больших спектральных пробелов.

В предпочтительном варианте осуществления настоящего изобретения, идентификатор спектральной области предназначен для определения спектральных линий входного спектрального представления, которые квантованы к нулю и которые включают, по крайней мере, первое заданное число низкочастотных соседних спектральных линий, квантованных к нулю, и, по крайней мере, второе заданное число высокочастотных соседних спектральных линий, квантованных к нулю, как определенную спектральную область, где первое заданное число больше или равно единице и где второе заданное число больше или равно единице. В этом способе реализации изобретения устройство для вставки шума предназначено для того, чтобы выборочно вносить шум в определенные спектральные линии, оставляя спектральные линии, квантованные до ненулевого значения, и спектральные линии, квантованные к нулю, но не имеющие первое заданное число низкочастотных соседних спектральных линий, квантованных к нулю, или второе заданное число высокочастотных соседних спектральных линий, квантованных к нулю, не подвергнутыми шумозаполнению. Таким образом, шумозаполнение избирательно в том смысле, что шум вводится только в спектральные линии, которые квантованы к нулю и которые находятся на отдалении от линий, квантованных до ненулевого значения, как в верхнем, так и в нижнем спектральном направлении, например, первым заданным числом низкочастотных соседних спектральных линий, квантованных к нулю, и вторым заданным числом высокочастотных соседних спектральных линий, квантованных к нулю.

В предпочтительном варианте реализации изобретения, первое заданное число равно второму заданному числу, такому что минимальное расстояние в направлении частот вверх от линий, квантованных до ненулевого значения, равно минимальному расстоянию в направлении частоты вниз от линий, квантованных до ненулевого значения.

В предпочтительном варианте реализации изобретения шумозаполнитель предназначен для того, чтобы вносить шум только в спектральные области в верхней части спектрального представления звукового сигнала, оставляя нижнюю часть спектрального представления звукового сигнала не затронутой шумозаполнением. Такая концепция полезна, так как, как правило, более высокие частоты менее важны для слухового восприятия, чем низкие частоты. Значения, квантованные к нулю, также в основном возникают во второй половине спектра (т.е. для высоких частот). Также добавление шума на высоких частотах менее вероятно приведет к конечному восстановлению звука.

В предпочтительном варианте реализации изобретения, идентификатор спектральной области суммирует квантованные значения интенсивности (например, значения энергии или амплитуды) в спектральных областях в заданном двустороннем спектральном окружении данной спектральной области (т.е. спектральном окружении, охватывающем низкие и более высокие частоты) для получения общего значения и оценки общего значения для того, чтобы решить, является ли данная спектральная область идентифицированной спектральной областью или нет. Было установлено, что сумма значений энергии квантованного спектра в двустороннем спектральном окружении данной спектральной области имеет значение для решения, следует ли применить шумозаполнение в данной спектральной области.

В другом предпочтительном варианте реализации изобретения идентификатор спектральной области предназначен для сканирования диапазона спектральных областей входного спектрального представления для обнаружения смежных последовательностей спектральных областей, квантованных к нулю, и определения одной или нескольких центральных спектральных областей (т.е. не лежащих на границе спектральной области) вышеупомянутых смежных последовательностей в качестве идентифицированных спектральных областей.

Было установлено, что выявление определенной "Run - длины " в спектральных областях, квантованных к нулю, является задачей, которая характеризуется особенно низкой вычислительной сложностью. Для выявления таких смежных последовательностей спектральных областей можно определить, являются ли все спектральные области в пределах этой последовательности спектральных областей квантованными к нулю, что можно вычислить с помощью сравнительно простого алгоритма или цепи. Если будет установлено, что такая смежная последовательность спектральных областей квантуется в ноль, одна или несколько из внутренних спектральных областей в последовательности (которые расположены достаточно далеко от спектральных областей за пределами данной последовательности спектральных областей) рассматриваются как идентифицированные спектральные области. Таким образом, при помощи сканирования диапазона спектральных областей (например, последовательно выбирая смещенные последовательности спектральных областей), можно провести эффективный анализ спектрального представления, чтобы определить спектральные области, квантованные к нулю и отдаленные от спектральных областей, квантованных в ненулевое значение, на заданное минимальное расстояние.

Другой вариант использования изобретения - применение вычислителя параметра шумозаполнения для вычисления параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала. Вычисление параметра шумозаполнения включает в себя идентификатор спектральной области, предназначенный для идентификации спектральных областей квантованного спектрального представления, отделенных от ненулевых спектральных областей квантованного спектрального представления, по крайней мере, одной промежуточной спектральной областью для выявления идентифицированных спектральных областей. Вычисление параметра шумозаполнения включает в себя вычислитель значения шума, который предназначен для выборочного рассмотрения ошибок квантования в идентифицированных спектральных областях для вычисления параметра шумозаполнения. Вычислитель параметра шумозаполнения основан на идее, что желательным является ограничить шумозаполнние со стороны декодера спектральными областями, которые отделены от тональных спектральных областей (квантованных в ненулевое значение), и что, принимая эту концепцию во внимание, следовательно, параметр шума должен рассчитываться на стороне кодера. Соответственно, можно получить параметр шумозаполнения, что особенно хорошо подходит для описанной выше концепции декодера. Кроме того, было обнаружено, что спектральные области, которые квантованны к нулю, но которые очень близки к спектральным областям, квантованным в ненулевое значение, часто не отражают действительно шумоподобного аудиоконтента, а, скорее, очень тесно связаны с соседними тональными (квантованными в ненулевое значение) спектральными областями. Соответственно, было установлено, что, как правило, нежелательно рассматривать ошибки квантования спектральных областей, которые находятся рядом со спектральными областями, квантованными в ненулевое значение, для расчета параметра шумозаполнения, потому что это, как правило, приводит к сильной переоценка шума, в результате чего получается слишком шумное реконструированное спектральное представление.

Таким образом, концепция вычисления параметра шумозаполнения, описанная здесь, может использоваться в сочетании с описанной выше концепцией шумозаполнения и даже в сочетании с обычными концепциями шумозаполнения.

В предпочтительных вариантах использования изобретения концепция идентификации спектральных областей, которая была обсуждена в связи с шумозаполнителем, может также применяться в сочетании с вычислением параметра шумозаполнения.

В предпочтительном варианте использования изобретения, вычислитель значения шума предназначен для рассмотрения действительной энергии ошибки квантования идентифицированной спектральной области для расчета параметра шумозаполнения. Было установлено, что рассмотрение фактической ошибки квантования (а не приблизительной ошибки квантования или средней ошибки квантования), как правило, приводит к более высоким результатам, так как фактическая ошибка квантования обычно отличается от среднестатистической ошибки квантования.

В предпочтительном варианте использования, вычислитель значения шума предназначен для того, чтобы определить энергию ошибки нетонального квантования, распределенную на множество идентифицированных спектральных областей в отношении к энергии ошибки тонального квантования, сосредоточенной в одной спектральной области. Эта концепция основана на открытии того факта, что нетональный широкополосный шум, средняя энергия которого лежит ниже порога квантования и который вследствие этого квантован к нулю, имеет гораздо большее значение для шумозаполнителя, чем один тональный звуковой компонент, интенсивность которого лежит ниже порога квантования, даже если нетональный широкополосный шум и тональный компонент были квантованы к нулю. Причина состоит в том, что шумозаполнитель путем генерации случайных шумов на декодер может смоделировать отсутствующий нетональный широкополосный шум в квантованном спектральном представлении, но не отсутствующий тональный компонент. Таким образом, предпочтение нетональных компонентов шума, квантованных до нуля, перед тональными компонентами, квантованными к нулю, влечет за собой более реалистичную звуковую реконструкцию. Это также связано с тем, что слуховое восприятие человеком ухудшается из-за наличия спектральных пробелов гораздо больше (например, в виде отсутствия широкополосного шума, квантованного к нулю), чем из-за отсутствия малого спектрального пика, квантованного к нулю. Тональные компоненты могут быть сосредоточены в одной спектральной линии или могут быть распределены по нескольким смежным спектральным линиям (например, i-1, i, i+1). Спектральная область может, например, состоять из одной или нескольких спектральных линий.

В предпочтительном варианте использования, вычислитель значения шума предназначен для того, чтобы рассчитать общее значение энергии ошибок логарифмического квантования в идентифицированных спектральных областях для получения параметра шумозаполнения. С помощью расчета общего значения энергии ошибок логарифмического квантования в идентифицированных спектральных областях описанное выше относительное превосходство нетональных спектральных областей, квантованных до нуля, над тональными областями, квантованными к нулю, можно получить самым эффективным образом.

Другой вариант применения изобретения, предполагает создание представления кодированного звукового сигнала для представления звукового сигнала. Представление кодированного звукового сигнала включает в себя представление кодированной квантованной спектральной области звукового сигнала и параметр кодированного шумозаполнения. Параметр шумозаполнения представляет ошибку квантования спектральных областей спектрального представления домена, квантованного к нулю, и отдаленного от спектральных областей представления спектрального домена, квантованного к ненулевому значению, на заданное число промежуточных спектральных областей. Описанное выше представление кодированного звукового сигнала используется для шумозаполнителя, описанного выше, и может быть получено с помощью вычислителя параметра шумозаполнения, о котором говорилось выше. Представление кодированного звукового сигнала позволяет производить реконструкцию звукового сигнала с особенно хорошим качеством звука, поскольку параметр шумозаполнения выборочно отражает ошибки квантования квантованного представления спектрального домена для таких спектральных областей, в которых присутствует значимая шумовая информация и которые должны быть выборочно рассмотрены для шумозаполнения со стороны декодера.

Другой вариант использования изобретения делает возможным создание метода представления заполненного шумом звукового сигнала.

Еще один вариант использования изобретения делает возможным создание метода вычисления параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала.

Еще один вариант использования изобретения делает возможным создание компьютерной программы для реализации вышеуказанных методов.

Краткое описание к чертежам.

Способы применения изобретения в дальнейшем будет описаны со ссылкой на приложенные чертежи:

На Фиг.1 показана блок-схема шумозаполнителя в зависимости от разных способов применения изобретения;

На Фиг.2 показана блок-схема декодера звукового сигнала, содержащая шумозаполнитель в соответствии с данным изобретением;

На Фиг.3 показана программа псевдо-код для реализации функциональных возможностей шумозаполнителя на Фиг.1;

На Фиг.4 показано графическое представление идентификации спектральных областей, которая может быть выполнена в шумозаполнителе на Фиг.1;

На Фиг.5 показана блок-схема расчета параметра шумозаполнения, в соответствии с вариантом изобретения;

На Фиг.6 показана программа псевдокод для реализации функциональности расчета параметра шумозаполнения в соответствии с Фиг.5;

На Фиг.7 показана блок-схема метода получения спектрального представления с шумозаполнением для звукового сигнала на основе входного спектрального представления звукового сигнала;

На Фиг.8 показана блок-схема метода расчета параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала;

На Фиг.9 показано графическое представление представления звукового сигнала в соответствии с вариантом применения изобретения.

Шумозаполнитель на Фиг.1-4

Фиг.1 показывает блок-схему шумозаполнителя 100 в соответствии с вариантом применения изобретения. Шумозаполнитель 100 предназначен для приема входного спектрального представления 110 звукового сигнала, например, в форме декодированных спектральных коэффициентов (которые могут быть, например, квантованы или обратно квантованы). Шумозаполнитель 100 также предназначен для создания заполненного спектрального представления 112 звукового сигнала на основе входного спектрального представления 110.

Шумозаполнитель 100 содержит идентификатор спектральной области 120, который предназначен для выявления спектральных областей входного спектрального представления 110, отделенного от ненулевых спектральных областей входного спектрального представления 110, по крайней мере, одной промежуточной спектральной областью для получения информации 122, указывающей идентифицированные спектральные области. Шумозаполнитель 100 также включает в себя устройство ввода шума 130, которое предназначено для того, чтобы выборочно вносить шум в идентифицированные спектральные области (описанные информацией 122) для получения шумозаполненного спектрального представления 112 от звукового сигнала.

Что касается функциональности шумозаполнителя 100, то, в целом, можно сказать, что шумозаполнитель 100 выборочно заполняет шумом спектральные области (например, спектральные линии или спектральные бункера) входного спектрального представления 110, например, путем замены спектральных значений спектральных линий, квантованных к нулю, спектральными значениями, описывающими шум. Таким образом, спектральные дыры или спектральные лакуны во входном спектральном представлении 110 могут быть заполнены, они могут, например, возникнуть в результате грубого квантования входного спектрального представления 110. Тем не менее шумозаполнитель 100 не вносит шум во все спектральные линии, квантованные к нулю (т.е. спектральные линии, спектральные значения которых квантованы к нулю). Напротив, шумозаполнитель 100 только вносит шум в такие спектральные линии, квантованные к нулю, которые находятся на достаточном расстоянии от любых спектральных линий, квантованных в ненулевое значение. Таким образом, шумозаполнение не полностью заполняет спектральные пробелы или спектральные лакуны, а сохраняет спектральное расстояние, по крайней мере, в одну спектральную область (или, по крайней мере, расстояние на любое другое заданное число спектральных областей) между теми спектральными линиями, в которых вносится шум и спектральные линии квантованы в ненулевое значение. Таким образом, спектральное расстояние между заполняющим шумом, внесенным в спектральное представление, и спектральными линиями, квантованными в ненулевое значение, сохраняется таким образом, что значимые для психоакустики спектральные линии (которые не квантуется к нулю во входном спектральном представлении звукового сигнала) могут быть четко различимы (благодаря спектральному расстоянию в заданное число одной или нескольких спектральных областей) от шумового заполнения, внесенного в спектр шумозаполнителем. Соответственно, наиболее значимое для психоакустики звуковое содержание (представленное спектральными линиями с ненулевыми значениями во входном спектральном представлении 110) можно четко различить, так как больших спектральных пробелов удается избежать. Это связано с тем, что шумозаполнение выборочно отключается вблизи от спектральных линий входного спектрального представления, квантованного в ненулевое значение, в то время как шумозаполнение происходит в центральных областях спектральных пробелов или спектральных лакун.

Далее будут описаны условия применения для шумозаполнителя 100 со ссылкой на Фиг.2. Фиг.2 показывает блок-схему декодера звукового сигнала 200 в соответствии с вариантом использования изобретения. Декодер звукового сигнала 200 включает в себя в качестве ключевого компонента шумозаполнитель 100. Декодер звукового сигнала 200 также включает в себя декодер спектрального коэффициента 210, который предназначен для получения представления кодированного звукового сигнала 212 и создания декодированного необязательно обратно квантованного представления 214 спектральных коэффициентов кодированного звукового сигнала. Декодер спектрального коэффициента 210 может включать, например, декодер энтропии (например, арифметический декодер или декодер длины серии) и, при необходимости, обратный квантователь для вывода декодированного представления 214 спектральных коэффициентов (например, в форме обратно квантованных коэффициентов) из представления кодированного звукового сигнала 212. Шумозаполнитель 100 предназначен для приема декодированного представления 214 спектральных коэффициентов (которые необязательно обратно) в качестве входного спектрального представления 110 звукового сигнала.

Декодер звукового сигнала 200 также включает в себя выделитель шум-фактора 220, который предназначен для извлечения шум-фактора 222 из представления кодированного звукового сигнала 212 и передачи извлеченного шум-фактора 222 до шумозаполнителя 100. Декодер звукового сигнала 200 также включает в себя формирователь спектра 230, который предназначен для получения реконструированного представления спектра 232 от шумозаполнителя 100. Реконструированное представление спектра 232 может быть, например, равно шумозаполненному спектральному представлению 112, полученному от шумозаполнителя.

Формирователь спектра 230, который можно рассматривать как факультативный, предназначен для получения информации о спектре 234 на основе реконструированного представления спектра 232. Декодер звукового сигнала 200 дополнительно содержит конвертер спектральной области во временную область 240, который получает представление спектра 234, полученное от формирователя спектра 230, или в отсутствие формирователя спектра 230 реконструированное представления спектра 232, и на основании этого можно получить представление звукового сигнала во временной области 242. Конвертер спектральной области во временную область 240 может быть, например, предназначен для выполнения обратного дискретного косинусного преобразования (IMDCT).

В предпочтительном варианте, шумозаполнение на стороне декодера включает в себя следующие этапы (или следует по следующим этапам).

1. Декодирование минимального уровня шума.

2. Декодирование квантованных значений частотных линий.

3. Определение спектральных областей в выбранной части спектра, где длина серии нулей выше, чем минимальный размер длины серий.

4. Применение случайно генерированного знака для декодированного уровня собственных шумов для каждой из линий в отдельных областях.

Минимальный уровень шума декодируется следующим образом:

nf_decoded=0.0625 * (8-индекс).

Обнаруженные спектральные области, например, выбираются таким же образом, как это делается на стороне кодера (что будет описано ниже).

Гауссовский шум без запоминания данных в MDCT области порождается спектром с той же амплитудой для всех линий, но со случайными знаками. Таким образом, для каждой из линий в пределах выбранных областей декодер генерирует случайный знак (-1 или +1) и применяет его к декодированному собственному шуму. Однако могут быть также применены другие методы вставки шума.

Далее, следует более подробное описание со ссылкой на Фиг.1, 2, 3 и 4, где Фиг.3 показывает программу псевдокода для алгоритма шумозаполнения со стороны декодера, что может быть осуществлено шумозаполнителем 100, и где Фиг.4 показывает графическое представление шумозаполнения.

Начнем с того, что декодирование собственного шума может быть выполнено экстрактором шум-фактора 220, который получает, например, расчетный показатель шума (также кратко обозначаемый как "индекс") и выдает на его основе декодированное значение шум-фактора 222 (также обозначаемое "nf_decoded"). Расчетный показатель шума может быть, например, закодирован с использованием трех или четырех бит, и это может быть, например, целым числом в диапазоне от 0 до 7, или целым числом в диапазоне от 0 до 15.

Квантованные значения частотных линий (также называемых "спектральные линии" или "спектральные бункеры") могут быть получены от декодера спектрального коэффициента 210. Соответственно, получаем квантованные (или, по необходимости, обратно квантованные) значения спектральных линий (также называемых "спектральные коэффициенты"), которые обозначаются как "квантованные (x(i))". Здесь i обозначает индекс частоты значений спектральных линий.

Впоследствии спектральные области обнаруживаются шумозаполнителем 100 в выбранной части спектра (например, в верхней части спектра начиная с заданного индекса частоты спектральных линий i), где длина серий нулей (т.е. значений квантованных спектральных линий, квантованных к нулю) выше, чем минимальный размер длины серий. Обнаружение таких спектральных областей осуществляется первым блоком частью 310 из алгоритма 300 на Фиг.3. Как видно из первой части/первого узла 310 из алгоритма 300, множество R обнаруженных областей инициализируется/приводится в исходное состояние/устанавливается в исходное состояние/калибруется как пустое множеством в начале алгоритма (R={};).

В случае алгоритма на Фиг.3, минимальная длина серий установлена в фиксированном значении 8, но, конечно, любое другое значение может быть выбрано.

Впоследствии, таким образом, следовательно, для множества рассматриваемых спектральных линий (обозначенных текущей переменной "индекс линий") определяется, содержит ли каждая из рассматриваемых спектральных линий двустороннюю среду спектральных линий, квантованную к нулю (и является ли сама рассматриваемая спектральная линия квантованной к нулю). Например, все линии во второй половине спектров могут рассматриваться последовательно, причем линия, рассматриваемая в данный момент, назначается индексом частоты "индекс линии". Для рассматриваемой линии, обозначенной "индексом линии", вычисляется сумма квантованных спектральных коэффициентов "квантованных (x(i))" в среде начиная от индекса спектральной частоты линий "индекс линии - (MinimalRunLength)/2" до индекса спектральной частоты линий "индекс линии+MinimalRunLength)/2". Если будет установлено, что сумма значений спектральной линии в указанной среде рассматриваемой в данный момент спектральной линии (с индексом частоты спектральной линии "индекс линии") равен нулю, то рассматриваемая в данный момент спектральная линия (или, точнее, индекс частоты спектральной линии "индекс линии") добавляется в множество R обнаруженных областей (или обнаруженных спектральных линий). Следовательно, если индекс частоты спектральной линии добавляется в множество R, это означает, что спектральные линии с индексами линий между "индексом линий - MinimalRunLength)/2" и "индексом линий + MinimalRunLength)/2" все содержат значения спектральных линий, квантованные к нулю.

Соответственно, в первой части 310 программы псевдокода 310 получается множество R индексов частот спектральных линий "индекс линий", которое содержит те (и только те) спектральные линии рассматриваемой спектральной части, которые "достаточно" отдалены (т.е. по крайней мере, MinimalRunLength/2 линиями) от любых спектральных линий, квантованных в ненулевое значение.

Обнаружение такой области представлено Фиг.4, которая показывает графическое представление 400 спектра. Абсцисса 410 показывает частоту спектральных линий с помощью индекса частоты спектральных линий "индекс линии". Ордината 412 показывает интенсивность (например, амплитуды и энергии) спектральных линий. Как показано на Фиг.4, часть спектра, проиллюстрированная графическим представлением 400, состоит из четырех спектральных линий 420а, 420b, 420с и 420d, квантованных в ненулевое значение. Кроме того, между спектральными линиями 420с и 420d есть 11 спектральных линий 422a-422k, квантованных к нулю. Кроме того, предполагается, что спектральная линия считается достаточно отдаленной от спектральной линии, квантованной в ненулевое значение, только если есть, по крайней мере, четыре спектральные линии, квантованные до нуля, между рассматриваемой спектральной линией и любой другой спектральной линией, квантованной в ненулевое значение (и, естественно, если рассматриваемая спектральная линия сама квантована к нулю). Однако при рассмотрении спектральной линии 422а, обнаруживается, что спектральная линия 422а непосредственно примыкает к спектральной линии 422с, которая не квантуется к нулю, таким образом, индекс частоты спектральной линии 422а не будет частью множества R, вычисляемого по первой части 310 из алгоритма 300. Кроме того, обнаруживается, что спектральные линии 422b, 422с, 422d и отдалены достаточно далеко от спектральных линий, квантованных в ненулевое значение, так, что индексы частоты спектральных линий от 422b к 422d также не могут быть частью множества R. В отличие от этого следует отметить, что спектральная линия 422е отстоит достаточно далеко от спектральных линий, квантованных в ненулевое значение, потому что спектральная линия 422е является линией центра (или, в общем, центральной линией), в последовательности из 9 смежных спектральных линий, квантованных к нулю. Таким образом, индекс частоты спектральной линии 422е будет частью множества R, вычисляемого в первой части 310 из алгоритма 300. То же самое справедливо и для спектральных линий 422f и 422g, так как индексы частоты спектральных линий 422f и 422g будут частью множества R, определяемого в первой части 310 из алгоритма 300, потому что спектральные линии 422f, 422g расположены достаточно далеко от более низкочастотных спектральных линий 420а, 420b и 420с, квантованных в ненулевое значение, и от любых более высокочастотных спектральных линий, квантованных в ненулевое значение. С другой стороны, спектральные линии 422h, 422i, 422j и 422к не будут частью множества R, потому что эти спектральные линии расположены слишком близко с точки зрения частоты, кроме того, спектральная линия 420d квантована в ненулевое значение.

Таким образом, множество R не будет содержать индексы частот спектральных линий 420а, 420b, 420с, 420d, потому что эти спектральные линии квантованы в ненулевое значение. Кроме того, индексы частоты спектральных линий 422а, 422b, 422с, 422d, 422h, 422i, 422j и 422k не будут входить в множество R, потому что эти спектральные линии расположены слишком близко к спектральным линиям 420а, 420b, 420с и 420d. В отличие от этого индексы частот спектральных линий 422е, 422f, 422g будут входить в множество R, потому что эти спектральные линии сами квантованы к нулю и расположены достаточно далеко от любых соседних ненулевых спектральных линий.

Алгоритм 300 также включает в себя вторую часть 320 из декодирования собственного шума, где индекс значения шума ("индекс" в части программного кода 320) преобразуется в декодированный показатель значения шума ("nf_decoded" в программном коде 300).

Программный код 300 также содержит третью часть 330 шумозаполнения идентифицированных спектральных линий, т.е. спектральных линий с индексами частотности i, которые входят в множество R. Для этого спектральные значения идентифицированных спектральных линий (назначенные для примера как x(i), где текущая переменная i последовательно принимает значения всех индексов частоты спектральных линий, входящих в множество R) настроены на значения шумозаполнения. Значения шумозаполнения получаются, например, путем умножения значения декодированного шумозаполнения (nf_decoded) на случайное число или псевдослучайное число (обозначенное как "случайное (-1, +1)"), где случайное или псевдослучайное число может взять, например, случайно или псевдослучайно значения -1 и +1. Однако различное обеспечение случайного или псевдослучайного шума естественно возможно.

Шумозаполнение также показано на Фиг.4. Как видно на Фиг.4, нулевые спектральные значения спектральных линий 422е, 422f и 422g заменяются значениями шумозаполнения значений (это показано пунктирными линиями на Фиг.4).

Вычислитель параметра шумозаполнения на Фиг.5 и 6

Фиг.5 показывает блок-схему калькулятора параметра шумозаполнения 500. Вычислитель параметра шумозаполнения предназначен для получения квантованного спектрального представления 510 звукового сигнала и создания на его основе параметра шумозаполнения 512. Вычислитель параметра шумозаполнения 500 включает в себя идентификатор спектральной области 520, который предназначен для получения квантованного спектрального представления 510 звукового сигнала и определения спектральных областей (например, спектральных линий) квантованного спектрального представления 510, отделенных от ненулевых спектральных областей квантованного спектрального представления 510, по крайней мере, одной промежуточной спектральной областью (например, спектральной линией), для получения информации 522, описывающей идентифицированные спектральные области (например, идентифицированные спектральные линии). Вычислитель параметра шумозаполнения 500 также включает в себя вычислитель значения шума 530, предназначенный для получения информации об ошибке квантования 532 и определения параметра шумозаполнения 512. Для этой цели вычислитель значения шума предназначен выборочно рассматривать ошибки квантования в идентифицированных спектральных областях, описанные информацией 522, для расчета параметра шумозаполнения 512.

Информация об ошибке квантования 532 может быть, например, идентична информации об энергии (или информации об интенсивности), описывающей энергии (или интенсивности) тех спектральных линий, которые квантованы к нулю в квантованном спектральном представлении 510.

Вычислитель параметра шумозаполнения 500 может дополнительно содержать квантователь 540, который предназначен для получения неквантованного спектрального представления 542 звукового сигнала и определение квантованного спектрального представления 510 звукового сигнала. Квантователь 540 может иметь регулируемую разрешающую способность, которую можно, например, индивидуально регулировать для каждой спектральной линии, или спектральной полосы (например, в зависимости от психоакустической значимости спектральных линий или спектральных полос, которая выявляется с помощью психоакустической модели). Функциональность квантователя с переменным разрешением может быть равна, функциональности описанной в Международных Стандартах ISO/IEC 13818-7 и ISO/IEC 14496-3. В частности, квантователь 540 может быть настроен так, что в квантованном спектральном представлении 510 звукового сигнала будут спектральные лакуны или спектральные дыры, т.е. сопредельные области соседних спектральных линий, квантованных к нулю.

Более того, неквантованное спектральное представление 542 может служить в качестве информации об ошибках квантования 532, или информация об ошибках квантования 532 может быть выведена из неквантованного спектрального представления 542.

Далее будет подробно описана функциональность вычисления параметра шумозаполнения, которое может быть выполнено вычислителем параметра шумозаполнения 500. При вычислении параметра шумозаполнения со стороны кодера, шумозаполнение предпочтительно применять в области квантования. При таком способе введенный шум впоследствии формируется обратным фильтром психоакустической значимости.

Энергия шума, введенного декодером, рассчитывается и кодируется на стороне кодера по следующим этапам

1. Получить квантованные значения частоты линий.

2. Выбрать только часть спектра.

3. Определить спектральные области в выбранной части спектра, где длина серий нулей выше, чем минимальный размер длин серий.

4. Вычислить среднее геометрическое ошибки квантования из ранее обнаруженных областей.

5. Квантовать равномерно среднее геометрическое с 3 битами.

Что касается первого этапа, квантованные значения частоты линий могут быть получены с использованием квантователя 540. Квантованные значения частоты линий, следовательно, могу быть представлены в квантованном спектральном представлении 510.

Что касается второго этапа, который можно считать необязательным, следует отметить, что вычисление шумозаполнения предпочтительнее осуществлять на основе высокочастотной части спектра. В предпочтительном варианте энергия шума (называемая собственным шумом), рассчитывается только на вторую половину спектров, т.е. для высоких частот (но не для более низких частот). Действительно, как правило, высокие частоты (верхняя часть спектра) являются менее важными для восприятия, чем низкие частоты, и нуль-квантованные значения возникают в основном во второй половине спектров. Кроме того, добавление шума на высоких частотах менее вероятно приведет к окончательному шумному восстановлению реституции звука.

Что касается третьего этапа, путем ограничения шумозаполнения на спектральных областях, где возникает длина серий нуль-квантованных значений, можно избежать того, чтобы шумозаполнение влияло на необнуленные значения слишком сильно. Таким образом, шумозаполнение не применяется в окрестности по близости от необнуленных значений, и оригинальная первоначальная тональность этих линий тогда лучше сохраняется. Минимальный размер длины серий фиксируется к 8 в предпочтительном варианте. Это означает, что 8 линий, окружающих необнуленные значения, не подвержены влиянию шумозаполнения (и, следовательно, не принимаются во внимание при расчете значения шума).

Что касается четвертого этапа, ошибки квантования в квантованной области находятся в диапазоне [-0,5, 0,5], и считаются равномерно распределенными. Энергия квантования ошибок в обнаруженных областях является средней в логарифмической области (т.е. среднее геометрическое). Собственный шум, nf, затем рассчитывается следующим образом:

nf=power(10, sum (log10(E(x(i))))/(2*n)).

nf=мощность (10, сумма (log10(Е (x(i))))/(2*n)).

В вышеприведенной формуле сумма () является суммой логарифмических энергий, log10 (Е()), из отдельных линий х (i) в пределах обнаруженных областей, и n является количеством линий в пределах этих областей. Собственный шум, nf, находится между 0 и 0,5. Такой расчет позволяет принимать во внимание исходную спектральную неравномерность обнуленных значений, а затем получить информацию о характеристиках их тональности / шумности.

Если обнуленные значения очень тональные, собственный шум (компьютер в аппарате 500) пойдет на нуль, и низкий уровень собственного шума будет добавлен в декодере (например, в декодере 100, 200, описанных выше). Если обнуленные значения действительно шумны, уровень собственного шума будет высоким, и шумозаполнение можно рассматривать как высоко параметрическое кодирование обнуленных спектральных линий, как и PNS (Perceptual Noise Substitution) (замена восприятия шума) (см. также [4]).

Что касается пятого этапа, индекс квантования ("индекс") от собственного шума рассчитывается следующим образом:

index=max(0, min(7, int(8-16*nf))).

Индекс передается, например, на 3 бита.

Далее, будет описан алгоритм вычисления параметра шумозаполнения со ссылкой на Фиг.6, которая показывает программу псевдокод 600 для такого алгоритма получения параметра шумозаполнения в соответствии с вариантом изобретения. Алгоритм 600 включает в себя первую часть - блок-узел 610 выявления областей, которые должны рассматриваться для вычисления параметра шумозаполнения. Идентифицированные выявленные области (например, спектральные линии) описываются множеством R, которое может, например, включать индексы частот спектральных линий ("индекс линий") идентифицированных спектральных линий. Можно идентифицировать спектральные линии, которые сами квантованы к нулю и которые расположены достаточно далеко от любых других спектральных линий, квантованных в ненулевое значение.

Первая часть 610 программы 600 может быть идентична первой части 310 программы 300. Соответственно, квантованное спектральное представление ("квантованного (х(i))"), используемое в алгоритме 600, может быть, например, идентичным квантованному спектральному представлению ("квантованного х(i))"), используемому в алгоритме 300 на стороне декодера. Другими словами, квантованное спектральное представление, используемое на стороне кодера, может передаваться в закодированном виде декодеру в системе передачи, включающей кодер и декодер.

Алгоритм 600 включает в себя вторую часть 620 вычисления собственного шума. При вычислении собственного шума, принимаются во внимание только те спектральные области (или спектральные линии), которые включаются в множество R, вычисленное в первой части 610 из алгоритма 600. Как видно, значение шумозаполнения nf сначала обнуляется. Число рассматриваемых спектральных линий (n) также сначала обнуляется. Далее энергии всех спектральных линий, индексы линий, которые включены в множество R, суммируются, причем энергии спектральных линий логарифмируются до суммирования. Например, логарифм по основанию 10 (log 10) от энергий (Е (х(i))) спектральных линий может быть суммирован. Следует отметить, что реальная энергия спектральных линий до квантования (обозначенная как "Е или энергия (х(i))") суммируется в логарифмической форме. Также учитывается число рассматриваемых спектральных линий. Таким образом, после исполнения второй части 620 из алгоритма 600 переменная nf указывает на логарифмическую сумму энергий идентифицированных спектральных линий до квантования, а переменная n описывает число идентифицированных спектральных линий.

Алгоритм 600 также включает в себя третью часть 630 квантования значения nf, т.е. логарифмическую сумму идентифицированных спектральных линий. Отображающее уравнение, как описано выше или как показано на Фиг.6, может быть использовано.

Метод использования в соответствии с Фиг.7

Фиг.7 показывает блок-схему метода для получения шумозаполненного спектрального представления звукового сигнала на основе входного спектрального представления звукового сигнала. Метод 700 на Фиг.7 включает в себя этап 710 идентификации спектральных областей входного спектрального представления звукового сигнала, отделенных от ненулевых спектральных областей входного спектрального представления, по крайней мере, одной промежуточной спектральной областью, для получения идентифицированных спектральных областей. Метод 700 также включает в себя этап 720 выборочного введения шума в идентифицированные спектральные области для получения шумозаполненного спектрального представления звукового сигнала.

Метод 700 может быть дополнен любым из свойств или функциональных возможностей, описанных здесь в связи с изобретенным шумозаполнителем.

Метод использования в соответствии с Фиг.8

На Фиг.8 показана блок-схема метода получения параметра шумозаполнения на основе квантованного спектрального представления звукового сигнала. Метод 800 включает в себя этап 810 идентификации спектральных областей квантованного спектрального представления звукового сигнала, отделенных от ненулевых спектральных областей квантованного спектрального представления, по крайней мере, одной промежуточной спектральной областью, для получения идентифицировнных спектральных областей. Метод 800 также включает в себя этап 820 выборочного рассмотрения ошибок квантования в идентифицированных спектральных областях для расчета параметра шумозаполнения.

Метод 800 может быть дополнен любым из свойств и функциональных возможностей, описанных здесь в связи с вычислителем параметра шумозаполнения.

Представление звукового сигнала на Фиг.9

На Фиг.9 показано графическое представление представления звукового сигнала в соответствии с вариантом изобретения. Представление звукового сигнала 900 может, например, служить основой для входного спектрального представления 110. Представление звукового сигнала 900 может также взять на себя функциональность представления кодированного звукового сигнала 212. Представление звукового сигнала 900 может быть получено с помощью вычислителя параметра шумозаполнения 500, в котором представление звукового сигнала 900 может, например, включать квантованное спектральное представление 510 звукового сигнала и параметр шумозаполнения 512, например, в кодированном виде.

Другими словами, кодированное представление звукового сигнала 900 может представлять звуковой сигнал. Представление кодированного звукового сигнала 900 включает в себя кодированное квантованное спектральное представление области звукового сигнала, а также кодированный параметр шумозаполнения. Параметр шумозаполнения представляет ошибки квантования спектральных областей в представлении спектрального домена, квантованных к нулю и отделенных от спектральных областей представления спектрального домена, квантованного в ненулевое значение, по крайней мере, одной промежуточной спектральной областью.

Естественно, представление звукового сигнала 900 может быть дополнено любой информацией, изложенной выше.

Альтернативные способы использования

В зависимости от определенных требований к использованию изобретения могут быть осуществлены в оборудовании или в программном обеспечении. Изобретение может быть применено с использованием любого цифрового носителя, например дискеты, DVD, CD, ROM, FROM, EPROM, EEPROM или флэш-карты, имеющего установленные электронно-читаемые сигналы управления, которые совместимы (или способны работать вместе) с программируемым компьютером Системы, в которой осуществляется соответствующий метод.

Некоторые варианты использования изобретения включают в себя использование носителя данных, имеющего электронно-читаемые сигналы управления, которые способны работать с программируемой компьютерной системой, в которой осуществляется один из методов, описанных здесь.

Как правило, использование данного изобретения может быть реализовано в виде программного продукта с программным кодом, при этом программный код используется для выполнения одного из методов, когда программный продукт запущен на компьютере.

Программный код может быть, например, сохранен на электронном носителе.

Другие варианты реализации изобретения включают в себя использование компьютерной программы для выполнения одного из методов, описанных выше, которая хранится на читаемом носителе.

Таким образом, реализацией изобретения является компьютерная программа, имеющая программный код для выполнения одного из методов, описанных здесь, когда компьютерная программа запущена на компьютере.

Еще один способ реализации изобретенных методов включает использование носителя информации (или цифрового запоминающего устройства), содержащего компьютерную программу для выполнения одного из методов, описанных в данном документе.

Еще одной формой реализации изобретенных методов является поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из методов, описанных в данном документе. Поток данных или последовательность сигналов может быть, например, настроена на передачу через канал передачи данных, например через Интернет.

Еще один вариант использования изобретения включает в себя средства обработки данных, например компьютер или программируемое логическое устройство, настроенное или адаптированное для выполнения одного из методов, описанных в данном документе.

Еще один вариант использования изобретения включает в себя использование компьютера, на котором установлена компьютерная программа для выполнения одного из методов, описанных в данном документе.

В некоторых способах реализации изобретения программируемое логическое устройство (например, логическая матрица, программируемая пользователем) может быть использована для выполнения некоторых или всех функциональных возможностей, описанных в данном документе.

В некоторых вариантах реализации, логическая матрица, программируемая пользователем, может использоваться вместе с микропроцессором для выполнения одного из методов, описанных в данном документе.

Заключение

Подводя итог всему вышесказанному, следует отметить, что данное изобретение совершенствует такой инструмент звукового кодирования, как "шумозаполнение", благодаря тому, что оно учитывает характеристики входного сигнала и декодированного сигнала при вычислении параметров шумозаполнения на стороне кодера и применении шума на стороне декодера.

Реализация изобретения предполагает, что тональность нуль-квантованных спектральных линий оценивается и используется для оценки собственного шума. Этот собственный шум затем передается в декодер, который осуществляет шумозаполнение нулевых квантованных значений, которые возникают в отдельных областях спектров. Эти области выбираются в зависимости от характеристик декодируемых спектров.

Что касается контекста изобретения, можно отметить, что изобретение связано с преобразованием на основе кодирования, при котором используется скалярное квантование на MDCT. MDCT коэффициенты предварительно нормированы кривой, рассчитанной на перцептивной значимости. Кривая выводится из предыдущего LPC (кодирование с линейным предсказанием Linear Prediction Coding) анализа путем взвешивания LPC коэффициентов, как это делается в режиме ТСХ из AMR-WB+(см. [1]). На основе взвешенных коэффициентов разработан фильтр взвешивания восприятий, который применяется до MDCT. Обратный фильтр применяется также на стороне декодера после обратной MDCT. Этот обратный фильтр взвешивания восприятий формирует шумы для квантования таким образом, что это сводит к минимуму или маскирует воспринимаемый шум.

Во всех формах реализации изобретения преодолены недостатки предшествующих устройств. Шумозаполнение традиционно применяется на систематической основе для нуль-квантованных значений, учитывая только спектральный порог огибающей, порог маскировки или порог энергии. Предшествующие способы не учитывали ни характеристики входного сигнала, ни характеристики декодированного сигнала. Таким образом, традиционный инструментарий может ввести дополнительные нежелательные искажения, особенно искажения шума, и свести к нулю преимущества такого инструмента.

В отличие от этого реализация данного изобретения позволяет улучшить шумозаполнение, ограничивая нежелательные искажения, как сказано выше.

Литература

[1] "Extended Adaptive Multi-Rate - Wideband (AMR-WB+) codec", 3GPP TS 26.290 V6.3.0, 2005-06, Technical Specification.

[2] Ragot et al, "ITU-T G.729.1: AN 8-32 Kbit/S Scalable Coder Interoperable with G.729 for Wideband Telephony and Voice Over IP", Vol.4, ICASSP 07, 15-20 April 2007.

[3] "AUDIO CODING", International Application No.: PCT/IB2002/001388, Applicant: KONINKLIJKE PHILIPS ELECTRONICS N.V. [NL/NL]; Groenewoudseweg 1 NL-5621 BA Eindhoven (NL). Inventors: TAORI, Rakesh; Prof Holstlaan 6 NL-5656 AA Eindhoven (NL) and VAN DE PAR, Steven, L., J., D., E.; Prof. Holstlaan 6 NL-5656 AA Eindhoven (NL).

[4] Generic Coding of Moving Pictures and Associated Audio: Advanced Audio Coding. International Standard 13818-7, ISO/IEC JTC1/SC29/WG11 Moving Pictures Expert Group, 1997.