Результат интеллектуальной деятельности: АУДИОПРОЦЕССОР И СПОСОБ ОБРАБОТКИ ЗВУКА С ВЫСОКОКАЧЕСТВЕННОЙ КОРРЕКЦИЕЙ ЧАСТОТЫ ОСНОВНОГО ТОНА (ВАРИАНТЫ)

Область применения изобретения

Ряд реализации данного изобретения относится к аудиопроцессорам, предназначенным для цифровой обработки звукового сигнала в последовательность фреймов посредством дискретизации и повторной дискретизации сигнала в зависимости от частоты основного тона.

Предпосылки изобретения и известный уровень техники

Косинусные или синусные преобразования с модулированием и наложением, соответствующие модулированным банкам фильтров, часто применяются в кодировании акустических источников благодаря возможности уплотнения энергии. Это означает, что относительно гармонических звуковых тонов с постоянными основными частотами (частотой основного тона) они концентрируют энергию сигнала в малом количестве спектральных компонент (подполос), обеспечивая качественное представление сигнала. Как правило, основной тон сигнала понимают как низшую доминантную частоту в спектре сигнала. Общепринято основным тоном речевой модели считать частоту возбуждающего сигнала, модулируемую человеческой гортанью. Наличие только одной основной частоты делает спектр сверхпростым, состоящим лишь из опорной частоты и обертонов. Кодирование такого спектра очень эффективно. Но в сигналах с переменной частотой основного тона мощностью, соответствующей каждой гармонической составляющей, требуется несколько коэффициентов преобразования, снижая, таким образом, эффективность кодирования.

Эффективность кодирования сигналов с переменной частотой основного тона может быть повышена, прежде всего, путем получения дискретизированного во времени сигнала с виртуальным устойчивым основным тоном. Это выполнимо путем изменения частоты дискретизации пропорционально высоте тона. Такой подход подразумевает повторную дискретизацию всего сигнала перед преобразованием для получения максимально возможной устойчивости основного тона в течение всей длительности сигнала. Это достижимо посредством неравномерной дискретизации, при которой интервалы между отсчетами подвижны и выбираются так, что кривая частоты основного тона повторно дискретизированного сигнала, интерпретируемого с учетом равноудаленных отсчетов, расположена ближе к общей средней частоте основного тона, чем исходный сигнал. В этом смысле контур частоты основного тона должен рассматриваться как частный случай основного тона. Локальная вариативность может быть параметризована, например, как функция времени или количества дискретов.

Аналогично эту операцию можно рассматривать как перемасштабирование оси времени семплированного или непрерывного сигнала перед выполнением равномерной дискретизации. Такое временное преобразование известно также как деформирование частотного разрешения. Частотное преобразование сигнала, предварительно обработанного с выведением частоты основного тона, близкой к постоянной, способно достичь эффективности кодирования, по качеству близкой к сигналу с естественной постоянной частотой тона.

Однако предыдущий подход имеет некоторые недостатки. Во-первых, изменение частоты дискретизации в широком диапазоне, как того требует обработка полного сигнала, согласно теореме о дискретном представлении может дать в результате сильно меняющийся диапазон частот сигнала. Во-вторых, каждый блок коэффициентов преобразования, представляющих фиксированное количество входных отсчетов, будет в дальнейшем представлять в исходном сигнале отрезок времени переменной продолжительности. Это сделает почти невозможными приложения с ограниченной кодовой задержкой и, более того, приведет к трудностям при синхронизации.

Следующий метод предложен заявителями на международный патент 2007/051548. Авторы предлагают способ пофреймового смещения частотного разрешения. Однако это достигается путем внесения нежелательных ограничений в применяемые кривые деформации.

В силу сказанного, существует необходимость альтернативных подходов к повышению эффективности кодирования при сохранении высокого качества закодированных и декодированных аудиосигналов.

Краткое описание изобретения

Варианты реализации настоящего изобретения позволяют повысить эффективность кодирования посредством локального преобразования сигнала внутри каждого блока сигнала (звукового фрейма) для обеспечения (виртуальной) постоянной частоты основного тона в продолжение каждого входного блока, дополняющего набор коэффициентов блочного преобразования. Такой входной блок может быть образован, например, двумя последовательными фреймами аудиосигнала при применении модифицированного дискретного косинусного преобразования в частотной области.

При использовании модулирования с наложением, например, модифицированного дискретного косинусного преобразования (МДКП) два последовательных блока при преобразовании в частотной области вводятся с перекрытием для плавного перехода сигнала на границах блоков с целью подавления слышимых паразитных факторов обработки блоков. Избежать увеличения числа коэффициентов преобразования по сравнению с преобразованием без наложения удается благодаря критической дискретизации. Тем не менее, при МДКП прямое и обратное преобразование каждого входного блока не обеспечивает его полную реконструкцию, так как вследствие критической дискретизации искажения переносятся в реконструируемый сигнал. Расхождение между входным блоком и сигналом после прямого и обратного преобразования обычно называют "эффектом наложения во временной области". Однако при выполнении алгоритма МДКП входной сигнал может быть точно воссоздан с помощью перекрытия реконструированных блоков путем сохранения одной половины блока в реконструированном виде и суммирования перекрывающих отсчетов. Как показали некоторые версии осуществления изобретения, это свойство модифицированного прямого косинусного преобразования может сохраняться, даже когда базовый сигнал деформирован во временной области в каждом блоке (что равнозначно применению локально адаптивных частот дискретизации).

Как описано выше, дискретизация с локально адаптивными частотами (дискретизация с переменной частотой) может рассматриваться как равномерное семплирование на деформированной шкале времени. С этой точки зрения уплотнение временной шкалы перед дискретизацией снижает эффективность частоты дискретизации, в то время как растягивание увеличивает эффективность частоты дискретизации основного сигнала.

Если рассматривать частотное или иное преобразование, где при восстановлении сигнала для компенсации возможных искажений используются перекрытие и суммирование, функция устранения наложения спектров во временной области сохраняется, если на участке перекрывания двух последовательных блоков сохраняется такое же частотное деформирование (корректировка частоты основного тона). Таким образом, исходный сигнал может быть восстановлен после инвертирования деформации. Это справедливо также при варьировании локальных шагов дискретизации для двух блоков, преобразуемых перекрытием, поскольку наложение спектров во временной области соответствующего непрерывного во времени аналогового сигнала по-прежнему нейтрализуется при условии, что выполняется теорема о дискретном представлении.

В некоторых реализациях выбор частоты дискретизации после деформирования шкалы времени сигнала внутри каждого преобразуемого блока выполняется индивидуально для каждого блока. В результате этого постоянное число отсчетов продолжает отображать отрезок фиксированной продолжительности во входном сигнале. При этом может быть использован дискретизатор, который будет разбивать аудиосигнал внутри преобразуемых перекрытием блоков на отсчеты с использованием данных контура основного тона сигнала таким образом, что компонента перекрывающего сигнала первого дискретного представления и второго дискретного представления будут иметь подобную или идентичную кривую частот основного тона в каждом из дискретных представлений. Контур основного тона или данные кривой частот основного тона, используемые при дискретизации, могут быть выведены произвольно, поскольку данные кривой основного тона (контур основного тона) прямо соотносятся с частотой основного тона сигнала. Используемые показатели контура основного тона могут, в частности, соответствовать абсолютному основному тону, относительному основному тону (изменению высоты тона), части абсолютного основного тона или являться однозначной функцией основного тона. При подборе показателей контура основного тона по указанному выше принципу участок первого дискретного представления, соответствующего второму фрейму, имеет контур основного тона, подобный контуру основного тона участка второго дискретного представления, соответствующего второму фрейму. Например, подобие может выражаться в том, что значения основного тона соответствующих компонент сигнала имеют более или менее постоянное отношение, то есть отношение в пределах установленного диапазона допустимых значений. Таким образом, дискретизация может быть выполнена таким образом, что участок первого дискретного представления, соответствующего второму фрейму, имеет контур основного тона в области допустимых значений кривой частот основного тона участка второго дискретного представления, соответствующего второму фрейму.

Поскольку сигнал в блоках преобразования может быть повторно дискретизирован с другими частотами или шагами дискретизации, создаются входные блоки, которые могут быть эффективно закодированы с помощью алгоритма кодирования для последующего преобразования. Это легко выполнимо с помощью одновременного введения полученных показателей кривой частот основного тона, поскольку контур основного тона непрерывен.

Даже если изменение относительной высоты тона не было определено в отдельном входном блоке, контур основного тона может быть сохранен постоянным внутри и на границах тех интервалов между сигналами или блоков сигнала, которые не содержат распознаваемых изменений частоты тона. Это может быть преимуществом при сбое или ошибке отслеживания основного тона, причиной которых могут стать комплексные сигналы. Даже в таком случае коррекция основного тона или передискретизация перед трансформирующим кодированием не вносят никакие дополнительные искажения.

Независимая дискретизация во входных блоках может осуществляться с помощью специальных окон преобразования (окон масштабирования), применяемых до или в ходе преобразования в частотной области. В ряде конструктивных решений такие окна масштабирования находятся в зависимости от контура основного тона фреймов, связанных с блоками преобразования. В целом, окна масштабирования зависят от параметров семплирования примененных при выведении первого дискретного представления или второго дискретного представления. Таким образом, окно масштабирования первого дискретного представления может зависеть от параметров выборки отсчетов, примененных для формирования только первого окна масштабирования, от параметров выборки отсчетов, примененных для формирования только второго окна масштабирования, или и от тех и от других - параметров выборки отсчетов, примененных для формирования первого окна масштабирования и параметров выборки отсчетов, примененных для формирования второго окна масштабирования. То же с необходимыми изменениями применяется к окну масштабирования для второго дискретного представления.

Благодаря этому можно предупредить перекрытие более двух последовательных блоков в какой-то один момент в ходе реконструкции перекрытием и суммированием, что обеспечивает устранение эффекта наложения спектров во временной области.

В некоторых реализациях, в частности, окна масштабирования при обработке сигнала могут формироваться с разной конфигурацией каждой из двух половин каждого блока преобразования. Такая возможность возникает, поскольку каждое окно наполовину выполняет условие устранения наложения спектров вместе с половиной окна соседнего блока в пределах общего интервала перекрытия.

В силу того, что дискретизация этих двух перекрывающихся блоков могла выполняться с различной частотой (то есть разные значения базовых аудиосигналов соответствуют одинаковым дискретным отсчетам), теперь одинаковое количество отсчетов может соответствовать разным составляющим сигнала (формам сигнала). Однако предыдущее требование может быть выполнено путем уменьшения длины переходов (отсчетов) для блока с менее эффективной частотой дискретизации по сравнению с парным блоком перекрытия. Другими словами, может быть использован вычислитель окна преобразования или способ вычисления окна масштабирования, который уравнивал бы окна масштабирования по числу отсчетов для каждого входного блока. При этом число дискретов, использованных на затухание первого входного блока, может отличаться от числа дискретов, необходимых для наплыва второго входного блока. Таким образом, использование окон масштабирования для преобразования перекрывающихся входных блоков в пакеты цифровых отсчетов (первое дискретное представление и второе дискретное представление), что зависит от приложенных к входным блокам параметров дискретизации, позволяет применить внутри перекрывающихся входных блоков дискретизацию с иными показателями, сохраняя при этом работоспособность функции реконструкции перекрытием и суммированием с удалением наложения спектров во временной области.

В итоге, идеально сформированная кривая частот основного тона может быть использована без внесения в нее каких-либо дополнительных изменений, давая возможность одновременно представлять дискретизированные входные блоки, которые могут быть эффективно закодированы с последующим преобразованием в частотной области.

Краткое описание чертежей

Далее представлено описание ряда конструктивных решений настоящего изобретения со ссылкой на прилагаемые иллюстрации, где:

на фиг.1 дана блок-схема реализации аудиопроцессора, предназначенного для цифровой обработки и представления акустического сигнала в виде последовательности фреймов;

на фиг.2А-2D показан пример дискретизации входного звукового сигнала в зависимости от контура его основного тона с использованием окна масштабирования в зависимости от приложенных параметров дискретизации;

на фиг.3 показан пример совмещения периодов выборки и эквидистантных шагов дискретизации входного сигнала;

на фиг.4 показан пример изохроны, определяющей период выборки отсчетов;

на фиг.5 показан пример окна масштабирования;

на фиг.6 показан график зависимости основного тона от последовательности звуковых фреймов, подлежащих обработке;

на фиг.7 показано окно масштабирования дискретизированного блока преобразования;

на фиг.8 показаны окна масштабирования, соответствующие контуру основного тона на фиг.6;

на фиг.9 показан другой пример контура основного тона последовательности фреймов аудиосигнала, подлежащих обработке;

на фиг.10 показаны окна масштабирования, примененные к контуру основного тона на фиг.9;

на фиг.11 показаны окна масштабирования фиг.10, преобразованные в линейном масштабе времени;

на фиг.11А дан следующий пример кривой частот основного тона последовательности фреймов;

на фиг.11B показаны окна масштабирования, соответствующие фиг.11А, на линейной шкале времени;

на фиг.12 отображен алгоритм обработки аудиосигнала;

на фиг.13 показана схема реализации процессора, предназначенного для обработки дискретов аудиосигнала, составленного из последовательности аудиофреймов; и

на фиг.14 отображен алгоритм обработки дискретного представления аудиосигнала.

Подробное описание предпочтительных реализаций изобретения

На фиг.1 представлена блок-схема реализации устройства цифровой обработки звука 2, предназначенного для формирования цифрового представления акустического сигнала в виде последовательности фреймов. Аудиопроцессор 2 включает в себя дискретизатор 4, предназначенный для отбора отсчетов аудиосигнала (входного) 10, вводимого в аудиопроцессор 2 для формирования блоков сигнала (дискретное представление), служащих основой преобразования в частотной области. Кроме того, аудиопроцессор 2 содержит вычислитель окон преобразования 6, предназначенный для подбора окон масштабирования дискретов на выходе дискретизатора 4. Они поступают в оконный преобразователь 8, предназначенный для приложения окон масштабирования к дискретам, полученным на выходе дискретизатора 4. В некоторых вариантах конструкции оконный преобразователь может дополнительно включать в себя преобразователь частотной области 8а для формирования частотного представления масштабированных дискретов. Последние могут пройти дальнейшую обработку или быть переданы дальше как закодированное цифровое представление акустического сигнала 10. Далее аудиопроцессор использует контур основного тона 12 аудиосигнала, который может быть введен в аудиопроцессор или который как вариант конструктивного решения может быть выведен самим аудиопроцессором 2. Таким образом, в аудиопроцессор 2 может быть произвольно введена функция оценки высоты тона для формирования контура основного тона.

Дискретизатор 4 может обрабатывать как непрерывный аналоговый звуковой сигнал, так и аудиосигнал в предварительно дискретизированном представлении. В последнем случае дискретизатор может передискретизировать аудиосигнал, поступающий на его вход, как показано на фиг.2А-2D. Дискретизатор рассчитан на выборку отсчетов в соседних перекрывающихся аудиоблоках таким образом, чтобы после выборки отсчетов перекрывающая часть имела одинаковый или идентичный контур основного тона в каждом из входных блоков.

Случай с предварительно дискретизированным аудиосигналом более подробно рассматривается в контексте фиг.3 и 4.

Вычислитель окон преобразования 6 рассчитывает окна масштабирования для аудиоблоков на основании повторной дискретизации, выполненной дискретизатором 4. Для этих целей в аудиопроцессор может быть дополнительно введен блок настройки частоты дискретизации 14 для определения правила передискретизации для дискретизатора, которое сразу же передается также на вычислитель окна преобразования. Альтернативное техническое решение допускает отсутствие блока настройки частоты дискретизации 14 и прямую передачу параметров контура основного тона 12 на вычислитель окна преобразования 6, который может самостоятельно выполнить необходимые вычисления. В дополнение, дискретизатор 4 может передать информацию о выполненной дискретизации вычислителю окна преобразования 6 для обеспечения расчета соответствующих окон масштабирования.

Повторная дискретизация выполняется так, что частоты основного тона дискретных аудиоблоков, сформированных дискретизатором 4, превышают постоянный контур основного тона оригинального акустического сигнала внутри входного блока. Для этого выводится контур частот основного тона, как показано для типичного случая на фиг.2А и 2D.

На фиг.2А показан контур линейно затухающего основного тона как функция от числа отсчетов предварительно дискретизированного входного звукового сигнала. Таким образом, фиг. с 2А по 2D отображают сценарий, где входные аудиосигналы представлены уже как величины отсчетов. Однако для более наглядного представления концепции аудиосигналы как перед, так и после передискретизации (деформации шкалы времени) показаны в виде непрерывных сигналов. На фиг.2B дан пример качающегося убывания частоты синусоидного сигнала 16 от верхних частот до нижних. Такой характер изменения соответствует контуру основного тона на фиг.2А, что отражено в произвольных единицах. Здесь снова следует обратить внимание на то, что деформация шкалы времени эквивалентна передискретизации сигнала с локально адаптивными шагами дискретизации.

Фиг.2b иллюстрирует процесс преобразования перекрытием и суммированием на примере трех последовательных фреймов 20а, 20b и 20с аудиосигнала, обрабатываемых поблочно с перекрытием одного фрейма (20b). А именно, обработку и передискретизацию проходит первый блок сигнала 22 (блок сигнала 1), включающий в себя отсчеты первого фрейма 20а и второго фрейма 20b, второй блок сигнала 24, включающий в себя отсчеты второго фрейма 20b и третьего фрейма 20с, передискретизируется независимо. Повторная дискретизация первого блока сигнала 22 выполняется для образования первого вторично дискретизированного представления 26, показанного на фиг.2С, а передискретизация второго блока сигнала 24 выполняется для второго вторично дискретизированного представления 28, показанного на фиг.2D. При этом дискретизация выполняется так, что участки, соответствующие перекрывающему фрейму 20b, имеют такой же или немного отличающийся (идентичный в пределах заданного диапазона допустимых значений) контур основного тона в первом семплированном представлении 26 и втором семплированном представлении 28. Это безусловно верно только, когда высота тона оценена в пересчете на количество отсчетов. Первый блок сигнала 22 передискретизируется в первое повторно дискретизированное представление 26 с постоянным (идеальным) основным тоном. Следовательно, при использовании величин отсчетов вторично дискретизированного представления 26 в качестве входных данных для преобразования в частотной области в идеале должен быть получен всего один частотный коэффициент. Очевидно, что это наиболее эффективное воспроизведение аудиосигнала. Детали повторной дискретизации обсуждаются дальше, при рассмотрении фиг.3 и 4. Из графика на фиг.2С очевидно, что в результате передискретизации ось дискретных отсчетов (ось X), соответствующая оси времени при эквидистантном семплировании, видоизменяется так, что форма результирующего сигнала имеет только одну частоту основного тона. Это соответствует деформации шкалы времени по временной оси и последующей равномерной дискретизации деформированного по времени сигнала первого блока сигнала 22.

Повторная дискретизация второго блока сигнала 24 выполняется таким образом, что составляющая сигнала, соответствующая перекрывающему фрейму 20b во втором повторно дискретизированном представлении 28, имеет идентичный или лишь немного отклоняющийся контур основного тона в сравнении с соответствующей составляющей сигнала в повторно дискретизированном представлении 26. При этом частоты дискретизации различаются. В силу этого идентичные формы сигнала при представлении в повторно дискретизированном виде воспроизводятся различным числом дискретов. Тем не менее, каждое повторно дискретизированное представление после кодирования кодером-преобразователем становится высокоэффективным закодированным отображением, содержащим лишь ограниченное число ненулевых частотных коэффициентов.

Благодаря повторной дискретизации составляющие сигнала первой половины блока сигнала 22 смещаются в сторону отсчетов, принадлежащих второй половине блока сигнала в повторно дискретизированном представлении, как показано на фиг.2С. В частности, заштрихованный участок 30 и соответствующий сигнал справа от второго пика (обозначенного II) сдвигается в правую половину повторно дискретизированного представления 26 и, таким образом, воспроизводится с помощью второй половины отсчетов повторно дискретизированного представления 26. Однако эти отсчеты не содержат соответствующую компоненту сигнала в левой половине повторно дискретизированного представления 28 на фиг.2D.

Другими словами, при передискретизации частота дискретизации устанавливается для каждого блока МДКП таким образом, что частота дискретизации дает в результате непрерывность линейного времени в центре блока, где содержится N отсчетов при частотном разрешении N и максимальной длине окна 2N. В предыдущем примере на фиг.2А-2D N=1024, а следовательно, 2N=2048 отсчетам. Повторная дискретизация представляет собой интерполяцию реального сигнала в заданных позициях. Вследствие того что два перекрывающихся блока могли быть дискретизированы с разной частотой, повторная дискретизация должна быть выполнена дважды для каждого сегмента времени (равного одному из фреймов 20а-20с) входного сигнала. Тот же самый контур основного тона, который управляет кодером или аудиопроцессором, осуществляющим кодирование, может быть использован для управления обратным преобразованием и инвертированием деформации, поскольку он может быть реализован внутри аудиодекодера. Поэтому в некоторых приложениях уровень основного тона передается как служебная информация. Во избежание рассогласования между кодером и соответствующим декодером применяются версии кодера с использованием кодируемого, а затем декодируемого контура основного тона вместо вводимого или первоначально вычисленного контура основного тона. Тем не менее, контур основного тона, полученный как дериват или введенный, может быть использован напрямую.

Для того чтобы при выполнении реконструкции перекрытием и суммированием гарантировать наложение только надлежащих составляющих сигнала, формируют соответствующие окна масштабирования. Эти окна масштабирования отвечают за то, чтобы различные компоненты исходных сигналов были представлены в соответствующих половинах окон вторично дискретизированных представлений, поскольку это является результатом описанной ранее передискретизации.

Соответствующие окна масштабирования подбираются для кодируемых сигналов, зависящих от дискретизации или передискретизации, при которой получены первое и второе дискретные представления 26 и 28. В примерах для исходного сигнала на фиг.2B и контура основного тона на фиг.2А соответствующие окна масштабирования для второй половины окна первого дискретного представления 26 и для первой половины окна второго дискретного представления 28 получены с помощью первого окна масштабирования 32 (его второй половины) и второго окна масштабирования 34 соответственно (левая половина окна соответствует первым 1024 отсчетам второго дискретного представления 28).

Так как составляющая сигнала внутри заштрихованного участка 30 первого дискретного представления 26 не имеет соответствующую составляющую сигнала в первой половине окна второго дискретного представления 28, составляющая сигнала внутри заштрихованного участка должна быть целиком реконструирована с помощью первого дискретного представления 26. При реконструкции путем МДКП этого можно достичь, если соответствующие дискреты не используются для обеспечения нарастания или затухания, то есть если дискреты получают масштабный коэффициент 1. Следовательно, дискретные отсчеты окна масштабирования 32, соответствующие заштрихованной области 30, задаются как единица. Вместе с тем, такое же число дискретов должно быть установлено на 0 в конце окна масштабирования во избежание их смешивания с дискретными отсчетами первой заштрихованной области 30 в силу свойств, присущих МДКП и обратному преобразованию.

В силу того что в результате выполнения повторной дискретизации сегмент перекрывающего окна имеет идентичное временное деформирование, отсчеты второй заштрихованной области 36 также не имеют дубликата сигнала в первой половине окна второго дискретного представления 28. Таким образом, эта составляющая сигнала может быть полностью восстановлена с помощью второй половины окна второго дискретного представления 28. Следовательно, установка на 0 дискретных отсчетов первого окна масштабирования, соответствующих второму заштрихованному участку 36, без потери информации о восстанавливаемом сигнале выполнима. Каждая компонента сигнала в пределах первой половины окна второго дискретного представления 28 имеет соответствующий эквивалент в пределах второй половины окна первого дискретного представления 26. В силу этого все дискреты, составляющие первую половину окна второго дискретного представления 28, используются для плавного перехода между первым и вторым дискретными представлениями 26 и 28, так как это обусловлено геометрией второго окна масштабирования 34.

В итоге повторная дискретизация на базе основного тона и использование надлежащим образом сформированных окон масштабирования обеспечивают оптимальный контур основного тона, применение которого не ограничено никакими условиями, кроме непрерывности. Так как повышение эффективности кодирования возможно при изменении только относительной высоты основного тона, контур основного тона может сохраняться постоянным внутри и на границах интервалов сигнала, где нет явно выраженного основного тона или где отсутствуют отклонения основного тона. В ряде альтернативных подходов предлагается выполнять деформирование шкалы времени с привлечением специализированных контуров основного тона или функций деформации шкалы времени, в которые введены специальные ограничения контура. Введение конструктивных решений данного изобретения повысит эффективность кодирования благодаря постоянной доступности оптимального контура основного тона.

Далее, при рассмотрении фиг. с 3 по 5 будут подробно описаны особенности повторной дискретизации и формирования соответствующих окон масштабирования.

Здесь выборка отсчетов также базируется на линейно убывающей изолинии основного тона 50, соответствующей заданному количеству отсчетов N. Соответствующий сигнал 52 представлен в аналоговом виде. Продолжительность сигнала в данном случае составляет 10 миллисекунд. Если обрабатывается предварительно дискретизированный сигнал, сигнал 52, как правило, разбивается на эквидистантные интервалы дискретизации, отложенные на оси времени 54. Если применить деформацию во временной области, преобразуя соответственно ось времени 54, сигнал 52 на деформированной шкале времени 56 превращается в сигнал 58 с постоянным основным тоном. Таким образом, разновременность (разное количество дискретных отсчетов) соседних максимумов сигнала 58 на новой шкале времени 56 выравнивается. Длина фрейма сигнала также изменится на х миллисекунд в зависимости от приложенного деформирования. Следует указать на то, что вариант деформации времени в данном случае представлен только как иллюстрация неравномерной передискретизации, применяемой в ряде реализаций настоящего изобретения, которые могут быть осуществлены, естественно, только с использованием значений контура основного тона 50.

Описываемый ниже пример процедуры дискретизации для упрощения объяснения базируется на условии, что основной тон, до которого задано деформировать сигнал (частота основного тона, выведенная из представления вторичной или первичной дискретизации исходного сигнала), задан как единица. Однако очевидно, что изложенные ниже принципы могут быть без ограничений применены к произвольно взятым частотам основного тона обрабатываемых сегментов сигнала.

Если допустить, что деформирование временной шкалы будет применено во фрейме j, начиная с отсчета jN, с обязательной установкой основного тона на единицу (1), то продолжительность фрейма после деформации времени будет соответствовать сумме N соответствующих отсчетов контура основного тона:

Это значит, что длительность деформированного во времени сигнала 58 (время t′=х на фиг.3) определяется приведенной выше формулой.

Чтобы получить N деформированных по времени отсчетов, интервал дискретизации в деформированном по времени фрейме j должен равняться:

I_j=N/D_j

Изохрона, которая соединяет положения первоначальных дискретов относительно деформированного окна МДКП, может быть воспроизведена многократно по формуле:

time_contour_i+1=time_contour_i+pitch_contour_jN+i·I_j.

На фиг.4 дан пример изохроны. Ось Х содержит отсчеты вторичной дискретизации, а на оси Y отложены позиции этого числа отсчетов в единицах дискретов первоначального представления. Таким образом, в примере на фиг.3 график времени построен с непрерывно убывающей величиной шага. Отсчет №1 деформированной шкалы времени (ось n′) при выражении в единицах первоначальных дискретов соответствует приблизительно позиции 2. Для выполнения зависимой от основного тона вторичной дискретизации с неравномерным шагом необходимо, чтобы позиции деформированных входных отсчетов МДКП были выражены в единицах исходной недеформированной шкалы времени. Координата деформированного входного отсчета МДКП i (на оси Y) может быть найдена путем поиска пары исходных положений отсчета k и k+1, которые определяют интервал, включающий i:

time_contour_k≤i<time_contour_k+1

Например, отсчет i=1 находится в интервале, определяемом отсчетом k=0, k+1=1. Дробная координата отсчета и получается путем выбора линейной изохроны между k=1 и k+1=1 (по оси X). В целом, дробная часть 70 (u) дискрета i определяется с помощью:

Следовательно, период выборки для неравномерной передискретизации исходного сигнала 52 может быть получен в единицах исходных шагов дискретизации. Поэтому сигнал может быть передискретизирован так, что значения вторичной дискретизации будут соответствовать деформированному по времени сигналу. Такая повторная дискретизация может быть выполнена, в частности, с использованием многофазного фильтра-интерполятора h, разделенного на Р подфильтров hp, с точностью до 1/Р первичных интервалов дискретизации. Для этого из координаты дробного отсчета может быть извлечен индекс подфильтра:

,

а затем путем свертки может быть вычислен деформированный входной отсчет МДКП xwi:

xw_i=x_k·h_p,k.

Безусловно, могут быть использованы и другие методы вторичной дискретизации, например на основе сплайновой кривой, линейной интерполяции, квадратичной интерполяции и другие.

После получения представлений повторной дискретизации выводятся соответствующие окна масштабирования, причем ни одно из двух полученных окон перекрытия не должно выходить больше чем на N/2 отсчетов, в центральную область соседнего фрейма МДКП. Как пояснялось выше, этого можно достичь, используя контур основного тона или соответствующие интервалы дискретизации Ij или показатели продолжительности фреймов Dj. Длина "левого" перекрытия фрейма j (т.е. наплыв относительно предыдущего фрейма j-1) определяется как:

а длина "правого" перекрытия фрейма j (т.е. затухание относительно следующего фрейма j+1) определяется с помощью:

Таким образом, результирующее окно для фрейма j длиной 2N, которая является стандартной длиной окна МДКП, используемой для передискретизации фреймов, состоящих из N отсчетов (т.е. с частотным разрешением N), состоит из следующих сегментов, как показано на фиг.5:

Таким образом, дискреты с 0 по N/2-σ1 входного блока j равны 0, если Dj+1 больше или равно Dj. Дискреты в интервале [N/2-σ1; N/2+σ1] служат для плавного входа в окно масштабирования. Дискреты в интервале [N/2+σ1; N] установлены на единицу. Правая половина окна, то есть половина окна, служащая для плавного выхода отсчетов 2N, включает в себя интервал [N; 3/2N-σ r], который установлен на единицу. Дискреты, служащие для плавного выхода из окна, содержатся внутри интервала [3/2N-σr; 3/2N+σr]. Дискреты в интервале [3/2N+σr; 2/N] установлены на 0. Таким образом рассчитываются окна масштабирования, которые содержат одинаковое количество отсчетов, где первый набор отсчетов используется для плавного выхода из окна масштабирования и отличается от второго набора отсчетов, который используется для плавного входа в окно масштабирования.

Точная конфигурация или величины отсчетов, соответствующие полученным окнам масштабирования (включая ширину перекрытия, не являющуюся целым числом), могут быть получены, например, путем линейной интерполяции половин прототипа окна, которые задают оконную функцию в целочисленных точках расположения отсчета (или на сетке с фиксированным шагом с еще большим временным разрешением). Таким образом, прототипные окна масштабированы по времени относительно требуемой продолжительности нарастания и затухания 2σlj или 2σrj соответственно.

Следующий вариант конструктивного решения настоящего изобретения демонстрирует, что оконная область затухания может быть определена без использования параметров контура основного тона третьего фрейма.

Для этого значение D_j+1 может быть ограничено заданным пределом. В некоторых случаях это значение может быть задано фиксированно, и оконная область нарастания второго входного блока может быть вычислена на основании дискретизации, в результате которой получено первое дискретное представление, второе дискретное представление и заданное число или предельное значение для D_j+1. Это может быть использовано в приложениях, где большое значение имеет малое время задержки, так как каждый входной блок может обрабатываться без информации о следующем блоке.

Следующее конструктивное решение данного изобретения дает возможность использовать переменную длину окон масштабирования для переключения между входными блоками различной длины.

На фиг.6-8 проиллюстрирован пример с разрешением по частоте N=1024 при линейно убывающей частоте основного тона. На фиг.6 дан график уровня основного тона как функции количества дискретных отсчетов. На графике видно, что понижение основного тона происходит прямолинейно по полосам частот: от 3500 Гц до 2500 Гц в центре блока 1 МДКП (блок преобразования 100), от 2500 Гц до 1500 Гц в центре блока 2 МДКП (блок преобразования 102) и от 1500 Гц до 500 Гц в центре блока 3 МДКП (блок преобразования 104). Это соответствует следующей длительности фреймов на деформированной шкале времени (в единицах длительности (D2)) преобразуемого блока 102:

D1=1.5D2; D3=0.5D2.

Учитывая вышесказанное, второй блок преобразования 102 имеет длину левого перекрытия σl2=N/2=512, так как D2<D1, и длину правого перекрытия σr2=N/2×0,5=256.

На фиг.7 показано вычисленное окно масштабирования с описанными выше характеристикам.

Кроме того, длина правого перекрытия блока 1 равна σr1=N/2×2/3=341,33, а длина левого перекрытия блока 3 (блок преобразования 104) составляет σl3=N/2=512. Становится очевидно, что конфигурация окон преобразования зависит только от контура основного тона базового сигнала.

На фиг.8 показаны эффективные окна в недеформированной (то есть линейной) временной области для блоков преобразования 100, 102 и 104.

На фиг.9-11 приведен пример ряда из четырех последовательных блоков преобразования 110-113. Однако контур основного тона на фиг.9 немного сложнее и имеет форму синусоидальной функции. На фиг.10 в качестве примера представлены графики оконных функций в деформированной временной области, построенные (вычисленные) из расчета частотного разрешения N (1024) и максимальной длины окна 2048. Соответствующие им полезные конфигурации на прямолинейной шкале времени даны на фиг.11. На всех иллюстрациях представлены квадратичные оконные функции, целью чего является демонстрация большей эффективности реконструкции методом перекрытия и суммирования по сравнению с методом двойного наложения окон (перед МДКП и после обратного МДКП (ИМДКП)). Свойство сгенерированных окон устранять наложения спектров во временной области может быть определено по симметричности соответствующих переходов в деформированной области. Как определено выше, на графиках видно также, что возможен выбор более коротких интервалов перехода в тех блоках, где основной тон убывает в направлении границ, поскольку это соответствует увеличению интервалов дискретизации и, следовательно, растяжению эффективных кривых в линейной временной области. Примером такого явления служит фрейм 4 (блок преобразования 113), где взвешивающая функция перекрывает менее максимума из 2048 отсчетов. Однако в зависимости от интервалов дискретизации, обратно пропорциональных частоте основного тона сигнала, максимально возможная длительность ограничивается тем, что в любой момент времени могут перекрываться только два последовательных окна.

На фиг.11А и 11B даны еще один пример контура основного тона (параметры контура основного тона) и соответствующие ему окна масштабирования на линейной шкале времени.

На фиг.11А дан контур основного тона 120 как функция количества отсчетов по оси X. Таким образом, на фиг.11А представлены данные графика деформации для трех последовательных блоков преобразования 122, 124 и 126.

На фиг.11B представлены соответствующие окна масштабирования для каждого из преобразуемых блоков 122, 124 и 126 на линейной шкале времени. Окна преобразования рассчитываются в зависимости от дискретизации, примененной к сигналу в соответствии с данными графика основного тона, показанного на фиг.11А. Эти окна преобразования трансформируются повторно по линейной шкале времени с получением вида, как на фиг.11B.

Иначе говоря, из фиг.11B понятно, что при обратном деформировании или обратном преобразовании на линейной шкале времени ретрансформируемые окна масштабирования могут выходить за границы фрейма (сплошные линии на фиг.11b). Это может быть предусмотрено в кодере через введение большего количества входных отсчетов вне границ фрейма. Выходной буфер декодера должен иметь достаточно большую емкость для сохранения необходимого множества дискретных отсчетов. Другой вариант действий в отношении этого явления может заключаться в уменьшении области перекрытия окна и использовании вместо этого участков „ноль" и „один", чтобы ненулевая часть окна не выходила за границы фрейма.

Как далее видно из графика на фиг.11b, пересечения редеформированных окон (точки симметрии наложения спектров во временной области) не изменены деформацией шкалы времени, так как они остаются в "недеформированных" позициях 512, 3×512, 5×512, 7×512. Это также относится к соответствующим окнам масштабирования в области деформирования, поскольку они также симметричны положениям в первой четверти и третьей четверти длины блока преобразования.

Один из способов преобразования звукового сигнала в последовательность фреймов представлен в виде логической схемы на фиг.12.

На шаге 200 дискретизация аудиосигнала выполняется в рамках первого и второго фреймов последовательности фреймов, где второй фрейм следует за первым фреймом, с использованием данных контура основного тона первого и второго фреймов для образования первого дискретного представления, а также дискретизация аудиосигнала выполняется в рамках второго и третьего фреймов, где третий фрейм следует за вторым фреймом последовательности фреймов, с использованием данных контура основного тона второго фрейма и данных контура основного тона третьего фрейма для образования второго дискретного представления.

На шаге 202 вычисления окон преобразования формируется первое окно масштабирования для первого дискретного представления и формируется второе окно масштабирования для второго дискретного представления, причем окна масштабирования зависят от параметров дискретизации, выполненной с получением первого и второго дискретных представлений.

На шаге 204 оконного взвешивания первое окно масштабирования применяется к первому дискретному представлению и второе окно масштабирования применяется ко второму дискретному представлению.

На фиг.13 дана блок-схема варианта аудиопроцессора 290, выполняющего обработку первого дискретного представления первого и второго фреймов аудиосигнала, состоящего из последовательности фреймов, где второй фрейм следует за первым фреймом, и осуществляющего последующую обработку второго дискретного представления второго фрейма и третьего фрейма, следующего за вторым фреймом последовательности фреймов, при этом в состав аудиопроцессора входят названные ниже компоненты.

Вычислитель окон преобразования 300, предназначенный для расчета первого окна масштабирования для первого дискретного представления 301а с использованием данных контура основного тона 302 первого и второго фреймов и расчета второго окна масштабирования для второго дискретного представления 301b с использованием данных контура основного тона второго и третьего фреймов, причем окна масштабирования содержат одинаковое количество дискретных отсчетов, при этом первое число отсчетов, служащих для выполнения затухания первого окна масштабирования, отличается от второго числа отсчетов, служащих для нарастания второго окна масштабирования. Далее, аудиопроцессор 290 включает в себя оконный преобразователь 306, использующий первое окно масштабирования для первого дискретного представления и использующий второе окно масштабирования для второго дискретного представления. Кроме того, аудиопроцессор 290 содержит устройство вторичной дискретизации 308, предназначенное для передискретизации первого масштабированного дискретного представления с целью получения первого вторично дискретизированного представления на основе параметров контура основного тона первого и второго фреймов и предназначенное для передискретизации второго масштабированного дискретного представления с целью получения второго вторично дискретизированного представления на основе параметров контура основного тона второго и третьего фреймов таким образом, чтобы часть первого вторично дискретизированного представления, соответствующая второму фрейму, имела контур основного тона в пределах заданного диапазона допустимых значений контура основного тона части второго вторично дискретизированного представления, соответствующей второму фрейму. Для создания окна масштабирования вычислитель окна преобразования 300 может получить контур основного тона 302 напрямую или получить данные повторной дискретизации от дополнительно комплектуемого устройства регулировки частоты дискретизации 310, на которое поступает контур основного тона 302 и которое формирует стратегию вторичной дискретизации.

Кроме того, настоящее изобретение может быть конструктивно решено с включением в состав аудиопроцессора дополнительного сумматора 320, который предназначен для суммирования части первого вторично дискретизированного представления, соответствующей второму фрейму, и части второго вторично дискретизированного представления, соответствующей второму фрейму, с образованием реконструированного представления второго фрейма аудиосигнала в виде выходного сигнала 322. В качестве варианта реализации первое дискретное представление и второе дискретное представление могут выводиться с подачей на аудиопроцессор 290. Модифицированная версия аудиопроцессора может дополнительно включать в себя обратный преобразователь частотной области 330, который рассчитан на образование первого и второго дискретных представлений из представлений в частотной области первого и второго дискретных представлений, поступающих на вход обратного преобразователя частотной области 330.

На фиг.14 отображен алгоритм преобразования первого дискретного представления первого и второго фреймов аудиосигнала, состоящего из последовательности фреймов, где второй фрейм следует за первым фреймом, и преобразования второго дискретного представления второго фрейма и третьего фрейма, следующего за вторым фреймом последовательности фреймов. На шаге образования окон 400 первое окно масштабирования рассчитывается для первого дискретного представления с использованием данных контура основного тона первого и второго фреймов и второе окно масштабирования рассчитывается для второго дискретного представления с использованием данных контура основного тона второго и третьего фреймов, причем окна масштабирования содержат одинаковое количество дискретных отсчетов, при этом первое число отсчетов, служащих для выполнения затухания первого окна масштабирования, отличается от второго числа отсчетов, служащих для нарастания второго окна масштабирования.

На шаге масштабирования 402 первое окно масштабирования применяется к первому дискретному представлению и второе окно масштабирования применяется ко второму дискретному представлению.

Операция повторной дискретизации 402 выполняется для передискретизации первого масштабированного дискретного представления с целью получения первого вторично дискретизированного представления с использованием параметров контура основного тона первого и второго фреймов и для передискретизации второго масштабированного дискретного представления с целью получения второго вторично дискретизированного представления с использованием параметров контура основного тона второго и третьего фреймов таким образом, что часть первого вторично дискретизированного представления, соответствующая второму фрейму, имеет контур основного тона в пределах заданного диапазона допустимых значений контура основного тона части второго вторично дискретизированного представления, соответствующей второму фрейму.

Метод, относящийся к изобретению, включает в себя дополнительную фазу синтеза 406, на которой часть первого вторично дискретизированного представления, соответствующая второму фрейму, и часть второго вторично дискретизированного представления, соответствующая второму фрейму, совмещаются с получением реконструированного отображения второго фрейма аудиосигнала.

В итоге рассмотренные выше конструктивные решения по данному изобретению позволяют применять оптимальный контур основного тона к аналоговому или предварительно дискретизированному звуковому сигналу с целью повторной дискретизации или преобразования звукового сигнала в форму представления, которая может быть закодирована с получением кодированного сигнала высокого качества с низким битрейтом. Для достижения такого результата повторно дискретизированный сигнал может быть закодирован с использованием преобразования в частотной области. Используемым методом может служить, например, модифицированное дискретное косинусное преобразование, обсуждавшееся выше при рассмотрении вариантов осуществления изобретения. Однако для формирования кодированного представления аудиосигнала с низкой скоростью передачи могут быть применены и другие преобразования в частотной области или другие виды преобразований.

Одновременно для достижения аналогичного результата - получения аудиосигнала в закодированном виде - допустимо использование других видов частотных преобразований, таких как быстрое преобразование Фурье или дискретное косинусное преобразование.

Само собой разумеется, что количество дискретных отсчетов, то есть преобразуемых блоков, являющихся входными данными для преобразования в частотной области, не ограничивается частным примером, приведенным выше при описании осуществления изобретения. Наоборот, допускается использование произвольной длины последовательности блоков, составляющей фрейм, например, состоящей из 256, 512, 1024 блоков.

При реализации настоящего изобретения может быть использована любая методика дискретизации или повторной дискретизации звукового сигнала.

Как показано на фиг.1, аудиопроцессор, предназначенный для формирования цифрового представления, может получать аудиосигнал и параметры контура основного тона как отдельные входные потоки, в частности как самостоятельные битстримы. Однако при дальнейшей обработке согласно изобретению аудиосигнал и данные контура основного тона могут быть объединены в один чередующийся поток битов, где параметры аудиосигнала и контура основного тона мультиплексируются аудиопроцессором. В подобной же компоновке аудиопроцессор может быть реализован с целью выполнения реконструкции звукового сигнала на базе дискретных представлений. Таким образом, дискретное представление может вводиться или как объединенный битстрим, содержащий данные контура основного тона, или как два автономных двоичных потока. В дополнение к этому аудиопроцессор может включать в себя преобразователь частотной области, предназначенный для пересчета вторично дискретизированных представлений в коэффициенты преобразования, которые затем передаются вместе с контуром основного тона как закодированный аудиосигнал для эффективного ввода в соответствующий декодер.

Для упрощения описания названных выше конструктивных решений принято, что основной тон, для достижения которого повторно дискретизируется сигнал, составляет единицу. Понятно, частота основного тона может быть любой. В силу того что основной тон может быть применен без каких-либо ограничений относительно контура основного тона, при отсутствии возможности формирования контура основного тона или при отсутствии ввода контура основного тона допускается приложение постоянного контура основного тона.

В зависимости от конкретных требований к реализации относящихся к изобретению методов эти методы могут быть осуществлены как в виде аппаратных средств, так и в виде программного обеспечения. В конструкцию может быть введен цифровой накопитель данных, в частности жесткий диск, цифровой видеодиск DVD или компакт-диск CD, способный хранить сигналы управления, электронно считываемые с помощью программируемой компьютерной системы с целью реализации методики, относящейся к данному изобретению. Соответственно, в целом настоящее изобретение представляет собой компьютерный программный продукт, имеющий код программы, хранящийся на машиночитаемом носителе и предназначенный для реализации относящихся к изобретению методов при условии использования для выполнения компьютерной программы компьютерной техники. Иначе говоря, методы, относящиеся к изобретению, представляют собой, таким образом, компьютерную программу с присвоенным ей кодом программы, предназначенную для реализации, по меньшей мере, одного из относящихся к изобретению методов при выполнении компьютерной программы на компьютере.

В виду того что все вышеописанное является частным представлением вариантов конструктивных решений, для квалифицированных специалистов очевидно, что общая форма и элементы конструкции допускают внесение различных изменений, не противоречащих сути и назначению изобретения. Внесение любых изменений при реализации для конкретных приложений требует соблюдения раскрытой здесь общей концепции, сформулированной в приведенной ниже формуле изобретения.