ЧАСТОТНО-ОРИЕНТИРОВАННОЕ КОДИРОВАНИЕ КАНАЛОВ В ПАРАМЕТРИЧЕСКИХ СИСТЕМАХ МНОГОКАНАЛЬНОГО КОДИРОВАНИЯ

Область техники, к которой относится изобретение

Настоящее изобретение относится к кодированию звуковых сигналов и последующему синтезу акустических сцен из кодированных аудиоданных.

Уровень техники

Многоканальные аудиосистемы звукового окружения являются стандартными в кинотеатрах уже на протяжении многих лет. По мере совершенствования технологии появилась возможность создания многоканальных систем звукового окружения и для использования в домашних условиях. В настоящее время продажа таких систем осуществляется главным образом в составе "систем домашнего кинотеатра". В соответствии со стандартом ITU-R подавляющее большинство этих систем обеспечивает пять регулярных звуковых каналов и один низкочастотный канал сабвуфера (называемый каналом низкочастотных эффектов или LFE каналом). Такая многоканальная система носит название система звукового окружения формата 5.1. Имеются и другие системы звукового окружения, такие как система формата 7.1 (семь регулярных каналов и один LFE канал) и система формата 10.2 (десять регулярных каналов и два LFE канала).

В работах "Efficient representation of spatial audio coding using perceptual parametrization" ("Эффективное представление пространственного аудиокодирования с использованием перцептуальной параметризации"), IEEE Workshop on Appl. of Sig. Proc. to Audio and Acoust., October 2001 и "Binaural Cue Coding Applied to Stereo and Multi-Channel Audio Compression" ("Бинауральное кодирование сигнала при сжатии стерео- и многоканального звука"), Preprint 112th Conv. Aud. Eng. Soc., May 2002 (вместе именуемых "статьями по BCC"), авторами которых являются C. Faller и F. Baumgarte и идеи которых включены в данный документ путем ссылки, описывается технология параметрического многоканального аудиокодирования (называемая BCC-кодированием).

На фиг. 1 представлена блок-схема системы 100 обработки звукового сигнала, выполняющей бинауральное кодирование сигнала (BCC) в соответствии со статьями по BCC. BCC-система 100 имеет BCC-кодер 102, который принимает C каналов 108 звукового ввода, например один от каждого из C различных микрофонов 106. BCC-кодер 102 имеет схему 110 микширования с уменьшением числа каналов, осуществляющую преобразование C каналов звукового ввода в суммарный монозвуковой сигнал 112.

Кроме того, BCC-кодер 102 имеет BCC-анализатор 114, который генерирует поток 116 данных кодов BCC-сигнала для C каналов ввода. В состав кодов BCC-сигнала (называемых также параметрами акустической сцены) входят данные межканальной разности уровней сигналов (ICLD) и межканальной разности моментов времени прихода сигналов (ICTD) для каждого канала ввода. BCC-анализатор 114 выполняет полосно-ориентированную обработку данных для генерации данных ICLD и ICTD для одного или более различных частотных поддиапазонов (например, для различных критических полос) каналов звукового ввода.

BCC-кодер 102 передает суммарный сигнал 112 и поток 116 данных кодов BCC-сигнала (например, в качестве как внутриполосной, так внеполосной дополнительной информации по отношению к суммарному сигналу) в BCC-декодер 104 в составе BCC-системы 100. BCC-декодер 104 имеет процессор 118 дополнительной информации, который обрабатывает поток 116 данных для восстановления кодов 120 BCC-сигнала (например, данных ICLD и ICTD). BCC-декодер 104 имеет также BCC-синтезатор 122, который использует восстановленные коды 120 BCC-сигнала для синтеза C каналов 124 звукового вывода из суммарного сигнала 112 для воспроизведения с помощью соответствующих C динамиков 126.

Система 100 обработки звука может быть реализована в контексте многоканальных звуковых сигналов, таких как окружающий звук в формате 5.1. В частности, схема 110 микширования с уменьшением числа каналов в составе BCC-кодера 102 может преобразовывать шесть каналов ввода обычного окружающего звука (звукового окружения) в формате 5.1 (то есть пять регулярных каналов + один LFE канал) в суммарный сигнал 112. Кроме того, BCC-анализатор 114 в составе кодера 102 может преобразовывать шесть каналов ввода в частотную область для генерации соответствующих кодов 116 BCC-сигнала. Аналогичным образом, процессор 118 дополнительной информации в составе BCC-декодера 104 может восстанавливать коды 120 BCC-сигнала из принимаемого потока 116 дополнительной информации, а BCC-синтезатор 122 в составе декодера 104 (1) преобразовывать принимаемый суммарный сигнал 112 в частотную область, (2) использовать восстановленные коды 120 BCC-сигналов применительно к суммарному сигналу в частотной области для генерации шести сигналов частотной области и (3) преобразовывать эти сигналы частотной области в шесть каналов временной области синтезируемого звукового окружения в формате 5.1 (то есть в пять синтезируемых регулярных каналов + один синтезируемый LFE канал) для воспроизведения с помощью динамиков 126.

Сущность изобретения

Применительно к звуковому окружению в вариантах осуществления настоящего изобретения предлагается использование технологии BCC-ориентированного параметрического аудиокодирования, в которой низкочастотный(е) (LFE) канал(ы) сабвуфера для частотных поддиапазонов выше частоты среза полосно-ориентированному BCC-кодированию не подвергаются. Например, для звукового окружения в формате 5.1 BCC-кодирование осуществляется применительно ко всем шести каналам (то есть кодированию подвергаются эти пять регулярных каналов плюс один LFE канал) для поддиапазонов ниже частоты среза, в то время как для поддиапазонов выше частоты среза ВСС-кодирование осуществляется применительно только к этим пяти регулярным каналам (то есть не к LFE каналу). Освобождение от BCC-кодирования LFE канала на "высоких" частотах в этих вариантах осуществления настоящего изобретения позволяет (1) снизить нагрузки по обработке данных и в кодере, и в декодере и (2) уменьшить потоки битов кодов BCC по сравнению с BCC-ориентированными системами, в которых обработке подвергаются все шесть каналов на всех частотах.

В более широком толковании в настоящем изобретении предлагается использование технологии параметрического аудиокодирования, такой как BCC-кодирование, но не обязательно только BCC-кодирования, в которой два или более различных подмножеств каналов ввода подвергаются обработке для двух или более различных частотных областей. Используемый в этом описании термин "подмножество" может относиться как ко всем каналам ввода, так и к подмножествам, в состав которых включены не все каналы ввода. Использование настоящего изобретения применительно к BCC-кодированию сигналов в формате 5.1 и других сигналов звукового окружения является только одним частным примером настоящего изобретения.

Краткое описание чертежей

Другие особенности, признаки и преимущества настоящего изобретения станут более очевидными из следующего ниже подробного описания, прилагаемой формулы изобретения и прилагаемых чертежей, на которых:

фиг. 1 - блок-схема системы обработки звукового сигнала, которая выполняет бинауральное кодирование сигнала (BCC); и

фиг. 2 - блок-схема системы обработки звукового сигнала, которая выполняет BCC-кодирование согласно одному варианту осуществления настоящего изобретения.

Подробное описание

На фиг. 2 представлена блок-схема системы 200 обработки звукового сигнала, которая выполняет бинауральное кодирование сигнала (BCC) для звукового окружения в формате 5.1 согласно одному варианту осуществления настоящего изобретения. BCC-система 200 имеет BCC-кодер 202, осуществляющий прием шести каналов 208 звукового ввода (то есть пяти регулярных каналов и одного LFE канала). BCC-кодер 202 имеет схему 210 микширования с уменьшением числа каналов, которая преобразует (например, усредняет) каналы звукового ввода (в том числе LFE канал) в один или несколько, но менее чем в шесть, комбинированных каналов 212.

Кроме того, BCC-кодер 202 имеет BCC-анализатор 214, который генерирует поток 216 данных кодов BCC-сигнала для каналов ввода. Как показано на фиг. 2, для частотных поддиапазонов на заданной частоте f_c среза или более низких частотах BCC-анализатор 214 используют все шесть каналов ввода звукового окружения в формате 5.1 (в том числе LFE канал) при генерации данных кодов BCC-сигнала. Для всех других (то есть высокочастотных) поддиапазонов BCC-анализатор 214 использует только эти пять регулярных каналов (а не LFE канал) для генерации данных кодов BCC-сигнала. В результате LFE канал вносит коды BCC только для поддиапазонов BCC на заданной частоте среза или более низких частотах, а не для всего частотного диапазона BCC, обеспечивая таким образом уменьшение общего объема потока битов дополнительной информации.

Частота среза в предпочтительном варианте выбирается такой, чтобы эффективная ширина полосы пропускания LFE канала по звуковым частотам была меньше или равна f_c (то есть, чтобы LFE канал имел практически нулевую энергию или пренебрежимо низкую интенсивность спектра звуковых частот вне частоты среза). Если частотные поддиапазоны не согласованы с частотой среза, частота среза приходится на конкретный частотный поддиапазон. В этом случае часть этого поддиапазона будет превышать частоту среза. В данном описании такой поддиапазон именуется поддиапазоном "на" частоте среза. В предпочтительных вариантах осуществления этот поддиапазон LFE канала полностью подвергают BCC-кодированию, а следующий поддиапазон более высоких частот является первым высокочастотным поддиапазоном, который BCC-кодированию не подвергается.

В одном примере возможной реализации в состав кодов BCC-сигнала входят данные межканальной разности уровней сигналов (ICLD), межканальной разности моментов времени прихода сигналов (ICTD) и межканальной корреляции (ICC) для каналов ввода. В предпочтительном варианте BCC-анализатор 214 выполняет полосно-ориентированную обработку данных, аналогичную описанной в заявках '877 и '458, для генерации данных ICLD и ICTD для различных частотных поддиапазонов каналов звукового ввода. Кроме того, в предпочтительном варианте BCC-анализатор 214 генерирует степени когерентности в качестве данных ICC для различных частотных поддиапазонов. Более подробное описание этих степеней когерентности приводится в заявках '437 и '591.

BCC-кодер 202 осуществляет передачу одного или более комбинированных каналов 212 и потока 216 данных кодов BCC-сигнала 216 (например, как внутриполосной, так и внеполосной дополнительной информации по отношению к комбинированным каналам) в BCC-декодер 204 в составе BCC-системы 200. BCC-декодер 204 имеет процессор 218 дополнительной информации, который обрабатывает поток 216 данных для восстановления кодов 220 BCC-сигнала (например, данных ICLD, ICTD и ICC). BCC-декодер 204 также имеет BCC-синтезатор 222, который использует восстановленные коды 220 BCC-сигнала для синтеза шести каналов 224 звукового вывода из одного или нескольких комбинированных каналов 212 для воспроизведения с помощью соответствующих шести динамиков 226 звукового окружения.

Как показано на фиг. 2, BCC-синтезатор 222 выполняет BCC-синтез шести каналов для поддиапазонов на частоте среза f_c или более низких частотах для генерации спектра частот для всех шести каналов окружения в формате 5.1 (то есть, включая LFE канал) и выполняет BCC-синтез пяти каналов для поддиапазонов выше частоты среза для генерации спектра частот только для пяти регулярных каналов звукового окружения в формате 5.1. В частности, BCC-синтезатор 222 разбивает принимаемый комбинированный(е) канал(ы) 212 на некоторое число частотных поддиапазонов (например, критических полос). Для получения соответствующих поддиапазонов каналов звукового вывода эти поддиапазоны подвергаются различной обработке. В результате для LFE канала получают только поддиапазоны с частотами на частоте среза или более низких частотах. Другими словами, LFE канал имеет спектр частот только для поддиапазонов на частоте среза или более низких частотах. Верхние поддиапазоны LFE канала (то есть поддиапазоны выше частоты среза) могут быть заполнены нулевыми сигналами (в случае необходимости).

В зависимости от конкретного примера реализации BCC-кодер может быть спроектирован для генерации кодов BCC-сигнала для всех частот и может просто не передавать коды для конкретных поддиапазонов (например, для поддиапазонов выше частоты среза и/или для поддиапазонов, имеющих практически нулевую энергию). Точно так же соответствующий BCC-декодер может быть спроектирован для выполнения обычного BCC-синтеза для всех частот и может использовать соответствующие значения кодов BCC-сигнала для поддиапазонов, не имеющих явно передаваемых кодов.

Выше настоящее изобретение описывается в контексте BCC-декодеров, в которых описываемые в заявках '877 и '458 технологии использованы для синтеза акустических сцен, однако настоящее изобретение может быть также осуществлено в контексте BCC-декодеров с использованием других технологий для синтеза акустических сцен, в основе которых лежат не обязательно технологии заявок '877 и '458. Например, рассматриваемая в настоящем изобретении BCC-обработка может быть осуществлена без данных ICTD, ICLD и/или ICC с использованием или без использования других подходящих кодов сигнала, например, связанных с функциями моделирования восприятия звука человеком.

В варианте осуществления, иллюстрируемом фиг. 2, окружающий звук (звуковое окружение) в формате 5.1 кодируется путем использования шестиканального BCC-анализа применительно к поддиапазонам на частоте среза или более низких частотах и пятиканального BCC-анализа применительно к поддиапазонам выше частоты среза. В другом варианте осуществления настоящее изобретение может быть использовано применительно к звуковому окружению в формате 7.1, в котором восьмиканальный BCC-анализ применяется к поддиапазонам на заданной частоте среза или более низких частотах, а семиканальный BCC-анализ (исключая один LFE канал) - к поддиапазонам выше частоты среза.

Настоящее изобретение может быть также использовано применительно к звуковому окружению, имеющему более чем один LFE канал. Например, для звукового окружения в формате 10.2 двенадцатиканальный BCC-анализ может быть применен к поддиапазонам на заданной частоте среза или более низких частотах, в то время как десятиканальный BCC-анализ (исключая два LFE канала) может быть применен к поддиапазонам выше частоты среза. В альтернативном варианте осуществления изобретения может быть две различные заданные частоты среза: первая частота среза для первого LFE канала звукового окружения в формате 10.2 и вторая частота среза для второго LFE канала. В этом случае, если предположить, что первая частота среза ниже, чем вторая частота среза, двенадцатиканальный BCC-анализ может быть применен к поддиапазонам на первой частоте среза или более низких частотах, одиннадцатиканальный BCC-анализ (исключая первый LFE канал) может быть применен к поддиапазонам (1) на частотах выше первой частоты среза и (2) на частотах второй частоты среза или более низких частотах, а десятиканальный BCC-анализ (исключая оба LFE канала) - к поддиапазонам выше второй частоты среза.

Точно так же бытовая многоканальная аппаратура целенаправленно проектируется с различными каналами вывода, имеющими различные частотные диапазоны. Например, аппаратура звукового окружения в формате 5.1 имеет два тыловых канала, которые спроектированы для воспроизведения частот только ниже 7 кГц. Настоящее изобретение могло быть использовано применительно к таким системам путем задания двух частот среза: одной для LFE канала и более высокой другой для тыловых каналов. В этом случае шестиканальный BCC-анализ может быть применен к поддиапазонам на частоте среза LFE канала или более низких частотах, пятиканальный BCC-анализ (исключая LFE канал) может быть применен к поддиапазонам (1) выше частоты среза LFE канала и (2) на частоте среза тылового канала или более низких частотах, а трехканальный BCC-анализ (исключая LFE канал и два тыловых канала) может быть применен к поддиапазонам выше частоты среза тылового канала.

Область использования настоящего изобретения может быть дополнительно расширена до применения параметрического аудиокодирования к двум или более различным подмножествам каналов ввода для двух или более различных частотных областей, причем при параметрическом аудиокодировании может использоваться не только технология BCC-кодирования, и выбор различных частотных областей может осуществляться так, чтобы частотный спектр различных каналов ввода был отражен в этих областях. В зависимости от конкретного применения различные каналы могли быть исключены из различных частотных областей в любых подходящих комбинациях. Например, НЧ каналы могут быть исключены из высокочастотных областей и/или ВЧ каналы могут быть исключены из низкочастотных областей. Может даже иметь место случай, при котором ни одна частотная область не будет включена ни в один из каналов ввода.

Как было описано выше, каналы 208 ввода могут быть подвергнуты микшированию в форматы с меньшим числом каналов для формирования одного комбинированного (например, моно) канала 212, однако в альтернативных примерах реализации множество каналов ввода могут быть микшированы в форматы с меньшим числом каналов для формирования двух или более различных "комбинированных" каналов в зависимости от конкретного применения технологии обработки звуковых сигналов. Подробную информацию о таких технологиях можно найти в заявке на патент США № 10/762100, поданной 20 января 2004 г., идеи которой включены в данный документ путем ссылки.

В некоторых примерах реализации, когда при микшировании в форматы с меньшим числом каналов генерируется множество комбинированных каналов, передача данных этих комбинированных каналов может быть осуществлена с использованием обычных технологий передачи звуковых сигналов. Например, при генерации двух комбинированных каналов могут быть использованы обычные технологии передачи стереозвуковых сигналов. В этом случае BCC-декодер может извлекать и использовать коды BCC для синтеза многоканального сигнала (например, звукового окружения в формате 5.1) из этих двух комбинированных каналов. Кроме того, это позволяет обеспечить обратную совместимость в тех случаях, когда эти два комбинированных BCC-канала воспроизводятся с использованием обычных (то есть "не-BCC-ориентированных") стереодекодеров, которые игнорируют BCC-коды. Аналогичным образом, обратная совместимость может быть достигнута для обычного монодекодера, когда генерируется один комбинированный BCC-канал. Следует отметить, что в теории, когда имеется множество "комбинированных" каналов, один или более комбинированных каналов может быть фактически реализован на основе отдельных каналов ввода.

В BCC-системе 200 число каналов звукового ввода может совпадать с числом каналов звукового вывода, однако в альтернативных вариантах осуществления число каналов ввода может быть или больше, или меньше, чем число каналов вывода в зависимости от случая конкретного применения. Например, звуковой ввод может соответствовать звуковому окружению в формате 7.1, а синтезируемый звуковой вывод - звуковому окружению в формате 5.1 или наоборот.

В общем случае рассматриваемые в настоящем изобретении BCC-кодеры могут быть реализованы в контексте преобразования М каналов звукового ввода в N комбинированных звуковых каналов и один или более соответствующих наборов кодов BCC, где M>N≥1. Точно так же рассматриваемые в настоящем изобретении BCC-декодеры могут быть реализованы в контексте генерации P каналов звукового вывода из N комбинированных звуковых каналов и соответствующих наборов кодов BCC, где P>N, и P может быть равно M или отличаться от М.

В зависимости от случая конкретной реализации различные сигналы, принимаемые и генерируемые как BCC-кодером 202, так и BCC-декодером 204 на фиг. 2, могут быть любой подходящей комбинацией аналоговых и/или цифровых сигналов, в том числе могут быть все аналоговыми или все цифровыми. Несмотря на то, что это не показано на фиг. 2, специалистам в данной области техники очевидно, что один или более комбинированных каналов 212 и поток 216 данных кодов BCC-сигнала могут быть подвергнуты дополнительному кодированию с помощью BCC-кодера 202 и соответствующему декодированию с помощью BCC-декодера 204, например, на основе некоторой подходящей схемы сжатия (например, адаптивной дельта-ИКМ) для дополнительного уменьшения объема передаваемых данных.

Определение передачи данных из BCC-кодера 202 в BCC-декодер 204 будет зависеть от случая конкретного применения системы 200 обработки звукового сигнала. Например, в некоторых примерах применения типа трансляции музыкальных концертов в прямом эфире передача может заключаться в передаче данных для немедленного воспроизведения в реальном времени в удаленную точку. В других примерах применения "передача" может заключаться в сохранении данных на CD или других подходящих носителях информации для последующего (то есть не в реальном масштабе времени) воспроизведения. Разумеется, возможны и другие случаи применения.

В зависимости от примера конкретной реализации каналы передачи могут быть проводными или беспроводными и могут работать по специализированным или стандартизированным протоколам (например, IP). Для сохранения могут быть использованы носители информации типа CD, DVD, цифровых устройств записи на магнитную ленту и полупроводниковых ЗУ. Кроме того, передача и/или сохранение может, но не обязательно, осуществляться с канальным кодированием. Точно так же, несмотря на то, что выше настоящее изобретение описано в контексте цифровых аудиосистем, специалистам в данной области техники понятно, что настоящее изобретение может быть также осуществлено в контексте аналоговых аудиосистем, типа системы АМ- радиовещания, системы ЧМ-радиовещания и звукового блока системы аналогового ТВ-вещания, каждая из которых поддерживает включение дополнительного внутриполосного канала с низкой скоростью передачи битов.

Настоящее изобретение может найти применение во многих различных областях типа воспроизведения музыки, радиовещания и телефонной связи. Например, настоящее изобретение может быть реализовано для цифрового радио/ТВ/интернет-вещания (например, Web-вещания) типа спутникового радио Sirius или XM. Среди других применений можно назвать телефонию на базе IP, телефонную коммутируемую сеть общего пользования или другие сети передачи речевой информации, аналоговое радиовещание и интернет-радио.

В зависимости от конкретной области применения для встраивания наборов кодов BCC в комбинированный канал и получения BCC-сигнала, рассматриваемого в настоящем изобретении, могут быть использованы различные технологии. Возможность использования любой конкретной технологии может зависеть, по меньшей мере частично, от конкретного средства (средств) передачи/носителя(ей) информации, используемых для BCC-сигнала. Например, протоколы для цифрового радиовещания обычно поддерживают включение дополнительных битов расширения (например, в заголовок пакетов данных), которые игнорируются обычными приемниками. Эти дополнительные биты могут использоваться для представления наборов параметров акустической сцены и обеспечения BCC-сигнала. В общем, настоящее изобретение может быть реализовано с помощью любой подходящей технологии для маркирования звуковых сигналов "водяными знаками", в которой данные, соответствующие наборам параметров акустической сцены, встраиваются в звуковой сигнал для формирования BCC-сигнала. Например, эти технологии могут предусматривать использование данных, скрывающихся под перцептуальными маскирующими кривыми, или данных, скрывающихся в псевдослучайном шуме. Псевдослучайный шум может восприниматься как комфортный шум. Встраивание данных может быть также осуществлено способами, подобными отбрасыванию битов, используемыми в мультиплексной передаче с временным уплотнением для внутриполосной сигнализации. Другая возможная технология заключается в побитовой обработке младших битов путем модуляции, при которой младшие значащие биты используются для передачи данных.

Настоящее изобретение может быть осуществлено в виде схемно-ориентированных процессов, включая возможную реализацию на одной интегральной схеме. Специалисту в данной области техники очевидно, что различные функции схемных элементов могут быть также осуществлены в виде этапов обработки в программе программного обеспечения. Такое программное обеспечение может использоваться, например, в цифровом процессоре сигналов, микроконтроллере или компьютере общего назначения.

Настоящее изобретение может быть реализовано в виде способов и устройств для осуществления этих способов. Настоящее изобретение может также быть реализовано в виде кода программы, реализованного в материальном носителе информации типа гибких дискет, CD-ROM, жестких дисков или любого другого машиночитаемого носителя данных, причем, когда код программы загружается в машину типа компьютера и выполняется ею, машина становится устройством для осуществления изобретения. Настоящее изобретение может быть также реализовано в виде кода программы, например, хранимого на носителе данных, загружаемого в машину и/или выполняемого машиной или передаваемого по какой-либо среде передачи данных или каналу передачи информации типа электрических проводов или кабелей, посредством волоконно-оптических кабелей или с использованием электромагнитного излучения, причем, когда код программы загружается в машину типа компьютера и выполняется ею, эта машина становится устройством для осуществления изобретения. При выполнении процессором общего назначения сегменты кода программы в сочетании с этим процессором создают уникальное устройство, которое работает аналогично специализированным логическим схемам.

Следует также понимать, что в детали, материалы и расположение элементов, описанных и проиллюстрированных выше с целью объяснения сущности изобретения, допускается внесение различных изменений, не выходящих за пределы объема изобретения, определенного в прилагаемой формуле изобретения, которые могут быть предложены специалистами в данной области техники.