СПОСОБ, УСТРОЙСТВО, КОДИРУЮЩЕЕ УСТРОЙСТВО, ДЕКОДИРУЮЩЕЕ УСТРОЙСТВО И АУДИОСИСТЕМА

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу и устройству для обработки стереосигнала, полученного от кодировщика, который кодирует N-канальный аудиосигнал в левый и правый сигналы и пространственные параметры. Изобретение также относится к кодирующему устройству, содержащему такой кодировщик и такое устройство.

Настоящее изобретение также относится к способу и устройству для обработки стереосигнала, полученного таким способом и таким устройством для обработки стереосигнала, полученного от кодировщика. Изобретение также относится к декодирующему устройству, содержащему такое устройство для обработки стереосигнала.

Настоящее изобретение также относится к аудиосистеме, содержащей такое кодирующее устройство и такое декодирующее устройство.

Предшествующий уровень техники

В течение долгого времени доминировало стереовоспроизведение музыки, например, в домашних условиях. В семидесятые годы были предприняты некоторые эксперименты по четырехканальному воспроизведению музыки в домашних условиях.

В больших помещениях, таких как кинотеатры, многоканальное воспроизведение звука существует уже давно. Были разработаны Dolby Digital® и другие системы для реалистичного и выразительного воспроизведения в больших помещениях.

Такие многоканальные системы представлены в домашних кинотеатрах и вызывают большой интерес. Таким образом, системы, имеющие пять полнодиапазонных каналов и один усеченный канал или канал низкочастотных эффектов (LFE), так называемые системы 5.1, в настоящее время широко представлены на рынке. Также существуют другие системы, такие как 2.1, 4.1, 7.1 и даже 8.1.

С появлением SACD и DVD многоканальное воспроизведение аудио вызвало еще больший интерес. Многие потребители уже имеют возможность многоканального воспроизведения в своих домах, и исходные материалы с многоканальным звуком становятся все более популярными.

Из-за возросшей популярности многоканальных материалов эффективное кодирование многоканальных материалов становиться более важным, что также понимают организации по стандартам, такие как MPEG.

Известные ранее кодировщики часто не применяли эффективные способы кодирования для кодирования многоканального аудио. Входные каналы могли быть просто кодированы индивидуально (возможно после матрицирования), что требует высокой скорости передачи битов из-за большого числа каналов.

Тем не менее многоканальные аудиокодировщики могут создавать продукт двухканального смешения (микширования), которое совместимо с двухканальными системами воспроизведения, при этом оставляя возможным высококачественную многоканальную реконструкцию декодером. Высококачественная реконструкция управляется переданными параметрами P, которые управляют обратным процессом преобразования от стереосигнала к многоканальному сигналу. Эти параметры содержат информацию, описывающую, помимо прочего, отношение фронтального сигнала к сигналу окружения, которые представлены в двухканальном микшировании. Используя такой подход, декодер может управлять соотношением между фронтальным сигналом и сигналом окружения при процессе обратного преобразования от стереосигнала к многоканальному сигналу. Другими словами, параметры описывают важные свойства пространственного звукового поля, которое присутствует в исходном многоканальном сигнале, но которые теряются в стереосигнале из-за микширования.

Настоящее изобретение относится к возможности использования этой параметризованной пространственной информации для применения, зависящей от параметров, предпочтительно обратимой, последующей обработки двухканального понижающего миктирования, для улучшения понижающего микширования в плане качества восприятия или его пространственных свойств.

Сущность изобретения

Цель настоящего изобретения заключается в том, чтобы сделать возможной последующую обработку понижающего микширования после кодирования, на основе параметров, определенных в многоканальном кодировщике, с сохранением возможности многоканального декодирования без влияния последующей обработки.

Эта цель достигается с помощью способа и устройства для обработки стереосигнала, полученного от кодировщика, этот кодировщик кодирует N-канальный сигнал (N>2) в сигналы левого и правого каналов и пространственные параметры. Способ включает в себя этап, на котором обрабатывают упомянутые сигналы левого и правого каналов для того, чтобы получить обработанные сигналы. Обработка управляется в зависимости от упомянутых пространственных параметров. Основная идея заключается в использовании пространственных параметров, полученных от кодировщика N-каналов в стерео, для управления которым алгоритмом последующей обработки. Таким образом, стереосигнал, полученный от кодировщика, может быть обработан, например, для улучшения пространственных эффектов.

В реализации настоящего изобретения обработка управляется первым параметром для каждого входного канала, то есть для каждого из сигналов левого и правого каналов, где первый параметр зависит от пространственных параметров. Первый параметр может быть функцией времени и/или частоты. Таким образом, система может иметь переменную величину последующей обработки, в которой реальная величина последующей обработки зависит от пространственных параметров. Последующая обработка может выполняться индивидуально для различных полос частот. Кодировщик доставляет независимые пространственные параметры, описывающие пространственную картину для набора полос частот. В этом случае первый параметр может зависеть от частоты.

В другой реализации настоящего изобретения последующая обработка включает в себя добавление первого, второго и третьего сигналов для получения упомянутых обработанных сигналов каналов. Первый сигнал включает в себя первый входной сигнал, то есть сигнал левого или правого канала, измененный первой функцией преобразования, второй сигнал включает в себя первый входной сигнал, измененный второй функцией преобразования, и третий сигнал включает в себя второй входной сигнал, то есть сигнал левого или правого канала, измененный третьей функцией преобразования. Вторая функция преобразования может содержать упомянутый первый параметр и первую фильтр-функцию. Первая функция преобразования может содержать второй параметр, соответственно сумма упомянутого первого параметра и упомянутого второго параметра может быть равна единице. Третья функция преобразования может содержать упомянутый первый параметр для второго входного сигнала и вторую фильтр-функцию.

Фильтр-функции могут быть не зависящими от времени.

В одной определенной реализации сигналы могут быть описаны с помощью уравнения

, где ,

где - постоянная.

Используя это отношение, эффект фильтрации фильтр-функций H₁, H₂, H₃ и H₄ изменяется при изменении параметров w_ℓ и w_r. Если оба параметра имеют значения, равные нулю, сигналы L_Ow, R_Ow после последующей обработки равны паре L_O, R_O входных стереосигналов. С другой стороны, если параметры равны +1, то пара сигналов L_Ow, R_Ow после последующей обработки полностью обрабатывается фильтр-функциями H₁, H₂, H₃ и H₄. Настоящее изобретение делает возможным управлять реальной величиной фильтрации, то есть значениями параметров w_ℓ и w_r, с помощью пространственных параметров P.

В соответствии с реализацией фильтр-функции и параметры выбираются так, чтобы матрица функции преобразования была обратимой. Это делает возможным восстановление исходного стереосигнала.

В другом аспекте настоящего изобретения оно содержит устройство для обработки стереосигнала, в соответствии с упомянутыми выше способами, и кодирующее устройство, содержащее такое устройство.

В другом аспекте настоящего изобретения обеспечивается способ и устройство для инвертирования обработки в соответствии с упомянутыми выше способами, и декодирующее устройство, содержащее такое инвертирующее устройство.

В еще одном аспекте настоящего изобретения обеспечивается аудиосистема, содержащая такое кодирующее устройство и декодирующее устройство.

Краткое описание чертежей

Дополнительные цели, особенности и преимущества настоящего изобретения станут понятны из следующего подробного описания изобретения со ссылками на его реализации и со ссылкой на сопроводительные чертежи:

Фиг.1 - схематическая блок-схема кодирующей/декодирующей аудиосистемы, содержащей последующую обработку и обратную последующую обработку в соответствии с настоящим изобретением.

Фиг.2 - подробная блок-схема реализации устройства для последующей обработки стереосигнала, полученного от многоканального кодировщика.

Фиг.3 - блок-схема другой реализации устройства для последующей обработки стереосигнала, полученного от многоканального декодера.

Фиг.4 - блок-схема реализации для обратной последующей обработки стереосигнала, содержащего сигналы левого и правого каналов.

Предпочтительные варианты реализации изобретения

На Фиг.1 представлена блок-схема кодирующей/декодирующей системы, в которой используется настоящее изобретение. В аудиосистеме 1 N-канальный аудиосигнал передается кодировщику 2, где N целое число, которое больше 2. Кодировщик 2 преобразует N-канальные аудиосигналы в сигналы L₀ и R₀ и параметрическую информацию P декодера, с помощью которой декодер может декодировать информацию и определить исходные N-канальные сигналы для вывода от декодера. Предпочтительно, чтобы набор P пространственных параметров зависел от времени и/или частоты. N-канальные сигналы могут быть сигналами для системы 5.1, содержащей центральный канал, два фронтальных канала, два канала окружения и LFE канал.

Кодированная пара стереосигналов L₀ и R₀ и пространственная информация P декодера передаются пользователю подходящим способом, таким как посредством CD, DVD, VHS Hi-Fi, радиовещанием, лазерным диском, DBS, цифровым кабелем, Интернет или с помощью любой другой системы передачи или распределения, что обозначено круговой линией 4 на Фиг.1. Так как передаются левый и правый сигналы, система совместима с большим количеством принимающего оборудования, которое может воспроизводить только стереосигналы. Если принимающее оборудование содержит декодер, декодер может декодировать N-канальные сигналы и обеспечить их оценку, на основе информации в паре стереосигналов L₀ и R₀ и сигналах пространственной информации декодера или пространственных параметрах P.

Тем не менее, из-за уменьшения количества каналов воспроизведения, у стереосигналов не хватает пространственной информации, по сравнению с N-канальными сигналами, или других свойств, которые могут быть желательны в некоторых ситуациях. Таким образом, в соответствии с настоящим изобретением обеспечивается процессор 5 последующей обработки, который обрабатывает стереосигнал перед передачей/распределением к приемнику. Последующая обработка может быть добавлением нижних звуковых частот в определенных местах или реверберацией, или удалением голосов (караоке с голосами в центральном канале).

Другими примерами последующей обработки являются уширение стереобазы, что может быть выполнено с использованием информации о составе первоначального смешения окружения (микширования объемного звучания), такого как фронт/тыл, так как распределение индивидуальных входных сигналов известно из сигналов P информации декодера. В принципе стереоуширение может быть применено уже в кодировщике, но это, как правило, необратимо, так как только два сигнала доступно декодеру, вместо N, обратное преобразование в общем случае невозможно. Но кроме стереоуширения, возможны другие методики последующей обработки индивидуального многоканального распределения.

В соответствии с изобретением сигналы после последующей обработки передаются к приемнику, как показано окружностью 6 на Фиг.1. Изобретенное устройство для обработки стереосигнала, полученного от кодировщика, содержит процессор 5 последующей обработки. Кодирующее устройство в соответствии с настоящим изобретением состоит из кодировщика 2 и процессора 5 последующей обработки.

Принятый сигнал может быть использован непосредственно, например, если преемник не содержит многоканальный декодер. Это может быть в случае компьютера, принимающего сигнал 6 через сеть Интернет, или приемника, имеющего только два громкоговорителя. Такой принятый сигнал воспринимается как высококачественный сигнал, так как он имеет улучшенное пространственное восприятие или другие характеристики, как определяется в процессе его обработки кодировщиком и процессором последующей обработки.

Если сигнал должен быть использован для декодирования в традиционном N-канальном декодере 3, он должен быть сначала обработан процессором 7 обратной последующей обработки для того, чтобы восстановить первоначальную пару стереосигналов L₀ и R₀, которая вместе с информацией декодера или пространственными параметрами P образует оценку для N-канального сигнала. В соответствии с изобретением такое восстановление возможно для многоканального смешения (микширования), причем на восстановление сильно влияет последующая обработка. Также возможна последующая обработка в декодере для стереовоспроизведения, как выбираемая пользователем функция, без необходимости определения многоканального сигнала перед этим. Изобретенное устройство для обработки стереосигнала, содержащего сигналы левого и правого каналов, содержит процессор 7 обратной последующей обработки. Декодирующее устройство в соответствии с настоящим изобретением содержит декодер 3 и процессор 7 обратной последующей обработки. Без последующей обработки понижающее микширование совместимо со стандартным ITU понижающим микшированием. Изобретенный способ тем не менее может значительно улучшить понижающее микширование.

Изобретенный способ способен определить вклад в понижающее микширование от исходных каналов в многоканальном микшировании с помощью определенных пространственных параметров P в кодировщике. Таким образом, последующая обработка может быть применена к конкретным каналам многоканального микширования, например, уширение стереобазы тыловых каналов, когда другие каналы не меняются. Последующая обработка не влияет на окончательное многоканальное восстановление, если последующая обработка обратима. Она также может быть применена для улучшенного стереовоспроизведения без необходимости восстановления многоканального микширования перед этим.

Этот способ отличается от существующих методик последующей обработки потому, что он использует знание исходного многоканального микширования, то есть определенные пространственные параметры P.

Кодировщик 2 работает следующим образом.

Предположим, что N-канальный аудиосигнал является входным сигналом для кодировщика 2, где z₁[n], z₂[n],… z_N[n] описывают дискретные волновые формы во временной области для N каналов. Эти N сигналов сегментированы с использованием общей сегментации, предпочтительно с использованием окна анализа с перекрытием. Затем каждый сегмент конвертируется в частотную область с помощью комплексного преобразования (например, быстрого преобразования Фурье, FFT). Тем не менее комплексные гребенки фильтров также могут подходить для получения временных/частотных образцов. Этот процесс приводит к сегментированным поддиапазонным представлениям входных сигналов, которые будут обозначены как Z₁[k], Z₂[k],…, Z_N[k], где k обозначает индекс частоты.

Из этих N каналов создаются 2 канала понижающего микширования, L₀[k] и R₀[k]. Каждый канал понижающего микширования является линейной комбинацией N входных сигналов

Параметры и выбираются так, что стереосигнал, состоящий из L₀[k] и R₀[k], имеет хорошее стереоизображение. В случае 5-канального входного сигнала, состоящего из L_f, R_f, C, L_s и R_s (для фронтального левого, фронтального правого, центрального, левого окружения, правого окружения каналов соответственно), подходящее понижающее микширование может быть получено в соответствии с

Сигналы L и R могут быть получены в соответствии с уравнениями

Соответственно извлекаются пространственные параметры P, делающие возможным перцепционное восстановление сигналов L_f, R_f, C, L_s и R_s из L₀ и R₀.

В одном варианте реализации набор параметров P включает в себя значения межканальных разностей интенсивностей (IIDs) и возможных межканальных кросс-корреляций (ICCs) между парам сигналов (L_f, L_s) и (R_f, R_s). IID и ICC между парой L_f, L_s получаются в соответствии с уравнениями

Здесь (*) означает комплексное сопряжение. Для других пар сигналов могут быть использованы аналогичные уравнения. Таким образом, параметр IDD_L описывает относительное количество энергии между фронтальным левым каналом и левым каналом окружения и параметр ICC_L описывает величину взаимной корреляции между фронтальным левым каналом и левым каналом окружения. Эти параметры по существу описывают относящиеся к восприятию параметры между фронтальными каналами и каналами окружения.

Параметризация центрального канала, который представлен в L₀, R₀, может быть получена с помощью оценки двух предсказательных параметров c₁ и c₂. Эти два предсказательных параметра определяют матрицу 2·3, которая управляет декодирующим процессом восстановления (повышающим микшированием) L, C и R из L₀, R₀

Реализация матрицы M повышающего микширования записывается как

Для приведенного выше примера набор P параметров включает в себя {c₁, c₂, IDD_L, ICC_L, IDD_R, ICC_R} для каждого временного/частотного сегмента.

К результирующей паре стереосигналов (L₀, R₀) может быть применена последующая обработка таким образом, что она в основном влияет на вклад в Z_i[k], например L_s и R_s в стереомикшировании. На Фиг.1 показано положение этого блока в кодеке.

На Фиг.2 представлен детальный вид процессора 5 последующей обработки по Фиг.1 в соответствии с вариантом реализации изобретения. Левый сигнал L_0w после последующей обработки есть сумма трех сигналов, а именно левого сигнала L₀, измененного функцией H_A преобразования, левого сигнала L₀, измененного функцией H_B преобразования, и правого сигнала R₀, измененного функцией H_D преобразования. Аналогичным образом правый сигнал R_0w после последующей обработки есть сумма трех сигналов, а именно правого сигнала R₀, измененного функцией H_F преобразования, правого сигнала R₀, измененного функцией H_E преобразования, и левого сигнала L₀, измененного функцией H_C преобразования. Функции H_A-H_F преобразования могут быть реализованы как фильтры FIR или IIR типа, или могут быть просто комплексными масштабирующими множителями, которые могут зависеть от частоты. Более того, функция H_A преобразования может быть умножением со вторым параметром (1-w_l) и функция H_B преобразования может включать в себя первый параметр w_l, где этот параметр w₁ определяет величину последующей обработки стереосигнала.

Это показано на Фиг.3. Параметр w_l определяет величину последующей обработки L₀[k], а w_r - R₀[k]. Когда w_l равен 0, L₀[k] не изменяется, и когда w_l равен 1, изменения в L₀[k] максимальны. То же самое можно сказать о w_r и R₀[k].

Следующие уравнения справедливы для параметров w_l и w_r последующей обработки:

W _l = f _l (IID _l , ICC _l , c1,c2)

W _r = f _r (IID _r , ICC _r , c1,c2)

Блоки H₁, H₂, H₃ и H₄ на Фиг.3 являются фильтр-функциями, которые могут быть фильтрами разных типов, например фильтрами уширения стерео, как показано ниже.

Результирующий выход

, где ,

где произвольная константа (например, +1).

Если фильтр-функции H₁, H₂, H₃ и H₄ выбраны правильно, матрица H функции преобразования может быть обращена. Более того, для того чтобы сделать возможным вычисление обратной матрицы декодером, фильтр-функции H₁, H₂, H₃ и H₄ и параметры w_l и w_r должны быть известны декодеру. Это возможно, так как w_l и w_r могут быть вычислены из переданных параметров. Таким образом, исходный стереосигнал L₀, R₀ будет доступен снова, что необходимо для декодирования многоканального миктирования.

Другая возможность заключается в передаче исходного стереосигнала и применении последующей обработки декодером, что делает возможным улучшенное стереовоспроизведение без необходимости сначала определять многоканальное миктирование.

Ниже подробно описана реализация последующей обработки. Тем не менее изобретение не ограничивается этими конкретными деталями, и они могут варьироваться в пределах объема изобретения, определенного нижеследующей формулой.

Параметры последующей обработки или весовые коэффициенты w_l и w_r являются функциями переданных пространственных параметров

(w _l ,w _r ) = f(P)

Функция f спроектирована таким образом, что w_l увеличивается, если сигнал L₀ содержит больше энергии от левого сигнала окружения, по сравнению с левым фронтальным или центральным сигналами. Аналогичным образом w_r увеличивается с увеличением относительной энергии правого сигнала окружения, представленного в R₀. Удобное выражение для w_l и w_r может быть записано как

где

и

Для фильтр-функций H₁, H₂, H₃ и H₄ были выбраны следующие примерные функции (в z-области):

H ₁ (z) = H ₄ (z) = 0,8(1,0 + 0,2z ^-1 + 0,2z ^-2 )

H ₂ (z) = H ₃ (z) = 0,8(-1,0z ^-1 - 0,2z ^-2 )

Это изобретение может быть использовано в многоканальном аудиокодирующем устройстве, которое осуществляет понижающее микширование, совместимое со стерео. Общая схема такого многоканального параметрического аудиокодировщика, который улучшен с помощью схемы последующей обработки, как описано выше, может быть представлено следующим образом:

- преобразование многоканального входного сигнала в частотную область, или с помощью сегментации и трансформации, или с помощью блока фильтров;

- извлечение пространственных параметров P и генерация понижающего микширования в частотной области;

- применение алгоритма последующей обработки в частотной области;

- преобразование сигналов после последующей обработки во временную область;

- кодирование стереосигнала с использованием традиционных методик кодирования, таких как определены в MPEG;

- мультиплексирование стереопотока битов с кодированными параметрами P для образования полного выходного потока битов.

Соответствующее многоканальное декодирующее устройство (то есть декодер с применяемой обратной последующей обработкой) может быть представлено следующим образом:

- демультиплексирование потока битов параметров для получения параметров P и кодированного стереосигнала;

- декодирование стереосигнала;

- преобразование декодированного стереосигнала в частотную область;

- применение обратной последующей обработки на основе параметров P;

- повышающее микширование из стереосигнала в многоканальный выходной сигнал на основе параметров P;

- преобразование многоканального выходного сигнала во временную область.

Так как последующая обработка и обратная последующая обработка выполняются в частотной области, фильтр-функции H₁ - H₄ предпочтительно конвертируются или аппроксимируются в частотной области простыми (вещественными или комплексными) масштабирующими множителями, которые могут зависеть от частоты.

Специалисту в данной области техники должно быть понятно, что один или более из описанных выше этапов обработки могут быть скомбинированы как один этап обработки.

Другим применением изобретения является применение последующей обработки к стереосигналу только на стороне декодера (то есть без последующей обработки кодировщиком). Используя такой подход, декодер может генерировать улучшенный стереосигнал из неулучшенного стереосигнала.

Дополнительная информация может быть предоставлена в потоке битов, которая сигнализирует о том, была ли выполнена последующая обработка и какие параметрические функции f₁ и f₂, которые являются фильтр-функциями H₁, H₂, H₃ и H₄, были использованы, что делает возможным обратную последующую обработку.

Фильтр-функции могут быть описаны как умножение в частотной области. Так как параметры представлены для отдельных полос частот, изобретение может быть реализовано в виде простых, комплексных коэффициентов усиления вместо фильтров, которые применяются индивидуально в различных полосах частот. В этом случае частотные полосы для L_0w, R_0w получаются простым умножением на матрицу (2·2) из соответствующих полос частот из (L₀, R₀). Реальные элементы матрицы определяются параметрами и представлениями частотной области для фильтр-функции H, таким образом, образуя независящие от времени коэффициенты усиления H и зависящие от времени/частоты, управляемые параметрами коэффициенты усиления w_l и w_r. Так как фильтры являются скалярами для каждой полосы, обратное преобразование возможно.

Последующая обработка в кодировщике может быть описана с помощью следующего матричного уравнения:

,

где

Это матричное уравнение применяется для каждой полосы частот. Матрица H содержит только скалярные величины. Использование скаляров делает последующую обработку и обратную последующую обработку относительно простыми.

Параметры и являются скалярами и функциями набора P параметров. Эти два параметра определяют величину последующей обработки для входных каналов.

Параметры H₁....H₄ являются комплексными фильтр-функциями.

Обращение данного процесса также может быть выполнено с помощью простого матричного умножения по полосам частот. Следующее уравнение применяется по полосам частот:

где

Матрица H ^-1 содержит только скалярные величины. Элементы , также являются функциями набора P параметров. Когда функции в матрице H, и параметры P известны декодеру, то последующая обработка может быть инвертирована.

Блок-схема процессора 3 обратной последующей обработки, который выполняет такую обратную последующую обработку, показана на Фиг.4.

Это обращение возможно, когда определитель матрицы H не равен нулю. Определитель матрицы H равен

Когда выбраны подходящие функции det(H) будет не равен нулю, и процесс обратим.

Следует отметить, что термин «содержит» не исключает других элементов или этапов и единственное число не исключает множества элементов. Более того, знаки ссылки в формуле изобретения не должны рассматриваться как ограничивающие объем изобретения.

Изобретение было описано со ссылкой на определенные реализации. Тем не менее изобретение не ограничивается различными описанными реализациями, но может быть изменено и скомбинировано различными способами, как понятно специалисту в данной области техники, прочитавшему данное описание.