Результат интеллектуальной деятельности: УСТРОЙСТВО И СПОСОБ ДЛЯ ГЕНЕРАЦИИ МНОЖЕСТВА ЗВУКОВЫХ КАНАЛОВ

Данное изобретение относится к устройству и способу для генерации множества звуковых каналов для схемы расположения громкоговорителей.

Аппаратное и программное обеспечение для пространственного звукового кодирования и декодирования являются общеизвестными в данной области техники и стандартизированы в стандарте объемного звучания MPEG (MPEG-Surround). Системы пространственного звучания содержат некоторое количество громкоговорителей и соответствующие звуковые каналы, например, левый канал, центральный канал, правый канал, левый канал объемного звучания, правый канал объемного звучания и канал улучшения низких частот. Каждый из каналов обычно воспроизводят посредством соответствующего громкоговорителя. Размещение громкоговорителей в выходной схеме расположения обычно является фиксированным и зависит от формата 5.1, формата 7.1 и т.п. В зависимости от соответствующего формата, определяют положение громкоговорителя. Некоторые схемы расположения определяют положение громкоговорителя выше положения слушателя. Этот громкоговоритель также называют «глас божий» (Voice-of-God - VoG). Некоторые форматы могут также определить громкоговоритель с положением ниже слушателя. Соответственно, этот громкоговоритель может называться «глас дьявола» (Voice-of-Hell - VoH). Для генерации звуковых каналов, определяющих звуковые сигналы для громкоговорителей данной схемы расположения громкоговорителей, может быть использован способ векторного амплитудного панорамирования (Vector Base Amplitude Panning - VBAP). VBAP использует набор из N единичных векторов ₁, …, _N, которые указывают на громкоговорители из набора громкоговорителей. В случае, когда набор громкоговорителей выполнен с возможностью воспроизведения трехмерной звуковой сцены, этот набор громкоговорителей именуют трехмерным набором громкоговорителей. Направление панорамирования, заданное декартовым единичным вектором p, определяют посредством линейной комбинации этих векторов громкоговорителей.

(1)

где обозначает коэффициент масштабирования, который применяют к . В ℝ₃, векторное пространство образовано тремя базисными векторами. Следовательно, (1) может быть, в общем, решено с помощью обращения матрицы, если количество активных громкоговорителей и, таким образом, количество ненулевых коэффициентов масштабирования, ограничено тремя. На практике, это выполняют посредством определения сетки из треугольников между громкоговорителями и посредством выбора этих триплетов для промежуточной области. Это может обеспечить решение для коэффициентов масштабирования, подлежащих применению, следующим образом:

, (2)

где обозначает активный триплет громкоговорителей. Наконец, нормирование, которое обеспечивает нормированные по мощности выходные сигналы, дает в результате конечные коэффициенты усиления панорамирования :

, (3)

Объектный рендерер, включенный в MPEG-H-декодер, использует VBAP для воспроизведения звуковых объектов для данной конфигурации громкоговорителей. Если схема расположения громкоговорителей не включает в себя T0-громкоговоритель («глас божий»), подобно схеме расположения громкоговорителей 9.1, то тогда объекты с углом возвышения относительно положения слушателя, большим 35°, ограничены углом возвышения, равным 35°, который является установленным по умолчанию углом возвышения верхних громкоговорителей. Будучи практическим решением, это решение, ясно, является неоптимальным, поскольку оно может изменить воспроизводимую звуковую сцену.

В схеме расположения громкоговорителей 9.1, т.е., схеме расположения громкоговорителей согласно формату 9.1, альтернатива, состоящая в разделении верхней полусферы на два треугольника, может привести к асимметрии, и объект, находящийся прямо над слушателем, может быть, тогда, воспроизведен двумя противоположными дгромкоговорителями. В результате, звуковой объект, который, например, перемещается с верхней передней правой стороны к верхней задней левой стороне, может иметь звучание, отличное от звучания, которое он бы имел, если бы он перемещался с верхней передней левой стороны к верхней задней правой стороне - несмотря на симметрию схемы расположения громкоговорителей. Решение этой дилеммы состоит в использовании N-элементного панорамирования, где все верхние громкоговорители включены в объекты в верхней полусфере. Расширение VBAP-панорамирования от трех громкоговорителей до N динамиков называют N-элементным панорамированием. Отношения соседства могут быть заданы графом, который определен сторонами треугольников, которые могут быть вычислены, например, MPEG-декодером. Треугольники могут быть получены, например, посредством образования одного или нескольких многогранников с N вершинами. Вершина может быть образована громкоговорителем. Треугольники могут быть образованы из внешних поверхностей многогранников.

Способ VBAP-панорамирования требует правильной триангуляции для всех телесных углов. В текущем MPEG-H трехмерном опорном программном обеспечении, триангуляцию вычисляют предварительно и задают в табличном виде для фиксированного количества схем расположения громкоговорителей. В настоящее время, это ограничивает поддерживаемые схемы расположения громкоговорителей заданными схемами расположения или схемами расположения, которые отличаются только небольшими перестановками.

Звуковые форматы, определяющие положения дгромкоговорителей, побуждают пользователя, например, слушателя, размещать громкоговорители в этих определенных положениях. Такие требования могут быть трудновыполнимыми, например, в случаях, когда определено, что громкоговорители подлежат расположению вокруг слушателя по окружности или по круговой траектории. Некоторые пользователи, конкретно, пользователи, проживающие в квартирах, нуждаются в адаптации таких схем расположения, поскольку жилая комната с системой расположения громкоговорителей является прямоугольной, а не круглой, и пользователи предпочитают размещать громкоговорители вблизи стен, а не в середине комнаты.

Следовательно, например, существует потребность в концепциях звукового декодирования, обеспечивающих более гибкую схему расположения громкоговорителей.

Задачей данного изобретения является обеспечение концепции для более гибкого устройства и способа звукового кодирования.

Эта задача решена посредством предмета независимых пунктов формулы изобретения.

Дополнительные предпочтительные модификации данного изобретения являются предметом зависимых пунктов формулы изобретения.

Варианты осуществления данного изобретения относятся к устройству для генерации множества звуковых каналов для первой схемы расположения громкоговорителей. Это устройство содержит определитель воображаемых громкоговорителей, для определения положения воображаемого громкоговорителя, не содержащегося в первой схеме расположения громкоговорителей. Посредством определения положения воображаемого громкоговорителя, получают вторую схему расположения громкоговорителей, содержащую воображаемый громкоговоритель. Устройство дополнительно содержит вычислитель распределения энергии, для вычисления распределения энергии от воображаемого громкоговорителя к другим громкоговорителям во второй схеме расположения громкоговорителей. Устройство дополнительно содержит процессор для повторения распределения энергии, для получения информации о понижающем микшировании, для понижающего микширования от второй схемы расположения громкоговорителей к первой схеме расположения громкоговорителей. Рендерер устройства выполнен с возможностью генерации множества звуковых каналов с использованием информации о понижающем микшировании.

Авторами изобретения было обнаружено, что посредством определения положений виртуальных, т.е. воображаемых, громкоговорителей, звуковые данные, например, трехмерные звуковые данные фильма, отформатированные по определенному формату, могут быть обработаны, как если бы реальная схема расположения (первая схема расположения) соответствовала определенной конфигурации в отношении количества громкоговорителей и/или положений громкоговорителей. Для управления реальными громкоговорителями, воображаемую вторую схему расположения подвергают понижающему микшированию согласно распределению энергии, таким образом, чтобы первой схемой расположения (той, которая реализована в реальности) можно было управлять, как если бы она была второй схемой расположения (той, которая определена форматом, например).

Это обеспечивает возможность адаптации звуковых каналов, определяемых соответствующим форматом, например, к реальной схеме расположения громкоговорителей, реализованной в доме слушателя.

Дополнительные варианты осуществления данного изобретения относятся к устройству, в котором процессор выполнен с возможностью генерации матрицы распределения энергии на основе распределения энергии. Элементы матрицы распределения энергии могут представлять распределение энергии воображаемого громкоговорителя к другому громкоговорителю. Процессор выполнен с возможностью вычисления степени матрицы распределения энергии. Возведение в степень матрицы распределения энергии приводит к уменьшению элементов полученной матрицы или их стремлению к определенному порогу, таким образом, чтобы эти элементы могли быть проигнорированы при дополнительной обработке. В результате, на основе возведения в степень матрицы распределения энергии может быть получена информация о понижающем микшировании. Информация о понижающем микшировании указывает на то, как управлять громкоговорителями первой схемы расположения громкоговорителей, имитирующей вторую схему расположения громкоговорителей.

Дополнительные варианты осуществления данного изобретения относятся к устройству, дополнительно содержащему вычислитель распределения энергии, содержащий оцениватель соседства. Оцениватель соседства выполнен с возможностью определения по меньшей мере одного громкоговорителя, который является соседом воображаемого громкоговорителя. Вычислитель распределения энергии выполнен с возможностью вычисления распределения энергии воображаемого громкоговорителя по меньшей мере к одному соседу воображаемого громкоговорителя.

Посредством определения соседа воображаемого громкоговорителя, соответствующий воображаемый громкоговоритель может быть расположен в любом положении таким образом, чтобы вторая схема расположения громкоговорителей могла быть выполнена с возможностью реализации согласно предопределенной схеме расположения, такой как схема расположения согласно некоторому формату. Дополнительное преимущество состоит в том, что множество звуковых каналов может быть сгенерировано для изменяемой первой схемы расположения громкоговорителей, при повторении оценки соседства. Таким образом, одна и та же реальная схема расположения громкоговорителей может быть, например, выполнена с возможностью воспроизведения многоканального сигнала формата 5.1 в один момент времени, и многоканального сигнала формата 7.1 в другой момент времени.

Дополнительные варианты осуществления относятся к устройству, в котором оцениватель соседства выполнен с возможностью определения по меньшей мере двух громкоговорителей, которые являются соседями воображаемого громкоговорителя, и в котором вычислитель распределения энергии выполнен с возможностью вычисления распределения энергии таким образом, чтобы распределение энергии по меньшей мере между двумя громкоговорителями, которые являются соседями воображаемого громкоговорителя, было одинаковым, т.е., однородно распределенным, в пределах предопределенного допуска. Предопределенный допуск может быть, например, отклонением, равным 0.1%, 1% или 10%, от однородно распределенного значения.

Посредством вычисления однородно распределенной энергии между соседями, сходимость степени матрицы распределения энергии может быть обеспечена таким образом, чтобы мог быть получен единственный результат информации о понижающем микшировании.

Дополнительные варианты осуществления относятся к устройству, в котором оцениватель соседства выполнен с возможностью определения по меньшей мере двух громкоговорителей, которые являются соседями воображаемого громкоговорителя, и в котором по меньшей мере один из по меньшей мере двух громкоговорителей, которые являются соседями воображаемого громкоговорителя, является воображаемым громкоговорителем. Преимуществом является то, что информация о понижающем микшировании может быть получена, даже если первая схема расположения громкоговорителей отличается более чем на один громкоговоритель от второй схемы расположения громкоговорителей.

Дополнительные варианты осуществления данного изобретения относятся к устройству, причем это устройство является частью блока преобразования формата звукового декодера, таким образом, что количество каналов, обеспечиваемых звуковым декодером, например, для управления первой схемой расположения громкоговорителей, понижают при понижающем микшировании с большего или максимального количества (например, максимального количества, поддерживаемого некоторым стандартом, таким как MPEG-H) звуковых каналов, соответствующих некоторому формату, до количества каналов, соответствующего количеству фактически присутствующих громкоговорителей.

Дополнительные варианты осуществления относятся к устройству, причем это устройство является частью объектного рендерера звукового декодера и, причем, этот устройство содержит средство панорамирования, таким образом, что объектный рендерер выполнен с возможностью обеспечения некоторого количества звуковых каналов согласно первой схеме расположения громкоговорителей.

Дополнительные варианты осуществления относятся к устройству, причем это устройство выполнено с возможностью обеспечения информации о правильности первой схемы расположения громкоговорителей.

Преимущество этого варианта осуществления состоит в том, что это устройство, в соответствии с информацией о правильности, может указывать на то, может ли первая схема расположения громкоговорителей, например, схема расположения громкоговорителей, реализованная пользователем, например, дома, быть снабжена правильными звуковыми каналами, или, например, должны ли громкоговорители быть перемещены в соответствии с требованиями, такими как допуск на положение громкоговорителя.

Дополнительные варианты осуществления относятся к звуковой системе, содержащей устройство для генерации множества звуковых каналов, для некоторой схемы расположения громкоговорителей, и множество громкоговорителей, согласно множеству звуковых каналов, обеспечиваемых этим устройством.

Преимущество этого варианта осуществления состоит в том, что может быть реализована звуковая система, например, звуковая система для реализации трехмерной звуковой сцены.

Дополнительные варианты осуществления данного изобретения относятся к способу для генерации множества звуковых каналов для первой схемы расположения громкоговорителей и к компьютерной программе.

Варианты осуществления данного изобретения будут описаны более подробно со ссылкой на сопутствующие чертежи, в которых:

Фиг.1 показывает схематичную блок-схему устройства для генерации множества звуковых каналов для первой схемы расположения громкоговорителей, согласно некоторому варианту осуществления данного изобретения;

Фиг.2 показывает схематичное изображение иллюстративной второй схемы расположения громкоговорителей, содержащий реальные громкоговорители, образующие первую схему расположения громкоговорителей, и воображаемые громкоговорители, согласно некоторому варианту осуществления данного изобретения;

Фиг.3 показывает схематичное изображение второго громкоговорителя фиг.2, спроецированное на двумерную плоскость, на виде сверху;

Фиг.4а показывает перспективный вид первой схемы 14-1 расположения громкоговорителей относительно положения 42, согласно некоторому варианту осуществления данного изобретения;

Фиг.4b показывает вид сверху конфигурации фиг.4a;

Фиг.5а показывает схематичный перспективный вид первой схемы расположения громкоговорителей фиг.4а с дополнительными воображаемыми громкоговорителями, образующими круговую форму, образующую вторую схему расположения громкоговорителей, согласно некоторому варианту осуществления данного изобретения;

Фиг.5b показывает вид сверху сценария фиг.5а и показывает круглую форму окружности 48;

Фиг.6 показывает перспективный вид второй схемы расположения громкоговорителей, содержащей первую схему расположения громкоговорителей и воображаемые громкоговорители. Положение воображаемого громкоговорителя находится на вычисленной сферической поверхности, согласно некоторому варианту осуществления данного изобретения;

Фиг.7 показывает схематичное изображение второй схемы расположения громкоговорителей согласно фиг.2, в которой показан уровень, который является перпендикулярным уровню квартиры, для разъяснения отношений соседства громкоговорителей, согласно некоторому варианту осуществления данного изобретения;

Фиг.8 показывает блок-схему звукового декодера, который может быть использован для декодирования MP4-сигналов, для получения множества звуковых сигналов, показывающую два варианта для устройства, согласно некоторому варианту осуществления данного изобретения;

Фиг.9 показывает блок-схему устройства, имеющего ссылку на вариант 1 на фиг.8;

Фиг.10 показывает блок-схему блока 1720 преобразования формата, имеющего ссылку на вариант 2 на фиг.8; и

Фиг.11 показывает блок-схему звуковой системы.

Одинаковые или эквивалентные элементы, или элементы с одинаковой или эквивалентной функциональностью, обозначены в нижеследующем описании одинаковыми или эквивалентными ссылочными позициями, даже если они показаны на разных фигурах.

В нижеследующем описании, изложено множество подробностей для обеспечения более полного объяснения вариантов осуществления данного изобретения. Однако, специалистам в данной области техники будет понятно, что варианты осуществления данного изобретения могут быть осуществлены на практике без этих конкретных подробностей. В других примерах, общеизвестные конструкции и устройства показаны в виде блок-схем, а не подробно, чтобы не затруднять понимание вариантов осуществления данного изобретения. Дополнительно, признаки разных вариантов осуществления, описанных здесь, могут быть объединены друг с другом, если конкретно не указано иное.

Фиг.1 показывает блок-схему устройства 10 для генерации множества звуковых каналов 12 для первой схемы 14 расположения громкоговорителей. Первая схема 14 расположения громкоговорителей содержит некоторое количество громкоговорителей 16a-c. Громкоговорители 16a-c могут быть расположены, например, в комнате для прослушивания, и могут быть частью системы воспроизведения, например, в качестве части системы кинотеатра или домашнего кинотеатра. Первая схема 14 расположения громкоговорителей существует в реальности. Устройство 10 содержит определитель 18 воображаемых громкоговорителей, для определения положения воображаемого громкоговорителя 22, не содержащегося в первой схеме 14 расположения громкоговорителей. Определитель 18 воображаемых громкоговорителей выполнен с возможностью получения второй схемы 24 расположения громкоговорителей, содержащей воображаемый громкоговоритель 22. Вторая схема 24 расположения громкоговорителей содержит некоторые или все громкоговорители 16a-c первой схемы 14 расположения громкоговорителей. Определитель 18 воображаемых громкоговорителей может быть выполнен с возможностью определения положения воображаемого громкоговорителя 22 таким образом, чтобы воображаемый громкоговоритель был расположен в положении, согласно положению, определенному форматом, в котором должен быть расположен некоторый громкоговоритель, но в реальности его там нет. Определением, выполняемым определителем 18 воображаемых громкоговорителей, можно управлять таким образом, чтобы количество громкоговорителей, совместно используемых схемами 14 и 24 расположения или относящихся к ним, было максимизировано, или таким образом, чтобы среднее расстояние между ближайшими громкоговорителями-соседями двух схем 14 и 24 расположения было минимизировано, или им мог управлять пользователь в ручном режиме.

Устройство 10 содержит вычислитель 26 распределения энергии, для вычисления распределения энергии от воображаемого громкоговорителя 22 к другим громкоговорителям во второй схеме расположения громкоговорителей. Альтернативно или дополнительно, определитель 18 воображаемых громкоговорителей может быть выполнен с возможностью определения положения воображаемого громкоговорителя 22 таким образом, чтобы воображаемый громкоговоритель 22 был расположен вблизи «переставленного» громкоговорителя 16a-c, так чтобы воображаемый громкоговоритель мог скорректировать акустический эффект, полученный в результате этой перестановки.

Когда, например, первая схема 14 расположения громкоговорителей частично реализует конфигурацию громкоговорителей или схему расположения громкоговорителей согласно звуковому формату, такому как формат 5.1, 7.1, 9.1, 11.2 и т.п., воображаемый громкоговоритель 22 может быть громкоговорителем, отсутствующим в первой схеме 14 расположения громкоговорителей относительно формата, подлежащего реализации.

Распределение энергии представляет собой величину или долю энергии воображаемого громкоговорителя 22, распределяемую к другим громкоговорителям во второй схеме 24 расположения громкоговорителей. Другими словами, распределение энергии представляет собой энергию воображаемого громкоговорителя 22, разделенную между остальными громкоговорителями второй схемы 24 расположения громкоговорителей.

Устройство 10 дополнительно содержит процессор 28. Процессор 28 выполнен с возможностью повторения распределения энергии, указанного блоком 32, для получения информации 36 о понижающем микшировании, указанной М в блоке 34. Информация о понижающем микшировании может быть использована для осуществления понижающего микширования звуковых каналов второй схемы 24 расположения громкоговорителей в соответствии с первой схемой 14 расположения громкоговорителей. Другими словами, информация 36 о понижающем микшировании обеспечивает возможность управления громкоговорителями 16a-c первой схемы 14 расположения громкоговорителей для получения звуковой сцены, которая могла бы быть по меньшей мере частично получена, если бы воображаемый громкоговоритель 22 был реальным громкоговорителем.

Устройство 10 содержит рендерер 38, для генерации множества звуковых каналов 12 с использованием информации 36 о понижающем микшировании. Рендерер 38 выполнен с возможностью применения информации 36 о понижающем микшировании к входному сигналу или набору входных сигналов 39, например, к некоторому количеству звуковых каналов, которые соответствуют или предназначены для воспроизведения второй схемой 24 расположения громкоговорителей. Рендерер 38 выполнен с возможностью получения понижающего микширования 36 от второй схемы 24 расположения громкоговорителей к первой схеме 14 расположения громкоговорителей с использованием информации 36 о понижающем микшировании. Другими словами, рендерер 38 выполнен с возможностью определения множества звуковых каналов 12 посредством понижающего микширования (воображаемых) звуковых каналов 39 воображаемой схемы 24 расположения в соответствии с реальными звуковыми каналами 12 для реальной первой схемы 14 расположения.

Преимущество этого варианта осуществления состоит в том, что громкоговорителями 16a-c по меньшей мере частично может быть сгенерирована звуковая сцена, которая могла бы быть получена, если бы громкоговорители 16a-c соответствовали более расширенной схеме расположения. Таким образом, звуковая сцена некоторого формата, например, трехмерного формата, может быть реализована, даже если один или несколько громкоговорителей, например, громкоговорители объемного звучания, отсутствуют в реальной, первой схеме 14 расположения громкоговорителей.

Задача, подлежащая решению с использованием устройства 10, может состоять, например, в воспроизведении трехмерных звуковых объектов в произвольных схемах расположения громкоговорителей, даже если они являются неправильными трехмерными схемами расположения по отношению к некоторому формату. Хотя при использовании воображаемых громкоговорителей никакой звук не воспроизводится с направлений, не содержащих реальных громкоговорителей, вырабатывается (например, автоматически) детерминированное решение для управления громкоговорителями, которое может считаться приемлемым решением. Например, это применяют в случае, когда левый канал объемного звучания воспроизводится больше через передний левый, чем через передний правый канал, когда левый громкоговоритель объемного звучания отсутствует. Таким образом, представленные устройство и способ хорошо подходят для MPEG-H в качестве резервного решения.

Альтернативно или дополнительно, некоторое количество воображаемых громкоговорителей, состоящее по меньшей мере из одного дополнительного воображаемого громкоговорителя, второй схемы 24 расположения громкоговорителей, и/или положения воображаемого громкоговорителя 22, и/или дополнительный воображаемый громкоговоритель, могут быть определены согласно предопределенному положению, которое может содержаться, например, в табличном виде или в базе данных. Альтернативно или дополнительно, положение воображаемого громкоговорителя 22 и/или по меньшей мере одного дополнительного воображаемого громкоговорителя могут быть определены таким образом, чтобы расстояния между громкоговорителями первой схемы 14 расположения громкоговорителей и/или второй схемы 24 расположения громкоговорителей были, по существу, эквидистантными, или соответствовали некоторому звуковому формату или стандарту.

Другими словами, устройство 10 содержит следующие компоненты для использования средства панорамирования VBAP или совместимого способа панорамирования:

1. Компонент, который определяет отсутствующие и/или необходимые положения громкоговорителей

2. Компонент, который определяет соседей этих воображаемых громкоговорителей

3. Компонент, который реализует понижающее микширование с использованием способа «распределения энергии», и который, необязательно, выполняет нормирование энергии

Другими словами, например, если звуковая сцена, например, звуковая сцена, хранящаяся в хранилище данных, таком как CD, содержит шесть звуковых каналов, а первая схема расположения громкоговорителей содержит 2 громкоговорителя, то устройство может быть выполнено с возможностью определения отсутствующих громкоговорителей.

«Матрица распределения энергии» M является существенным компонентом и определяет распределение соответствующей энергии к соответствующим соседям. Не требуется, чтобы матрица распределения энергии содержала столбцы с постоянными значениями. В качестве альтернативы, реализация с использованием других значений также возможна. Может оказаться предпочтительным определение значений столбца таким образом, чтобы эти значения могли быть просуммированы вплоть до значения, равного 1. Основой для матрицы распределения энергии может быть, например, граф распределения энергии, например, показанный на фиг.3.

Фиг.2 показывает схематичное изображение иллюстративной второй схемы 24-1 расположения громкоговорителей, содержащий громкоговорители 16a и 16b, образующие первую схему 14-1 расположения громкоговорителей. Вторая схема 24-1 расположения громкоговорителей содержит четыре воображаемых громкоговорителя 22a-d. Вторая схема 24-1 расположения громкоговорителей может быть результатом, определенным определителем воображаемых громкоговорителей, который может быть определителем 18 воображаемых громкоговорителей, и может быть возможной схемой расположения громкоговорителей для воспроизведения трехмерной звуковой сцены относительно положения 42 слушателя. Когда первая схема 14-1 расположения громкоговорителей является, например, стерео конфигурацией, например, на передней стене относительно положения 42, громкоговоритель 16а может быть обозначен как левый громкоговоритель, а громкоговоритель 16b как правый громкоговоритель стерео конфигурации. Определитель воображаемых громкоговорителей может быть выполнен с возможностью реализации предварительной установки, такой как некоторый звуковой формат. Если положения громкоговорителей 16a и 16b соответствуют предопределенным положениям звукового формата, возможно, в пределах диапазона допуска, то тогда определитель воображаемых громкоговорителей может быть выполнен с возможностью определения положений воображаемых громкоговорителей 22a-d посредством установления соответствия между положениями громкоговорителей 16a и 16b и предопределенными положениями. Положения, не занятые громкоговорителями 16a и 16b, могут быть определены в качестве положений воображаемых громкоговорителей 22a-d. Допуск может иметь абсолютное значение, такое как 5 см, 50 см, или 5 м или относительное значение, такое как 1%, 10% или 30% от протяженности первой схемы 14-1 расположения громкоговорителей или второй схемы 24-1 расположения громкоговорителей.

Вторая схема 24-1 расположения громкоговорителей может содержать воображаемый верхний громкоговоритель 22а («глас божий» (Voice-of-God - VoG)), нижний громкоговоритель 22b («глас дьявола» (Voice-of-Hell - VoH)), расположенный ниже положения 42, воображаемый левый громкоговоритель 22с объемного звучания (SL) и воображаемый правый громкоговоритель 22d объемного звучания (SR). Воображаемые громкоговорители 22a-d помечены буквой “I”. Альтернативно, первая схема 14-1 расположения громкоговорителей и/или вторая схема 24-1 расположения громкоговорителей могут содержать разное количество реальных или воображаемых громкоговорителей 16a-b и/или 22a-d. Реальные и/или воображаемые громкоговорители могут быть расположены в положениях, которые отличаются от показанных положений.

Например, планарные схемы расположения для объемного звучания, например, схемы расположения без громкоговорителей «глас божий» и «глас дьявола», могут быть определены с использованием всех громкоговорителей в пределах уровня 44 квартиры. Вследствие обстоятельств, таких как особенности комнаты для прослушивания, или, например, наличие других объектов, таких как телевизионный экран или окно, громкоговорители 16a, 16b и/или 22c-d могут быть также расположены в пределах допуска, описанного верхним уровнем 46а и/или нижним уровнем 46b, определяющими верхнюю и/или нижнюю границу допуска, в котором громкоговорители 16a, 16b и/или 22c и 22d могут быть расположены. Уровни 46a и 46b могут быть определены, например, максимальным углом относительно положения 42 для громкоговорителей 16a/16b и/или 22c и 22d. Например, каждый из громкоговорителей 16a и 16b может содержать угол α, меньший или равный 5 градусам, меньший или равный 10 градусам, меньший или равный 20 градусам, или меньший или равный 45°. Громкоговорители 16a и 22c расположены в уровне 44, громкоговоритель 16b расположен в уровне 46a, громкоговоритель 22d расположен на уровне 46b. Альтернативно или дополнительно, громкоговорители могут быть расположены между уровнями 46a и 44 и/или между уровнями 44 и 46b. Другими словами, первая схема 14-1 расположения громкоговорителей и/или вторая схема 24-1 расположения громкоговорителей могут быть расположены в разных уровнях, даже если они называются планарными схемами расположения.

Воображаемый громкоговоритель 22b (VoH) расположен прямо под положением 42. Воображаемый громкоговоритель 22a (VoG) расположен в пределах верхней полусферы, определяемой пространством выше положения 42. Воображаемый громкоговоритель 22a расположен перед положением 42 относительно передних громкоговорителей 16a и 16b. Другими словами, относительно положения 42, воображаемый громкоговоритель 22a расположен на первой стороне геометрической плоскости (уровня 44), а воображаемый громкоговоритель 22b расположен вдоль второй стороны геометрической плоскости, противоположной первой стороне геометрической плоскости. Геометрическая плоскость может быть выполнена с возможностью отделения соседних громкоговорителей. Например, громкоговорители 16a, 16b, 22c и 22d являются соседями воображаемых громкоговорителей 22a и 22b (и наоборот). При отделении посредством геометрической плоскости (уровня 44), включающей в себя границы 46a и 46b, воображаемые громкоговорители 22a и 22b могут быть описаны как «не имеющие никаких соседей».

Стрелки между воображаемыми громкоговорителями 22a-d показывают возможное распределение энергии от воображаемых громкоговорителей 22a-d к соседним громкоговорителям второй схемы 24-1 расположения громкоговорителей, которые являются соседями соответствующего громкоговорителя 22a-d. Распределение энергии выполняется вычислителем распределения энергии, таким как вычислитель 26 распределения энергии. Другими словами, энергия каждого из воображаемых громкоговорителей 22a-d распределена к соответствующим соседям каждого из воображаемых громкоговорителей 22a-d и между ними. Схематичное изображение громкоговорителей, спроецированное на двумерную плоскость, показано на следующей фиг.3.

Фиг.3 показывает схематичное изображение второй схемы 24-1 расположения громкоговорителей, включающей в себя первую схему 14-1 расположения громкоговорителей, спроецированное на двумерную плоскость, на виде сверху. Фиг.3 показывает соседей каждого из воображаемых громкоговорителей 22a-d с помощью соединения посредством стрелок, указывающих на распределение энергии от каждого из воображаемых громкоговорителей 22a-d своим соседям. Соседи воображаемых громкоговорителей могут быть определены оценивателем соседства, который может быть частью вычислителя распределения энергии, такого как вычислитель 26 распределения энергии, или, например, может быть частью определителя воображаемых громкоговорителей, такого как определитель 18 воображаемых громкоговорителей. Альтернативно, оцениватель соседства может быть расположен между определителем воображаемых громкоговорителей и вычислителем распределения энергии.

Воображаемый левый громкоговоритель 22с объемного звучания (SL) имеет четырех соседей: передний левый громкоговоритель 16а (FL), VoG-громкоговоритель 22a, правый громкоговоритель 22d объемного звучания (SR) и VoH-громкоговоритель 22b. Энергия каждого из воображаемых громкоговорителей 22a-d распределяется от воображаемых громкоговорителей 22a-d к их соседям, причем распределение энергии может быть представлено с помощью коэффициентов распределения энергии d_xy, где x указывает на источник распределяемой энергии, а y указывает на принимающий распределяемую энергию громкоговоритель. Передний левый громкоговоритель 16a обозначен индексом 1, передний правый громкоговоритель обозначен индексом 2, VoG-громкоговоритель 22а обозначен индексом 3, VoH-громкоговоритель 22b обозначен индексом 4, левый громкоговоритель 22с объемного звучания обозначен индексом 5 и правый громкоговоритель 22d объемного звучания обозначен индексом 6.

Каждый из коэффициентов распределения энергии d_xy может быть определен независимо вычислителем распределения энергии. Согласно некоторому варианту осуществления, коэффициенты распределения энергии определяют или вычисляют согласно расстоянию между двумя соседними громкоговорителями. Согласно альтернативному варианту осуществления, распределение энергии и, таким образом, коэффициенты распределения энергии d_xy, вычисляют таким образом, чтобы они были однородно распределены. Поскольку каждый из воображаемых громкоговорителей 22a-d имеет четыре соседа в пределах иллюстративной схемы расположения, это может обеспечить в результате равные коэффициенты распределения энергии, имеющие значение ¼, например.

Другими словами, с использованием этого графа соседства, может быть построен взвешенный направленный граф, который может быть обозначен как граф распределения энергии. Веса, т.е., коэффициенты распределения энергии d_xy этого графа, описывают часть звуковой энергии, которая перераспределена от воображаемых узлов (громкоговорителей) 22a-d к их соседям.

Вычислитель распределения энергии, например, вычислитель 26 распределения энергии, показанный на фиг.1, может быть выполнен с возможностью сортировки коэффициентов распределения энергии для матрицы распределения энергии, например, матрицы, обозначенной D. Согласно описанному выше графу соседства, громкоговорители в качестве иллюстрации отсортированы в порядке FL, FR, VoG, VoH, SL, SR. Результирующая матрица распределения энергии D может быть образована следующим образом:

(4)

причем количество столбцов и строк соответствует индексам 1-6. Стерео схема расположения, представленная в первой схеме 14-1 расположения громкоговорителей, может быть преобразована в правильную трехмерную схему расположения громкоговорителей посредством добавления воображаемых громкоговорителей 22a-d.

Коэффициенты d_xy установлены для этого примера равными ¼ и, таким образом, равными 0.25. В отношении третьего столбца матрицы D, который представляет воображаемый громкоговоритель 22a, который является соседом громкоговорителей 16a, 16b, 22c и 22d с индексами 1, 2, 5 и 6, матрица D имеет значения, равные 0.25 в линиях 1, 2, 5 и 6.

Альтернативно, соседи воображаемых громкоговорителей могут быть определены посредством границ триангуляции, которые могут быть получены из выпуклой оболочки. В случае полностью планарной схемы расположения для объемного звучания, когда все соседи воображаемых громкоговорителей являются существующими громкоговорителями, соответствующий столбец матрицы понижающего микширования может иметь постоянные значения для каждого соседа, где N обозначает количество соседей.

Распределение энергии может быть использовано, например, для вычисления того, как воображаемый громкоговоритель 22a-d, который отсутствует в реальной схеме расположения громкоговорителей, может быть скомпенсирован другими громкоговорителями.

Процессор устройства, согласно варианту осуществления, например, процессор 28, выполнен с возможностью повторения распределения энергии. Процессор выполнен с возможностью повторения распределения энергии, поскольку воображаемые громкоговорители, например, 22c-d, могут быть вычислены для частичной компенсации воображаемого громкоговорителя 22a, т.е., энергию воображаемого громкоговорителя 22a частично распределяют или перераспределяют к воображаемым громкоговорителям 22c-d и к реальным громкоговорителям 16a и 16b. Энергию, распределенную или перераспределенную к воображаемым громкоговорителям 22c-d, перераспределяют, например, посредством процессора 28, к их соседям таким образом, чтобы, посредством повторения распределения энергии, энергия воображаемых громкоговорителей 22a-d была распределена или перераспределена к реальным громкоговорителям 16a и 16b. Это означает, что воображаемые громкоговорители 22c-d «принимают» энергию от воображаемого громкоговорителя 22a, который должен быть перераспределен.

Повторение может быть выполнено, например, посредством вычисления степени матрицы D. Процессор 28 выполнен с возможностью получения информации о понижающем микшировании, для понижающего микширования от второй схемы 24-1 расположения громкоговорителей к первой схеме 14-1 расположения громкоговорителей. Для получения информации о понижающем микшировании, процессор может быть выполнен с возможностью вычисления квадратного корня (sqrt-оператора) от D в n-ой степени, что может быть выражено следующим образом:

, (5)

где D обозначает матрицу распределения энергии с весами распределения d_xy в качестве элементов, n обозначает количество итераций, т.е., повторений, и sqrt(•) обозначает поэлементный квадратный корень, и M обозначает результат, который может быть обозначен как матрица понижающего микширования.

Например, после 20 итераций, т.е., повторений, и, таким образом, n=20, это может привести к следующей матрице понижающего микширования:

(6)

где линии 3, 4, 5 и 6 содержат значения, равные 0, причем эти значения были округлены в меньшую сторону. Линии 1 и 2 представляют информацию для громкоговорителей с индексом 1 (16а) и индексом 2 (16b), функционирующих таким образом, чтобы эмулировать наличие воображаемых громкоговорителей 22a-d.

Другими словами, посредством установления коэффициентов распределения энергии d_xy равными обратному значению от количества соседей, обеспечивается сохранение энергии и, в то же время, может быть обеспечена сходимость алгоритма.

Процессор может быть выполнен с возможностью определения n-ой степени матрицы распределения энергии D для фиксированного значения n. Альтернативно, процессор может быть выполнен с возможностью итерационного вычисления степени D. Процессор может быть, например, выполнен с возможностью умножения D на D и, после этого, умножения результата на D и т.д., для итерационного получения увеличивающейся степени D и, затем, применения sqrt-оператора. При вычислении степени матрицы распределения энергии для фиксированного размера степени, может быть получена воспроизводимость разных вторых схем расположения громкоговорителей, включая результирующую информацию о понижающем микшировании. Альтернативно, при итерационном вычислении степени матрицы распределения энергии D, элементы результирующей матрицы или результат sqrt-оператора могут быть сравнены, например, с некоторым пороговым значением, и в случае, если значения этих элементов будут меньше этого некоторого порогового значения, то эти значения могут быть установлены равными нулю. Пороговое значение может быть, например, равным 0.05, 0.1 или 0.2, или любому другому подходящему значению. Такой способ может привести к сокращению времени вычислений и к более низким затратам вычислительных ресурсов, поскольку этот способ может быть остановлен, как только будет достигнут правильный результат.

Другими словами, вычисление n-ой степени матрицы распределения энергии может быть реализовано посредством применения распределения энергии n раз. Квадратный корень изменяет значения энергии для уменьшения значений, которые могут быть применены к значениям сигналов, в отношении коэффициентов понижающего микширования. Итерация, реализуемая посредством вычисления степени матрицы распределения энергии, может привести к результату, в котором все линии, которые соответствуют воображаемым громкоговорителям, преобразуются в 0.

Другими словами, на каждом этапе итерации, алгоритм, реализуемый процессором, выполнен с возможностью перераспределения этих частей энергии согласно заданным весам. Это повторяют до тех пор, пока общая величина энергии воображаемых узлов не будет ниже заданного порога. Квадратный корень узлов, которые накапливают перераспределенную энергию для существующих громкоговорителей, в конечном итоге обеспечивает элементы матрицы понижающего микширования M. Рендерер, который может быть рендерером 38, может быть выполнен с возможностью применения информации о понижающем микшировании, такой как матрица понижающего микширования M и/или информация 39 о понижающем микшировании, для понижающего микширования большего количества звуковых каналов до количества реальных громкоговорителей.

Задачей матрицы понижающего микширования может считаться устранение добавленных воображаемых громкоговорителей и ограничение вычисленных коэффициентов усиления для существующих громкоговорителей. Например, если данная схема расположения громкоговорителей не содержит ни верхних громкоговорителей, ни задних громкоговорителей, то тогда добавленный воображаемый громкоговоритель выше слушателя может быть также соседом воображаемых задних громкоговорителей и наоборот.

VBAP требуются для всех направлений панорамирования три базисных вектора, которые обеспечивают в результате положительные коэффициенты усиления панорамирования. Это означает, что начало системы координат, генерируемой этими тремя векторами, должно находиться внутри многогранника и может не быть частью его поверхности. Следовательно, посредством проверки того, является ли расстояние до всех треугольников большим некоторого порога, может быть выполнена проверка правильности, а именно, является ли данная схема расположения громкоговорителей правильной трехмерной схемой расположения. Рендерер может быть выполнен с возможностью поддержки новых схем расположения громкоговорителей с произвольными положениями громкоговорителей, посредством реализации такой проверки правильности и стратегии приема мер в отношении неправильных схем расположения громкоговорителей. Например, рендерер может указывать на перемещение реального громкоговорителя таким образом, чтобы перемещенный громкоговоритель обеспечил правильное положение воображаемых громкоговорителей.

Ясно, что планарная схема расположения громкоговорителей или схема расположения, не имеющая задних громкоговорителей, не является правильной трехмерной схемой расположения. Рендерер может быть выполнен с возможностью обеспечения наилучшего возможного способа для поддержки таких схем расположения, посредством выполнения понижающего микширования. Посредством добавления такого несуществующего воображаемого громкоговорителя выше и ниже схемы 14-1 расположения фиг.2, планарная схема расположения может быть преобразована в правильную трехмерную схему расположения. Посредством размещения такого несуществующего громкоговорителя в отсутствующем положении и посредством понижающего микширования этого громкоговорителя с его соседями, может быть получена стратегия для управления первой схемой 14-1 расположения громкоговорителей.

Фиг.4а показывает перспективный вид первой схемы 14-1 расположения громкоговорителей относительно положения 42. Следующие фигуры 5 и 6 объяснят возможные способы для того, как определитель воображаемых громкоговорителей может реализовать определение положения воображаемых громкоговорителей.

Фиг.4b показывает вид сверху конфигурации фиг.4a.

Фиг.5а показывает схематичный перспективный вид первой схемы 14-1 расположения громкоговорителей фиг.5а с воображаемыми громкоговорителями 22b и 22d, образующими, в общем, вторую схему 24-2 расположения громкоговорителей. Положение воображаемых громкоговорителей 22b и 22d может быть получено определителем воображаемых громкоговорителей, таким как определитель 18 воображаемых громкоговорителей, например, посредством образования окружности 48, которая содержит оба громкоговорителя 16a и 16b первой схемы 14 расположения громкоговорителей. Когда некоторые форматы, подобные формату 7.1, определяют положения громкоговорителей на окружности и положение 42 в пределах этой окружности, это может быть правильным решением для определения положения воображаемых громкоговорителей 22b и 22d.

Фиг.5b показывает вид сверху сценария фиг.5а и показывает круглую форму окружности 48. Определитель воображаемых громкоговорителей, например, в виде части объектного рендерера для воспроизведения звуковых объектов в пределах звуковой сцены, подлежащей воспроизведению, может быть выполнен с возможностью реализации алгоритма триангуляции, дополнительно к выбору триангуляций для данных схем расположения в ручном режиме. Например, триангуляция Делоне может обеспечить хорошее решение для этой задачи, поскольку она соответствует двойственному графу диаграмм Вороного. Альтернативно или дополнительно, определитель воображаемых громкоговорителей может быть выполнен с возможностью определения положения воображаемых громкоговорителей 22b и 22d посредством рассмотрения угла β₁ и/или β₂ между относительным положением воображаемых громкоговорителей 22b и 22d и положением 42, или опорного угла 49, такого как угол 0°. Таким образом, могут быть реализованы конфигурации с углом 60° относительно центрального положения (0°).

Фиг.6 показывает перспективный вид второй схемы 24-3 расположения громкоговорителей, содержащей первую схему 14-1 расположения громкоговорителей и воображаемые громкоговорители 22b, 22d и 22a. Воображаемые громкоговорители 22b и 22d являются одинаковыми в отношении их положения, показанного на фиг.5a и 5b. Положение воображаемого громкоговорителя 22а может быть найдено, например, посредством вычисления сферической поверхности 52 на основе окружности 48. Сферическая поверхность 52 может быть вычислена, например, посредством вычисления выпуклой оболочки громкоговорителей 16a, 16b, 22c и 22d или первой схемы 14-1 расположения громкоговорителей (заданный набор вершин). Выпуклая оболочка может быть определена, например, посредством алгоритма «QuickHull» («Быстрая оболочка»), который имеет среднюю вычислительную сложность O(N*log(N)), и наихудшую сложность O(N²), как описано в [1], причем O обозначает степень сложности. Алгоритм QuickHull выполнен с возможностью обеспечения информации в отношении соседей громкоговорителей. Альтернативные варианты осуществления используют другие алгоритмы, такие как алгоритм «Divide and Conquor» («Разделяй и властвуй») или алгоритм «Gift Wrap» («Подарочная упаковка»).

Алгоритм QuickHull довольно прост и может быть дополнительно упрощен вследствие того факта, что все вершины, т.е., громкоговорители, расположены на сферической поверхности. Простой алгоритм обеспечивает возможность включения в существующие объектные структуры, такие как опорное программное обеспечение. С использованием алгоритма триангуляции, необходимые углы, согласно MPEG-форматам, могут быть получены посредством образования многогранника, у которого все поверхности подразделены на треугольники, при необходимости. Поскольку все вершины, т.е., положения громкоговорителей, расположены в пределах допусков на сферической поверхности, решение Делоне может быть найдено посредством вычисления выпуклой оболочки данного набора вершин.

Устройство для генерации множества звуковых каналов, согласно некоторому варианту осуществления данного изобретения, выполнено с возможностью определения правильности положений громкоговорителей первой схемы 14-1 расположения громкоговорителей. Например, когда первая схема расположения громкоговорителей содержит более двух громкоговорителей, определитель воображаемых громкоговорителей может быть выполнен с возможностью определения того, расположены ли все громкоговорители в пределах некоторого допуска на некоторой круговой траектории, или расположены ли громкоговорители в пределах некоторого допуска на одном уровне относительно положения 42.

Другими словами, например, признак пустой окружности, согласно триангуляции Делоне, может быть достаточным условием для триангуляции. Это условие требует, чтобы никакие другие вершины, т.е., громкоговорители, не располагались в пределах окружности, описанной вокруг любого треугольника. Поскольку все вершины расположены на сферической поверхности, вершина, которая нарушает это условие, будет расположена за пределами рассматриваемой поверхности, и оболочка не будет выпуклой в этой области. Соответственно, алгоритм выпуклой оболочки, подобный алгоритму Quickhull, выполняет достаточное условие «пустой окружности» триангуляции Делоне, которое может обеспечить информацию о правильности схемы расположения громкоговорителей. Дополнительно, определитель воображаемых громкоговорителей или, например, оцениватель соседства, может быть выполнен с возможностью определения положений воображаемых громкоговорителей или отношений соседства согласно триангуляции Делоне и/или алгоритму, обеспечивающему выпуклую оболочку.

Алгоритм QuickHull может быть использован, например, для применения N-элементного панорамирования для трехмерных схем расположения с использованием или без использования «гласа божьего». При использовании алгоритма QuickHull может быть обеспечен способ триангуляции для произвольных трехмерных схем расположения громкоговорителей, и произвольные (и даже неправильные) схемы расположения громкоговорителей могут быть поддержаны с использованием предлагаемого способа распределения энергии.

Звуковые объекты выше верхнего уровня громкоговорителей, например, одного или всех поднятых громкоговорителей, могут быть использованы вместо ограничения подъема, как реализовано в опорной модели 0 (reference model 0 - RM0) в случае, когда схема расположения не содержит «глас божий». Это может быть выполнено посредством N-элементного панорамирования. Добавленная вычислительная сложность может быть пренебрежимо малой.

Таким образом, произвольная трехмерная схема расположения громкоговорителей может быть поддержана, например, если соответствующий объектный рендерер для воспроизведения звуковых объектов включает в себя алгоритм триангуляции, дополнительно к триангуляции, выбираемой в ручном режиме для заданных схем расположения. Заданные схемы расположения могут быть определены соответствующим форматом, воспроизводимым схемами расположения громкоговорителей.

Фиг.7 показывает схематичное изображение второй схемы 24-1 расположения громкоговорителей согласно фиг.2, в которой показан уровень 54, который является ортогональным уровню 44. Громкоговорители 16a и 16b расположены на первой стороне геометрической плоскости 54. Воображаемые громкоговорители 22b и 22d расположены на стороне геометрической плоскости 54, противоположной первой стороне. Воображаемый громкоговоритель 22а расположен вдоль первой стороны геометрической плоскости 54.

Посредством расположения воображаемых громкоговорителей на стороне геометрической плоскости 54, противоположной стороне громкоговорителей 16a и/или 16b, трехмерная звуковая сцена может быть воспроизведена в предопределенном положении 42 слушателя. Упрощенно, вторая схема 24-1 расположения громкоговорителей эмулирует громкоговорители перед слушателем (громкоговорители 16a и 16b), за слушателем (громкоговорители 22b и 22d), ниже слушателя (громкоговоритель 22b) и выше слушателя (громкоговоритель 22a).

Фиг.8 показывает блок-схему звукового декодера, который может быть использован для декодирования MP4-сигналов, для получения множества звуковых сигналов 12-1.

Постпроцессор может быть реализован в виде бинаурального рендерера 1710 или преобразователя 1720 формата. Альтернативно, прямой вывод данных 1205, т.е., звуковых каналов, может быть также реализован, как показано с помощью 1730. Таким образом, предпочтительно выполнить обработку в декодере наибольшего количества каналов, например, формата 22.2 или 32, чтобы иметь гибкость и, затем, выполнить постобработку, при необходимости меньшего формата.

Объектный процессор 1200 может содержать SAOC-декодер 1800 (SAC=Spatial Audio Coding (пространственное звуковое кодирование)), и SAOC-декодер выполнен с возможностью декодирования одного или нескольких транспортных каналов, выводимых основным декодером, и соответствующих параметрических данных, и использования распакованных метаданных для получения множества воспроизводимых звуковых объектов. С этой целью, выход OAM соединен с блоком 1800.

Кроме того, объектный процессор 1200 выполнен с возможностью воспроизведения декодированных объектов, выводимых основным декодером, которые не кодируются в SAOC транспортных каналах, но которые отдельно кодируются обычно в одноканальных элементах, как указано объектным рендерером 1210. Кроме того, декодер содержит выходной интерфейс, соответствующий выходу 1730, для вывода выходных данных микшера к громкоговорителям.

Объектный процессор 1200 может содержать декодер 1800 пространственного звукового кодирования, для декодирования одного или нескольких транспортных каналов и соответствующей параметрической вспомогательной информации, представляющей кодированные звуковые объекты или кодированные звуковые каналы, причем декодер пространственного звукового кодирования выполнен с возможностью транскодирования соответствующей параметрической информации и распакованных метаданных в транскодированную параметрическую вспомогательную информацию, используемую для прямого воспроизведения выходного формата, как определено, например, в более ранней версии SAOC. Постпроцессор выполнен с возможностью вычисления звуковых каналов выходного формата с использованием декодированных транспортных каналов и транскодированной параметрической вспомогательной информации. Обработка, выполняемая постпроцессором, может быть подобной обработке MPEG Surround или может быть любой другой обработкой, например, BCC-обработкой и т.д.

Объектный процессор 1200 может содержать декодер 1800 пространственного звукового кодирования, выполненный с возможностью прямого повышающего микширования и воспроизведения канальных сигналов для выходного формата с использованием декодированных (основным декодером) транспортных каналов и параметрической вспомогательной информации.

Объектный процессор 1200 дополнительно содержит микшер 1220, который принимает, в качестве входных данных, данные, выводимые USAC-декодером 1300 прямо, когда существуют предварительно воспроизводимые объекты, смикшированные с каналами. Дополнительно, микшер 1220 принимает данные от объектного рендерера, выполняющего воспроизведение объектов без SAOC-декодирования. Кроме того, микшер принимает выходные данные SAOC-декодера, т.е., воспроизводимые объекты SAOC.

Микшер 1220 соединен с выходным интерфейсом 1730, бинауральным рендерером 1710 и преобразователем 1720 формата. Бинауральный рендерер 1710 выполнен с возможностью воспроизведения выходных каналов в двух бинауральных каналах с использованием передаточной функции головы человека или бинауральных импульсных характеристик помещения (binaural room impulse responses - BRIR). Преобразователь 1720 формата выполнен с возможностью преобразования выходных каналов в выходной формат, имеющий меньшее количество каналов, чем количество каналов 1205 вывода (данных) микшера, и преобразователю 1720 формата необходима информация о схеме воспроизведения, например, громкоговорителей формата 5.1 и т.п.

В варианте 1 и в описании следующей фиг.9, устройство для генерации множества звуковых каналов 12-1 может быть, например, частью объектного рендерера 1210. В качестве варианта 2 и в описании следующей фиг.10, устройство для генерации множества звуковых каналов 12-2 может быть, например, частью преобразователя 1720 формата, например, для уменьшения при понижающем микшировании количества каналов 1205 до множества звуковых каналов 12-2. При применении варианта 1, множество звуковых каналов 12-1 может быть получено на выходе микшера 1220. Этот выход может быть, например, соединителем, который может быть соединен с системой громкоговорителей, содержащей множество громкоговорителей.

При применении варианта 2, множество звуковых каналов 12-2 может быть, например, получено на выходе блока 1720 преобразования формата. Блок 1720 преобразования формата может быть реализован в виде устройства, например, устройства, содержащего переключатель, обеспечивающий возможность выбора формата, который должен быть выведен на основе каналов 1205, например, формата 5.1. Блок 1720 преобразования формата может быть соединен с микшером 1220 таким образом, чтобы вход блока 1720 преобразования формата мог иметь максимальное количество каналов, например, 32, некоторого стандарта или семейства форматов, такого как MPEG.

Другими словами, это обеспечивает возможность оставить неизменным синтаксис битового потока посредством изменения только обработки сигнала в пределах декодера. Опорная модель 0 (RM0) может быть расширена следующими новыми признаками:

Фиг.9 показывает блок-схему устройства 10-1, имеющего ссылку на вариант 1 на фиг.8. Устройство 10-1 выполнено с возможностью приема данных или информации в отношении объектов, подлежащих воспроизведению в пределах звуковой сцены. Средство 56 панорамирования устройства 10-1 выполнено с возможностью вычисления коэффициентов панорамирования на основе данных в отношении этих объектов. Количество коэффициентов панорамирования может быть равным количеству громкоговорителей, которые, как определено, должны воспроизводить звуковую сцену согласно звуковому стандарту или формату. Например, в отношении формата 5.1, это количество громкоговорителей может быть равным шести. Другими словами, коэффициенты панорамирования обозначают коэффициент масштабирования для звука, испускаемого некоторым объектом, причем коэффициенты панорамирования выполнены с возможностью масштабирования сигналов громкоговорителей, например, в отношении уровня звукового давления, для реализации положения или направления некоторого объекта относительно положения слушателя.

Определитель 18-1 воображаемых громкоговорителей, который может быть определителем 18 воображаемых громкоговорителей, выполнен с возможностью определения положения одного или нескольких громкоговорителей. Например, со ссылкой на фиг.8, выбор громкоговорителей, подлежащих представлению посредством воображаемых громкоговорителей, может быть получен при выборе конкретного опыта прослушивания, например, опыта прослушивания, представленного конкретным форматом. На этой основе, может быть учтено количество громкоговорителей, соединенных с микшером или декодером. Каждый громкоговоритель, подлежащий реализации согласно этому формату, но не соединенный с микшером или декодером, может быть выбран в качестве воображаемого громкоговорителя.

Вычислитель 26-1 распределения энергии, который может быть вычислителем 26 распределения энергии, выполнен с возможностью вычисления распределения энергии от воображаемого громкоговорителя или воображаемых громкоговорителей к другим громкоговорителям в полученной второй схеме расположения громкоговорителей. Процессор 28-1, который может быть процессором 28, выполнен с возможностью повторения распределения энергии для получения информации о понижающем микшировании, например, посредством вычисления матрицы понижающего микширования M, для понижающего микширования от второй схемы расположения громкоговорителей к первой схеме расположения громкоговорителей. Таким образом, количество коэффициентов панорамирования может быть большим, чем количество звуковых каналов 12-1. Процессор 28-1 выполнен с возможностью вывода весовых коэффициентов к рендереру 38-1, например, рендереру 38. Рендерер 38-1 выполнен с возможностью генерации множества звуковых каналов 12-1 согласно весовым коэффициентам и звуку или шуму соответствующего объекта. Звуковой или шумовой сигнал может быть обеспечен, например, в виде моно-сигнала. Таким образом, рендерер 38-1 выполнен с возможностью генерации множества звуковых каналов 12-1 на основе информации о понижающем микшировании и коэффициентов панорамирования, причем функциональные отношения могут быть представлены, по меньшей мере частично, посредством весовых коэффициентов.

Преимущество этого варианта осуществления состоит в том, что посредством реализации устройства для генерации множества звуковых каналов 12-1 в пределах объектного рендерера 1210, множество звуковых каналов 12-1 может быть получено способом, соответствующим реализованной схеме аппаратного обеспечения. Ненужные звуковые каналы, количество которых может составлять, например, 26, при максимальном количестве звуковых каналов, равном 32, и необходимом количестве звуковых каналов, равном 6, могут быть проигнорированы при обработке, так что затраты вычислительных ресурсов могут быть снижены.

Фиг.10 показывает блок-схему блока 1720 преобразования формата, показанного на фиг.8, содержащего устройство 10-2 для генерации множества звуковых каналов 12-2. Устройство 10-2 выполнено с возможностью понижающего микширования некоторого количества каналов 1205 в некоторое количество звуковых каналов 12-2.

Преимущество этого варианта осуществления состоит в том, что блок 1720 преобразования формата может быть присоединен к декодеру или включен в его состав, причем это может быть декодер, показанный на фиг.8, при оставлении самого декодера в неизменном виде, и при обеспечении понижающего микширования декодированных звуковых сигналов и звуковых каналов согласно необходимому выходному формату, на основе каналов 1205, выводимых декодером.

Фиг.11 показывает блок-схему звуковой системы 110, содержащей устройство 112, которое может быть устройством 10, устройством 10-1 или устройством 10-2, или содержать их. Звуковая система 110 содержит два громкоговорителя 16a и 16b. Устройство 112 выполнено с возможностью генерации множества звуковых каналов таким образом, чтобы данное количество громкоговорителей (два громкоговорителя 16a и 16b) эмулировало наличие пяти громкоговорителей 16a, 16b и 22a-c в положении 42.

Дополнительные варианты осуществления показывают звуковые системы с разным количеством громкоговорителей, например, 6, 10, 13 или 32 или более, и устройство для генерации множества сигналов громкоговорителей (звуковых каналов), согласно этому количеству громкоговорителей. Множество громкоговорителей выполнено с возможностью приема множества звуковых каналов и обеспечения множества звуковых сигналов на основе множества звуковых каналов. Количество звуковых каналов может быть равным количеству громкоговорителей, которыми необходимо управлять.

Это обеспечивает возможность воспроизведения объектов, а также воспроизведения объектов для определенных схем расположения громкоговорителей, например, включая проверку правильности, а также воспроизведения объектов на основе произвольных трехмерных схем расположения. Это может быть выполнено, например, посредством введения алгоритма QuickHull, например, в опорное программное обеспечение, такое как MPEG-H трехмерная опорная модель (reference model - RM) 0. Способ распределения энергии обеспечивает возможность воспроизведения объектов на основе произвольных схем расположения, которые могут быть, но не обязательно, правильными трехмерными схемами расположения. Это включает в себя следующие этапы:

1. Вычислить коэффициенты усиления VBAP (весовые коэффициенты) для расширенной схемы расположения громкоговорителей с дополнительными воображаемыми громкоговорителями

2. Применить матрицу понижающего микширования, которая была вычислена во время инициализации.

3. Применить нормирование энергии к коэффициентам усиления VBAP после понижающего микширования.

Эта процедура может быть также выполнена преобразователем формата, например, в крайнем случае, когда не существует правила соответствующего формата, которое применимо к данной (произвольной) схеме расположения. Это может добавить выгодное свойство, состоящее в том, что рендерер может уже выработать сигналы для любой данной схемы расположения. Этот способ может быть реализован, например, посредством программного кода на языке программирования, например, посредством программного кода на языке программирования, таком как C.

Другими словами, устройство 10 может быть выполнено с возможностью получения подходящих звуковых сигналов (звуковых каналов), на основе объекта на основе MPEG-H потоков данных для любых схем расположения громкоговорителей, которые могут быть неправильными трехмерными схемами расположения, согласно соответствующему формату. В соответствии с формулой 2, количество коэффициентов g уменьшают при понижающем микшировании. Коэффициенты g могут также называться коэффициентами VBAP.

Положения реальных и воображаемых громкоговорителей могут быть определены в пределах допусков, как было иллюстративно показано на фиг.2. Такие пороги также применяются к положениям или позициям на других геометрических плоскостях и/или оболочках, таких как выпуклые оболочки.

Хотя некоторые аспекты были описаны в контексте устройства, следует понимать, что эти аспекты также представляют собой описание соответствующего способа, причем блок или устройство соответствует этапу способа или признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока или элемента или признака соответствующего устройства.

В зависимости от некоторых требований реализации, варианты осуществления данного изобретения могут быть реализованы в аппаратном обеспечении или в программном обеспечении. Реализация может быть выполнена с использованием цифровой запоминающей среды, например, гибкого диска, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, на которой хранятся электронным образом считываемые управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой вычислительной системой таким образом, чтобы был выполнен соответствующий способ.

Некоторые варианты осуществления согласно данному изобретению содержат носитель данных, на котором хранятся электронным образом считываемые управляющие сигналы, которые способны взаимодействовать с программируемой вычислительной системой таким образом, чтобы был выполнен один из способов, описанных здесь.

В общем, варианты осуществления данного изобретения могут быть реализованы в виде компьютерного программного продукта с программным кодом, причем этот программный код выполнен с возможностью выполнения одного из способов, когда этот компьютерный программный продукт запускается на компьютере. Этот программный код может, например, храниться на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных здесь, которая хранится на машиночитаемом носителе.

Другими словами, одним вариантом осуществления способа данного изобретения является, таким образом, компьютерная программа, имеющая программный код для выполнения одного из способов, описанных здесь, когда эта компьютерная программа запускается на компьютере.

Дополнительным вариантом осуществления способов данного изобретения является, таким образом, носитель данных (или цифровая запоминающая среда, или машиночитаемая среда), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных здесь.

Дополнительным вариантом осуществления способа данного изобретения является, таким образом, поток данных или последовательность сигналов, представляющий компьютерную программу для выполнения одного из способов, описанных здесь. Поток данных или последовательность сигналов могут быть, например, выполнены с возможностью их переноса посредством соединения для передачи данных, например, через интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер, или программируемое логическое устройство, сконфигурированные или выполненные с возможностью выполнения одного из способов, описанных здесь.

Дополнительный вариант осуществления содержит компьютер, на котором установлена компьютерная программа для выполнения одного из способов, описанных здесь.

В некоторых вариантах осуществления, программируемое логическое устройство (например, матрица программируемых логических вентилей) или интегральная схема могут быть использованы для выполнения некоторых или всех функциональностей способов, описанных здесь. В некоторых вариантах осуществления, матрица программируемых логических вентилей может взаимодействовать с микропроцессором для выполнения одного из способов, описанных здесь. В общем, эти способы предпочтительно выполняются посредством любого аппаратного средства.

Описанные выше варианты осуществления только описывают принципы данного изобретения. Следует понимать, что модификации и варианты схем и компонентов, описанных здесь, будут очевидны специалистам в данной области техники. Таким образом, предполагается, что данное изобретение ограничено только объемом нижеследующих пунктов формулы изобретения, а не конкретными подробностями, представленными в описании и разъяснении вариантов осуществления, приведенных здесь.

ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ДОКУМЕНТОВ

[1] Barber, C. Bradford; Dobkin, David P.; Huhdanpaa, H., “The quickhull algorithm for convex hulls,” («Алгоритм «Быстрая оболочка» для выпуклых оболочек»), ACM Transactions on Mathematical Software, том 22, № 4, страницы 469-483, 1996.