ПРИНЦИП ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ АУДИО ДЛЯ АУДИОКАНАЛОВ И АУДИООБЪЕКТОВ

Настоящее изобретение относится к кодированию/декодированию аудио и, в частности, к пространственному кодированию аудио и пространственному кодированию аудиообъектов.

Инструментальные средства пространственного кодирования аудио известны в данной области техники и стандартизированы, например, в стандарте объемного звучания MPEG. Пространственное кодирование аудио начинается с исходных входных каналов, к примеру с пяти или семи каналов, которые идентифицируются посредством их размещения в компоновке для воспроизведения, т.е. как левого канала, центрального канала, правого канала, левого канала объемного звучания, правого канала объемного звучания и канала улучшения низких частот. Пространственный аудиокодер, как правило, извлекает один или более каналов понижающего микширования из исходных каналов и, дополнительно, извлекает параметрические данные, связанные с пространственными сигнальными метками, такие как межканальные разности уровней в значениях канальной когерентности, межканальные разности фаз, межканальные разности времен и т.д. Один или более каналов понижающего микширования передаются вместе с параметрической вспомогательной информацией, указывающей пространственные сигнальные метки, в пространственный аудиодекодер, который декодирует канал понижающего микширования и ассоциированные параметрические данные, чтобы в итоге получать выходные каналы, которые являются аппроксимированной версией исходных входных каналов. Размещение каналов в выходной компоновке, как правило, является фиксированным и представляет собой, например, 5.1-формат, 7.1-формат и т.д.

Дополнительно, инструментальные средства пространственного кодирования аудиообъектов известны в данной области техники и стандартизированы в MPEG SAOC-стандарте (SAOC – пространственное кодирование аудиообъектов). В отличие от пространственного кодирования аудио, начинающегося с исходных каналов, пространственное кодирование аудиообъектов начинается с аудиообъектов, которые автоматически не выделяются для определенной компоновки для воспроизведения при рендеринге. Вместо этого, размещение аудиообъектов в сцене для воспроизведения является гибким и может определяться пользователем посредством ввода определенной информации рендеринга в декодер по стандарту пространственного кодирования аудиообъектов. Альтернативно или дополнительно, информация рендеринга, т.е. информация в отношении того, в какой позиции в компоновке для воспроизведения, как правило, должен размещаться определенный аудиообъект во времени, может передаваться в качестве дополнительной вспомогательной информации или метаданных. Чтобы получать определенное сжатие данных, определенное число аудиообъектов кодируются посредством SAOC-кодера, который вычисляет, из входных объектов, один или более транспортных каналов посредством понижающего микширования объектов в соответствии с определенной информацией понижающего микширования. Кроме того, SAOC-кодер вычисляет параметрическую вспомогательную информацию, представляющую межобъектные сигнальные метки, к примеру, разности уровней объектов (OLD), значения когерентности объектов и т.д. Аналогично SAC (SAC – пространственное кодирование аудио), межобъектные параметрические данные вычисляются для отдельных частотно-временных мозаичных фрагментов, т.е. для определенного кадра аудиосигнала, содержащего, например, 1024 или 2048 выборок, рассматриваются 24, 32 или 64 и т.д. полос частот, так что, в конечном счете, параметрические данные существуют для каждого кадра и каждой полосы частот. В качестве примера, когда аудиофрагмент имеет 20 кадров, и когда каждый кадр подразделяется на 32 полосы частот, в таком случае число частотно-временных мозаичных фрагментов равно 640.

К настоящему времени, отсутствуют гибкие технологии для комбинирования кодирования каналов, с одной стороны, и кодирования объектов, с другой стороны, таким образом, что на низких скоростях передачи битов получаются приемлемые качества звука.

Цель настоящего изобретения заключается в том, чтобы предоставлять усовершенствованный принцип для кодирования аудио и декодирования аудио.

Это цель достигается посредством аудиокодера по п. 1, аудиодекодера по п. 8, способа кодирования аудио по п. 22, способа декодирования аудио по п. 23 или компьютерной программы по п. 24.

Настоящее изобретение основано на таких выявленных сведениях, что оптимальная система, гибкая, с одной стороны, и обеспечивающая хорошую эффективность сжатия при высоком качестве звука, с другой стороны, достигается посредством комбинирования пространственного кодирования аудио, т.е. канального кодирования аудио, с пространственным кодированием аудиообъектов, т.е. объектно-ориентированным кодированием. В частности, предоставление микшера для сведения объектов и каналов уже на стороне кодера обеспечивает хорошую гибкость, в частности, для вариантов применения с низкой скоростью передачи битов, поскольку любая передача объектов в таком случае может быть необязательной, либо может уменьшаться число объектов, которые должны передаваться. С другой стороны, требуется гибкость, так что аудиокодер может управляться в двух различных режимах, т.е. в режиме, в котором объекты сводятся с каналами перед подверганием базовому кодированию, тогда как в другом режиме данные объектов, с одной стороны, и данные каналов, с другой стороны, подвергаются непосредственному базовому кодированию без промежуточного сведения.

Это обеспечивает то, что пользователь может разделять обработанные объекты и каналы на стороне кодера таким образом, что полная гибкость доступна на стороне декодера, но за счет повышенной скорости передачи битов. С другой стороны, когда требования по скорости передачи битов являются более строгими, в таком случае настоящее изобретение обеспечивает возможность выполнять сведение/предварительный рендеринг уже на стороне кодера, т.е. при этом некоторые или все аудиообъекты уже сведены с каналами, так что базовый кодер кодирует только данные каналов, и не требуются биты, необходимые для передачи данных аудиообъектов в форме понижающего микширования или в форме параметрических межобъектных данных.

На стороне декодера, пользователь также имеет высокую гибкость вследствие того факта, что идентичный аудиодекодер обеспечивает возможность работы в двух различных режимах, т.е. в первом режиме, в котором осуществляется отдельное или раздельное кодирование каналов и объектов, и декодер имеет полную гибкость при рендеринге объектов и сведении с данными каналов. С другой стороны, когда сведение/предварительный рендеринг уже осуществлено на стороне кодера, декодер выполнен с возможностью осуществлять постобработку без промежуточной обработки объектов. С другой стороны, постобработка также может применяться к данным в другом режиме, т.е. когда рендеринг/сведение объектов осуществляется на стороне декодера. Таким образом, настоящее изобретение обеспечивает возможность инфраструктуры задач обработки, которая позволяет значительное многократное использование ресурсов не только на стороне кодера, но также и на стороне декодера. Постобработка может означать понижающее микширование и бинаурализацию либо любую другую обработку для того, чтобы получать конечный сценарий для каналов, такой как намеченная схема размещения для воспроизведения.

Кроме того, в случае очень низких требований по скорости передачи битов, настоящее изобретение предоставляет пользователю достаточную гибкость для того, чтобы реагировать на низкие требования по скорости передачи битов, т.е. посредством предварительного рендеринга на стороне кодера, так что несмотря на это, за счет некоторой гибкости получается очень высокое качество звука на стороне декодера вследствие того факта, что биты, которые сэкономлены без дополнительного предоставления данных объектов из кодера в декодер, могут использоваться для лучшего кодирования данных каналов, к примеру, посредством более точного квантования данных каналов либо посредством другого средства для повышения качества или для уменьшения потерь при кодировании, когда доступно достаточное число битов.

В предпочтительном варианте осуществления настоящего изобретения, кодер дополнительно содержит SAOC-кодер и, кроме того, обеспечивает возможность не только кодировать объекты, вводимые в кодер, но и также SAOC-кодировать данные каналов для того, чтобы получать высокое качество звука на еще более низких требуемых скоростях передачи битов. Дополнительные варианты осуществления настоящего изобретения обеспечивают возможность функциональности постобработки, которая содержит модуль бинаурального рендеринга и/или преобразователь форматов. Кроме того, предпочтительно, чтобы полная обработка на стороне декодера уже осуществлялась для определенного высокого числа громкоговорителей, к примеру для 22- или 32-канальной компоновки громкоговорителей. Тем не менее, в таком случае преобразователь форматов, например, определяет то, что требуется только 5.1-вывод, т.е. вывод для схемы размещения для воспроизведения, который имеет меньшее число относительно максимального числа каналов, то предпочтительно, если преобразователь форматов управляет либо USAC-декодером, либо SAOC-декодером, либо обоими устройствами таким образом, чтобы ограничивать операцию базового декодирования и операцию SAOC-декодирования, так что каналы, которые, в конечном счете все-таки микшируются с понижением в преобразование формата, не формируются при декодировании. Как правило, формирование микшированных с повышением каналов требует обработки декорреляции, и каждая обработка декорреляции вводит некоторый уровень артефактов. Следовательно, посредством управления базовым декодером и/или SAOC-декодером посредством конечного требуемого выходного формата, значительно сокращается объем дополнительной обработки декорреляции по сравнению с ситуацией, когда это взаимодействие не существует, что не только приводит к повышенному качеству звука, но также и приводит к меньшей сложности декодера и, в конечном счете, к пониженному потреблению мощности, что является особенно полезным для мобильных устройств, содержащих изобретаемый кодер или изобретаемый декодер. Тем не менее, изобретаемые кодеры/декодеры могут не только вводиться в мобильных устройствах, таких как мобильные телефоны, смартфоны, ноутбуки или навигационные устройства, но также могут использоваться в простых настольных компьютерах либо в любых других немобильных устройствах.

Вышеуказанная реализация, т.е. неформирование некоторых каналов, может быть неоптимальной, поскольку некоторая информация может быть потеряна (к примеру, разность уровней между каналами, которые микшированы с понижением). Эта информация разности уровней может не быть критически важной, но может приводить к различному выходному сигналу понижающего микширования, если понижающее микширование применяет различные усиления понижающего микширования к микшированным с повышением каналам. Усовершенствованное решение только отключает декорреляцию в повышающем микшировании, но по-прежнему формирует все каналы повышающего микширования с корректными разностями уровней (передаваемыми в служебных сигналах посредством параметрического SAC). Второе решение приводит к лучшему качеству звука, но первое решение приводит к большему снижению сложности.

Далее поясняются предпочтительные варианты осуществления относительно прилагаемых чертежей, на которых:

Фиг. 1 иллюстрирует первый вариант осуществления кодера;

Фиг. 2 иллюстрирует первый вариант осуществления декодера;

Фиг. 3 иллюстрирует второй вариант осуществления кодера;

Фиг. 4 иллюстрирует второй вариант осуществления декодера;

Фиг. 5 иллюстрирует третий вариант осуществления кодера;

Фиг. 6 иллюстрирует третий вариант осуществления декодера;

Фиг. 7 иллюстрирует карту, указывающую отдельные режимы, в которых могут работать кодеры/декодеры в соответствии с вариантами осуществления настоящего изобретения;

Фиг. 8 иллюстрирует конкретную реализацию преобразователя форматов;

Фиг. 9 иллюстрирует конкретную реализацию бинаурального преобразователя;

Фиг. 10 иллюстрирует конкретную реализацию базового декодера; и

Фиг. 11 иллюстрирует конкретную реализацию кодера для обработки четырехканального элемента (QCE) и соответствующего QCE-декодера.

Фиг. 1 иллюстрирует кодер в соответствии с вариантом осуществления настоящего изобретения. Кодер выполнен с возможностью кодирования входных аудиоданных 101, чтобы получать выходные аудиоданные 501. Кодер содержит входной интерфейс для приема множества аудиоканалов, указываемых посредством CH, и множества аудиообъектов, указываемых посредством OBJ. Кроме того, как проиллюстрировано на фиг. 1, входной интерфейс 100 дополнительно принимает метаданные, связанные с одним или более из множества аудиообъектов OBJ. Кроме того, кодер содержит микшер 200 для сведения множества объектов и множества каналов таким образом, чтобы получать множество предварительно сведенных каналов, при этом каждый предварительно сведенный канал содержит аудиоданные канала и аудиоданные по меньшей мере одного объекта.

Кроме того, кодер содержит базовый кодер 300 для базового кодирования входных данных базового кодера, модуль 400 сжатия метаданных для сжатия метаданных, связанных с одним или более из множества аудиообъектов. Кроме того, кодер может содержать контроллер 600 режима для управления микшером, базовым кодером и/или выходным интерфейсом 500 в одном из нескольких рабочих режимов, при этом в первом режиме базовый кодер выполнен с возможностью кодировать множество аудиоканалов и множество аудиообъектов, принимаемых посредством входного интерфейса 100, без взаимодействия посредством микшера, т.е. без сведения посредством микшера 200. Тем не менее, во втором режиме, в котором микшер 200 является активным, базовый кодер кодирует множество сведенных каналов, т.е. вывод, сформированный посредством блока 200. В этом втором случае, предпочтительно более не кодировать данные объектов. Вместо этого, метаданные, указывающие позиции аудиообъектов, уже использованы посредством микшера 200 для того, чтобы подготавливать посредством рендеринга объекты для каналов, как указано посредством метаданных. Другими словами, микшер 200 использует метаданные, связанные с множеством аудиообъектов, для того чтобы предварительно подготавливать посредством рендеринга аудиообъекты, и затем предварительно подготовленные посредством рендеринга аудиообъекты сводятся с каналами для того, чтобы получать сведенные каналы в выводе микшера. В этом варианте осуществления, любые объекты не обязательно могут передаваться, и это также применимо для сжатых метаданных в качестве вывода посредством блока 400. Тем не менее, если сводятся не все объекты, вводимые в интерфейс 100, а сводится только определенное количество объектов, то несмотря на это, только оставшиеся несведенные объекты и ассоциированные метаданные передаются в базовый кодер 300 или модуль 400 сжатия метаданных, соответственно.

Фиг. 3 иллюстрирует дополнительный вариант осуществления кодера, который, дополнительно, содержит SAOC-кодер 800. SAOC-кодер 800 выполнен с возможностью формирования одного или более транспортных каналов и параметрических данных из входных данных кодера пространственных аудиообъектов. Как проиллюстрировано на фиг. 3, входные данные кодера пространственных аудиообъектов представляют собой объекты, которые не обработаны посредством модуля предварительного рендеринга/микшера. Альтернативно, при условии, что модуль предварительного рендеринга/микшер обходится, аналогично режиму один, в котором отдельное кодирование каналов/объектов является активным, все объекты, вводимые во входной интерфейс 100, кодируются посредством SAOC-кодера 800.

Кроме того, как проиллюстрировано на фиг. 3, базовый кодер 300 предпочтительно реализован в качестве USAC-кодера, т.е. в качестве кодера, заданного и стандартизированного в MPEG USAC-стандарте (USAC – стандартизированное кодирование речи и аудио). Вывод всего кодера, проиллюстрированный на фиг. 3, представляет собой MPEG4-поток данных, имеющий структуры в форме контейнера для отдельных типов данных. Кроме того, метаданные указываются в качестве OAM-данных, и модуль 400 сжатия метаданных на фиг. 1 соответствует OAM-кодеру 400 для того, чтобы получать сжатые OAM-данные, которые вводятся в USAC-кодер 300 который, как можно видеть на фиг. 3, дополнительно содержит выходной интерфейс, чтобы получать выходной MP4-поток данных, имеющий не только кодированные данные каналов/объектов, но также и имеющий сжатые OAM-данные.

Фиг. 5 иллюстрирует дополнительный вариант осуществления кодера, в котором, в отличие от фиг. 3, SAOC-кодер может быть выполнен с возможностью либо кодировать, с помощью алгоритма SAOC-кодирования, каналы, предоставленные в модуле 200 предварительного рендеринга/микшере, не активные в этом режиме, либо, альтернативно, SAOC-кодировать предварительно подготовленные посредством рендеринга каналы плюс объекты. Таким образом, на фиг. 5, SAOC-кодер 800 может управлять тремя различными видами входных данных, т.е. каналами без предварительно подготовленных посредством рендеринга объектов, каналами и предварительно подготовленными посредством рендеринга объектами либо только объектами. Кроме того, предпочтительно предоставлять дополнительный OAM-декодер 420 на фиг. 5, так что SAOC-кодер 800 использует, для своей обработки, данные, идентичные данным на стороне декодера, т.е. данные, полученные посредством сжатия с потерями, а не исходные OAM-данные.

Кодер по фиг. 5 может работать в нескольких отдельных режимах.

В дополнение к первому и второму режимам, как пояснено в контексте фиг. 1, кодер по фиг. 5 дополнительно может работать в третьем режиме, в котором базовый кодер формирует один или более транспортных каналов из отдельных объектов, когда модуль 200 предварительного рендеринга/микшер не является активным. Альтернативно или дополнительно, в этом третьем режиме, SAOC-кодер 800 может формировать один или более альтернативных или дополнительных транспортных каналов из исходных каналов, т.е. так же тогда, когда модуль 200 предварительного рендеринга/микшер, соответствующий микшеру 200 по фиг. 1, не является активным.

В завершение, SAOC-кодер 800 может кодировать, когда кодер сконфигурирован в четвертом режиме, каналы плюс предварительно подготовленные посредством рендеринга объекты, сформированные посредством модуля предварительного рендеринга/микшера. Таким образом, в четвертом режиме, варианты применения с наименьшей скоростью передачи битов должны предоставлять хорошее качество вследствие того факта, что каналы и объекты полностью преобразованы в отдельные транспортные SAOC-каналы и ассоциированную вспомогательную информацию, как указано на фиг. 3 и 5 в качестве "SAOC-SI", и дополнительно, сжатые метаданные не должны обязательно передаваться в этом четвертом режиме.

Фиг. 2 иллюстрирует декодер в соответствии с вариантом осуществления настоящего изобретения. Декодер принимает, в качестве ввода, кодированные аудиоданные, т.е. данные 501 по фиг. 1.

Декодер содержит модуль 1400 распаковки метаданных, базовый декодер 1300, процессор 1200 объектов, контроллер 1600 режима и постпроцессор 1700.

В частности, аудиодекодер выполнен с возможностью декодирования кодированных аудиоданных, и входной интерфейс выполнен с возможностью приема кодированных аудиоданных, причем кодированные аудиоданные содержат множество кодированных каналов и множество кодированных объектов, а также сжатые метаданные, связанные с множеством объектов в определенном режиме.

Кроме того, базовый декодер 1300 выполнен с возможностью декодирования множества кодированных каналов и множества кодированных объектов, и дополнительно, модуль распаковки метаданных выполнен с возможностью распаковки сжатых метаданных.

Кроме того, процессор 1200 объектов выполнен с возможностью обработки множества декодированных объектов, сформированных посредством базового декодера 1300 с использованием распакованных метаданных, чтобы получать предварительно определенное число выходных каналов, содержащих данные объектов и декодированные каналы. Эти выходные каналы, как указано на 1205, затем вводятся в постпроцессор 1700. Постпроцессор 1700 выполнен с возможностью преобразования определенного числа выходных каналов 1205 в определенный выходной формат, который может представлять собой бинауральный выходной формат или выходной формат громкоговорителей, такой как выходной 5.1-, 7.1- и т.д. формат.

Предпочтительно, декодер содержит контроллер 1600 режима, который выполнен с возможностью анализа кодированных данных, чтобы обнаруживать индикатор режима. Следовательно, контроллер 1600 режима соединяется с входным интерфейсом 1100 на фиг. 2. Тем не менее, альтернативно, контроллер режима необязательно должен предоставляться здесь. Вместо этого, гибкий декодер может быть предварительно установлен посредством любого другого вида управляющих данных, таких как пользовательский ввод или любое другое управление. Аудиодекодер на фиг. 2, предпочтительно управляемый посредством контроллера 1600 режима, выполнен с возможностью обходить процессор объектов и подавать множество декодированных каналов в постпроцессор 1700. Это представляет собой работу в режиме 2, т.е. в котором принимаются только предварительно подготовленные посредством рендеринга каналы, т.е. когда режим 2 применяется в кодере по фиг. 1. Альтернативно, когда режим 1 применяется в кодере, т.е. когда кодер выполняет отдельное кодирование каналов/объектов, в таком случае процессор 1200 объектов не обходится, но множество декодированных каналов и множество декодированных объектов подаются в процессор 1200 объектов вместе с распакованными метаданными, сформированными посредством модуля 1400 распаковки метаданных.

Предпочтительно, индикатор того, должен применяться режим 1 или режим 2, включен в кодированные аудиоданные, и затем контроллер 1600 режима анализирует кодированные данные, чтобы обнаруживать индикатор режима. Режим 1 используется, когда индикатор режима указывает то, что кодированные аудиоданные содержат кодированные каналы и кодированные объекты, и режим 2 применяется, когда индикатор режима указывает то, что кодированные аудиоданные не содержат аудиообъекты, т.е. содержат только предварительно подготовленные посредством рендеринга каналы, полученные посредством режима 2 кодера по фиг. 1.

Фиг. 4 иллюстрирует предпочтительный вариант осуществления по сравнению с декодером по фиг. 2, и вариант осуществления по фиг. 4 соответствует кодеру по фиг. 3. В дополнение к реализации декодера по фиг. 2, декодер на фиг. 4 содержит SAOC-декодер 1800. Кроме того, процессор 1200 объектов по фиг. 2 реализуется как отдельный модуль 1210 рендеринга объектов и микшер 1220, в то время как, в зависимости от режима, функциональность модуля 1210 рендеринга объектов также может реализовываться посредством SAOC-декодера 1800.

Кроме того, постпроцессор 1700 может реализовываться как модуль 1710 бинаурального рендеринга или преобразователь 1720 форматов. Альтернативно, прямой вывод данных 1205 по фиг. 2 также может реализовываться так, как проиллюстрировано посредством 1730. Следовательно, предпочтительно выполнять обработку в декодере для наибольшего числа каналов, к примеру, 22.2 или 32, с тем чтобы получать гибкость, а затем постобрабатывать, если требуется меньший формат. Тем не менее, когда становится очевидным с самого начала, что требуется только небольшой формат, такой как 5.1-формат, то предпочтительно, как указано посредством фиг. 2 или 6 посредством срезки 1727, когда определенное управление SAOC-декодером и/или USAC-декодером может применяться во избежание необязательных операций повышающего микширования и последующих операций понижающего микширования.

В предпочтительном варианте осуществления настоящего изобретения, процессор 1200 объектов содержит SAOC-декодер 1800, и SAOC-декодер выполнен с возможностью декодирования одного или более транспортных каналов, выводимых посредством базового декодера, и ассоциированных параметрических данных и с использованием распакованных метаданных, чтобы получать множество подготовленных посредством рендеринга аудиообъектов. С этой целью, OAM-вывод соединяется с блоком 1800.

Кроме того, процессор 1200 объектов выполнен с возможностью подготавливать посредством рендеринга декодированные объекты, выводимые посредством базового декодера, которые не кодируются в транспортных SAOC-каналах, а которые по отдельности кодируются, как правило, в одноканальных элементах, как указано посредством модуля 1210 рендеринга объектов. Кроме того, декодер содержит выходной интерфейс, соответствующий выходу 1730, для вывода содержимого вывода микшера в громкоговорители.

В дополнительном варианте осуществления, процессор 1200 объектов содержит декодер 1800 по стандарту пространственного кодирования аудиообъектов для декодирования одного или более транспортных каналов и ассоциированной параметрической вспомогательной информации, представляющей кодированные аудиообъекты или кодированные аудиоканалы, при этом декодер по стандарту пространственного кодирования аудиообъектов выполнен с возможностью транскодировать ассоциированную параметрическую информацию и распакованные метаданные в транскодированную параметрическую вспомогательную информацию, применимую для непосредственного рендеринга выходного формата, например, как задано в более ранней версии SAOC. Постпроцессор 1700 выполнен с возможностью вычисления аудиоканалов выходного формата с использованием декодированных транспортных каналов и транскодированной параметрической вспомогательной информации. Обработка, выполняемая посредством постпроцессора, может быть аналогичной обработке на основе стандарта объемного звучания MPEG или может представлять собой любую другую обработку, к примеру, BCC-обработку и т.п.

В дополнительном варианте осуществления, процессор 1200 объектов содержит декодер 1800 по стандарту пространственного кодирования аудиообъектов, выполненный с возможностью непосредственно микшировать с повышением и подготавливать посредством рендеринга сигналы каналов для выходного формата с использованием декодированных (посредством базового декодера) транспортных каналов и параметрической вспомогательной информации.

Кроме того, важно то, что процессор 1200 объектов по фиг. 2 дополнительно содержит микшер 1220, который принимает, в качестве ввода, непосредственно данные, выводимые посредством USAC-декодера 1300, когда существуют предварительно подготовленные посредством рендеринга объекты, сведенные с каналами, т.е. когда микшер 200 по фиг. 1 является активным. Дополнительно, микшер 1220 принимает данные из модуля рендеринга объектов, выполняющего рендеринг объектов без SAOC-декодирования. Кроме того, микшер принимает выходные данные SAOC-декодера, т.е. подготовленные посредством SAOC-рендеринга объекты.

Микшер 1220 соединяется с выходным интерфейсом 1730, модулем 1710 бинаурального рендеринга и преобразователем 1720 форматов. Модуль 1710 бинаурального рендеринга выполнен с возможностью рендеринга выходных каналов в два бинауральных канала с использованием передаточных функций восприятия звука человеком или бинауральных импульсных характеристик в помещении (BRIR). Преобразователь 1720 форматов выполнен с возможностью преобразования выходных каналов в выходной формат, имеющий меньшее число каналов относительно выходных каналов 1205 микшера, и преобразователь 1720 форматов запрашивает информацию по схеме размещения для воспроизведения, такую как 5.1-динамики и т.п.

Декодер по фиг. 6 отличается от декодера фиг. 4 тем, что SAOC-декодер может не только формировать подготовленные посредством рендеринга объекты, но также и подготовленные посредством рендеринга каналы, и это имеет место, когда использован кодер по фиг. 5, и соединение 900 между каналами/предварительно подготовленными посредством рендеринга объектами и входным интерфейсом SAOC-кодера 800 является активным.

Кроме того, сконфигурирован каскад 1810 векторного амплитудного панорамирования (VBAP), который принимает, из SAOC-декодера, информацию относительно схемы размещения для воспроизведения и который выводит матрицу рендеринга в SAOC-декодер таким образом, что SAOC-декодер может, в конечном счете, предоставлять подготовленные посредством рендеринга каналы без дальнейшей работы микшера в формате с большим числом каналов 1205, т.е. с 32 громкоговорителями.

VBAP-блок предпочтительно принимает декодированные OAM-данные, чтобы извлекать матрицы рендеринга. Обобщая, он предпочтительно запрашивает геометрическую информацию не только схемы размещения для воспроизведения, но также и позиций, в которых входные сигналы должны подготавливаться посредством рендеринга в схеме размещения для воспроизведения. Это геометрические входные данные могут быть OAM-данными для объектов или информацией позиций каналов для каналов, которые переданы с использованием SAOC.

Тем не менее, если требуется только конкретный выходной интерфейс, то VBAP-состояние 1810 уже может предоставлять требуемую матрицу рендеринга, например, для 5.1-вывода. SAOC-декодер 1800 затем выполняет прямой рендеринг из транспортных SAOC-каналов, ассоциированных параметрических данных и распакованных метаданных, прямой рендеринг в требуемый выходной формат без взаимодействия микшера 1220. Тем не менее, когда применяется определенное сведение между режимами, т.е. если SAOC-кодируются несколько каналов, а не все каналы SAOC-кодируются, либо если SAOC-кодируются несколько объектов, а не все объекты SAOC-кодируются, либо когда SAOC-декодируется только определенное количество предварительно подготовленных посредством рендеринга объектов с каналами, и оставшиеся каналы не SAOC-обрабатываются, то микшер объединяет данные из отдельных входных частей, т.е. непосредственно из базового декодера 1300, из модуля 1210 рендеринга объектов и из SAOC-декодера 1800.

Далее поясняется фиг. 7 для указания определенных режимов кодера/декодера, которые могут применяться посредством изобретаемого принципа сверхгибкого высококачественного аудиокодера/декодера.

В соответствии с первым режимом кодирования, микшер 200 в кодере по фиг. 1 обходится, и в силу этого процессор объектов в декодере по фиг. 2 не обходится.

Во втором режиме, микшер 200 на фиг. 1 является активным, и процессор объектов на фиг. 2 обходится.

Затем в третьем режиме кодирования, SAOC-кодер по фиг. 3 является активным, но только SAOC-кодирует объекты, а не каналы либо каналы, выводимые посредством микшера. Следовательно, режим 3 требует того, чтобы, на стороне декодера, проиллюстрированной на фиг. 4, SAOC-декодер был активным только для объектов и формировал подготовленные посредством рендеринга объекты.

В четвертом режиме кодирования, как проиллюстрировано на фиг. 5, SAOC-кодер выполнен с возможностью SAOC-кодирования предварительно подготовленных посредством рендеринга каналов, т.е. микшер является активным, аналогично второму режиму. На стороне декодера, SAOC-декодирование выполняется для предварительно подготовленных посредством рендеринга объектов таким образом, что процессор объектов обходится, аналогично второму режиму кодирования.

Кроме того, существует пятый режим кодирования, который может представлять собой любое сведение режимов 1-4. В частности, режим кодирования со сведением существует, когда микшер 1220 на фиг. 6 принимает каналы непосредственно из USAC-декодера и, дополнительно, принимает каналы с предварительно подготовленными посредством рендеринга объектами из USAC-декодера. Кроме того, в этом режиме сведенного кодирования, объекты кодируются непосредственно, предпочтительно, с использованием одноканального элемента USAC-декодера. В этом контексте, модуль 1210 рендеринга объектов затем должен подготавливать посредством рендеринга эти декодированные объекты и перенаправлять их в микшер 1220. Кроме того, несколько объектов дополнительно кодируются посредством SAOC-кодера таким образом, что SAOC-декодер должен выводить подготовленные посредством рендеринга объекты в микшер и/или подготовленные посредством рендеринга каналы, когда существуют несколько каналов, кодированных посредством SAOC-технологии.

Каждая входная часть микшера 1220 в таком случае в качестве примера может иметь по меньшей мере потенциал для приема определенного числа каналов, к примеру 32, как указано на 1205. Таким образом, по существу, микшер может принимать 32 канала из USAC-декодера и, дополнительно, 32 предварительно подготовленных посредством рендеринга/сведенных канала из USAC-декодера, и дополнительно, 32 "канала" из модуля рендеринга объектов, и дополнительно, 32 "канала" из SAOC-декодера, причем каждый "канал" между блоками 1210 и 1218, с одной стороны, и блоком 1220, с другой стороны, имеет долю соответствующих объектов в соответствующем канале громкоговорителя, и после этого микшер 1220 сводит, т.е. суммирует отдельные доли для каждого канала громкоговорителя.

В предпочтительном варианте осуществления настоящего изобретения, система кодирования/декодирования основана на MPEG-D USAC-кодеке для кодирования сигналов каналов и объектов. Чтобы повышать эффективность для кодирования большого количества объектов, адаптирована MPEG SAOC-технология. Три типа модулей рендеринга выполняют задачу рендеринга объектов в каналы, рендеринга каналов в наушники или рендеринга каналов в различную компоновку громкоговорителей. Когда сигналы объектов явно передаются или параметрически кодируются с использованием SAOC, соответствующая информация метаданных объектов сжимается и мультиплексируется в кодированные выходные данные.

В варианте осуществления, модуль 200 предварительного рендеринга/микшер используется для того, чтобы преобразовывать сцену ввода каналов плюс объектов в сцену каналов перед кодированием. Функционально, он является идентичным комбинации модуля рендеринга объектов/микшера на стороне декодера, как проиллюстрировано на фиг. 4 или фиг. 6 и как указано посредством процессора 1200 объектов по фиг. 2. Предварительный рендеринг объектов обеспечивает детерминированную энтропию сигналов на входе кодера, которая является по существу независимой от числа одновременно активных сигналов объектов. При предварительном рендеринге объектов, не требуется передача метаданных объектов. Сигналы дискретных объектов подготовлены посредством рендеринга в схему размещения каналов, которую кодер выполнен с возможностью использовать. Весовые коэффициенты объектов для каждого канала получаются из ассоциированных метаданных объектов (OAM), как указано посредством стрелки 402.

В качестве базового кодера/декодера для сигналов каналов громкоговорителя, сигналов дискретных объектов, сигналов понижающего микширования объектов и предварительно подготовленных посредством рендеринга сигналов, предпочитается USAC-технология. Он обрабатывает кодирование множества сигналов посредством создания информации преобразования каналов и объектов (геометрической и семантической информации назначения входных каналов и объектов). Эта информация преобразования описывает то, как входные каналы и объекты преобразуются в канальные USAC-элементы, как проиллюстрировано на фиг. 10, т.е. в элементы канальных пар (CPE), одноканальные элементы (SCE), элементы канальных четверок (QCE), и соответствующая информация передается в базовый декодер из базового кодера. Все дополнительные рабочие данные, такие как SAOC-данные или метаданные объектов, проходят через расширенные элементы и учитываются при управлении скоростью кодера.

Кодирование объектов является возможным различными способами, в зависимости от требований по искажению в зависимости от скорости передачи и требований по интерактивности для модуля рендеринга. Следующие варианты кодирования объектов являются возможными.

Предварительно подготовленные посредством рендеринга объекты: Сигналы объектов предварительно подготавливаются посредством рендеринга и сводятся в 22.2-канальные сигналы перед кодированием. Последующая цепочка кодирования видит 22.2-канальные сигналы.

Формы сигналов дискретных объектов: Объекты предоставляются в качестве монофонических форм сигнала в кодер. Кодер использует одноканальные элементы (SCE) для того, чтобы передавать объекты в дополнение к сигналам каналов. Декодированные объекты подготавливаются посредством рендеринга и сводятся на стороне приемного устройства. Информация сжатых метаданных объектов передается в приемное устройство/модуль рендеринга совместно.

Формы сигналов параметрических объектов: Свойства объектов и их взаимосвязь между собой описываются посредством SAOC-параметров. Понижающее микширование сигналов объектов кодируется с помощью USAC. Параметрическая информация передается совместно. Число каналов понижающего микширования выбирается в зависимости от числа объектов и полной скорости передачи данных. Информация сжатых метаданных объектов передается в модуль SAOC-рендеринга.

SAOC-кодер и декодер для сигналов объектов основаны на MPEG SAOC-технологии. Система допускает повторное создание, модификацию и рендеринг определенного числа аудиообъектов на основе меньшего числа передаваемых каналов и дополнительных параметрических данных (OLD, IOC (межобъектная когерентность), DMG (усиления при понижающем микшировании)). Дополнительные параметрические данные демонстрируют значительно более низкую скорость передачи данных, чем требуется для передачи всех объектов по отдельности, что делает кодирование очень эффективным.

SAOC-кодер принимает в качестве ввода сигналы объектов/каналов в качестве монофонических форм сигнала и выводит параметрическую информацию (которая пакетирована в трехмерный поток аудиобитов) и транспортные SAOC-каналы (которые кодируются с использованием одноканальных элементов и передаются).

SAOC-декодер восстанавливает сигналы объектов/каналов из декодированных транспортных SAOC-каналов и параметрической информации и формирует выходную аудиосцену на основе схемы размещения для воспроизведения, информации распакованных метаданных объектов и необязательно на основе информации пользовательского взаимодействия.

Для каждого объекта, ассоциированные метаданные, которые указывают геометрическую позицию и объем объекта в трехмерном пространстве, эффективно кодируются посредством квантования свойств объектов во времени и пространстве. Сжатые метаданные объектов (cOAM) передаются в приемное устройство в качестве вспомогательной информации. Объем объекта может содержать информацию относительно пространственного охвата и/или информацию уровня сигнала для аудиосигнала этого аудиообъекта.

Модуль рендеринга объектов использует сжатые метаданные объектов для того, чтобы формировать формы сигналов объектов согласно данному формату воспроизведения. Каждый объект подготавливается посредством рендеринга в определенные выходные каналы согласно своим метаданным. Вывод этого блока получается в результате суммы частичных результатов.

Если декодируются как канальный контент, так и дискретные/параметрические объекты, канальные формы сигналов и подготовленные посредством рендеринга формы сигналов объектов сводятся перед выводом результирующих форм сигналов (или перед их подачей в модуль постпроцессора, такой как модуль бинаурального рендеринга или модуль рендеринга громкоговорителей).

Модуль бинаурального рендеринга формирует бинауральное понижающее микширование многоканального аудиоматериала таким образом, что каждый входной канал представлен посредством виртуального источника звука. Обработка осуществляется покадрово в области QMF (гребенки квадратурных зеркальных фильтров).

Бинаурализация основана на измеренных бинауральных импульсных характеристиках в помещении.

Фиг. 8 иллюстрирует предпочтительный вариант осуществления преобразователя 1720 форматов. Модуль рендеринга громкоговорителей или преобразователь форматов выполняет преобразование между конфигурацией каналов передающего устройства и требуемым форматом воспроизведения. Этот преобразователь форматов выполняет преобразования в меньшее число выходных каналов, т.е. он создает понижающие микширования. С этой целью, понижающий микшер 1722, который предпочтительно работает в QMF-области, принимает выходные сигналы 1205 микшера и выводит сигналы громкоговорителей. Предпочтительно, предоставляется контроллер 1724 для конфигурирования понижающего микшера 1722, который принимает, в качестве управляющего входа, схему размещения выходов микшера, т.е. схему размещения, для которой определяются данные 1205, и требуемая схема размещения для воспроизведения, как правило, вводится в блок 1720 преобразования формата, проиллюстрированный на фиг. 6. На основе этой информации, контроллер 1724 предпочтительно автоматически формирует оптимизированные матрицы понижающего микширования для данной комбинации входных и выходных форматов и применяет эти матрицы в блоке 1722 понижающего микшера в процессе понижающего микширования. Преобразователь форматов обеспечивает возможность стандартных конфигураций громкоговорителей, а также случайных конфигураций с нестандартными позициями громкоговорителей.

Как проиллюстрировано в контексте фиг. 6, SAOC-декодер спроектирован с возможностью подготавливать посредством рендеринга в предварительно заданную схему размещения каналов, такую как 22.2, с последующим преобразованием формата в целевую схему размещения для воспроизведения. Тем не менее, альтернативно, SAOC-декодер реализуется с возможностью поддерживать режим "с низким уровнем мощности", в котором SAOC-декодер выполнен с возможностью декодировать в схему размещения для воспроизведения непосредственно без последующего преобразования формата. В этой реализации, SAOC-декодер 1800 непосредственно выводит сигнал громкоговорителя, к примеру, сигналы 5.1-громкоговорителей, и SAOC-декодер 1800 требует информации схемы размещения для воспроизведения и матрицы рендеринга, так что может работать векторное амплитудное панорамирование или любой другой вид процессора для формирования информации понижающего микширования.

Фиг. 9 иллюстрирует дополнительный вариант осуществления модуля 1710 бинаурального рендеринга по фиг. 6. В частности, для мобильных устройств бинауральный рендеринг требуется для наушников, присоединенных к таким мобильным устройствам, или для громкоговорителей, непосредственно присоединенных к типично небольшим мобильным устройствам. Для таких мобильных устройств могут существовать ограничения, с тем чтобы ограничивать сложность декодера и рендеринга. В дополнение к опусканию декорреляции в таких сценариях обработки, предпочтительно сначала микшировать с понижением числа каналов с использованием понижающего микшера 1712 в промежуточное понижающее микширование, т.е. в меньшее число выходных каналов, что затем приводит к меньшему числу входных каналов для бинаурального преобразователя 1714. В качестве примера, 22.2-канальный материал микширован с понижением посредством понижающего микшера 1712 в промежуточное 5.1-понижающее микширование, либо альтернативно, промежуточное понижающее микширование непосредственно вычисляется посредством SAOC-декодера 1800 по фиг. 6 в виде режима срезки. Затем бинауральный рендеринг должен применять только десять HRTF (передаточных функций восприятия звука человеком) или BRIR-функций для рендеринга пяти отдельных каналов в различных позициях вместо применения 44 HRTF для BRIR-функций, если входные 22.2-каналы уже непосредственно подготовлены посредством рендеринга. В частности, операции свертки, необходимые для бинаурального рендеринга, требуют большого объема вычислительной мощности, и в силу этого уменьшение данной вычислительной мощности при одновременном получении приемлемого качества звука является особенно полезным для мобильных устройств.

Предпочтительно, "срезка", как проиллюстрировано посредством управляющей линии 1727, содержит управление декодером 1300 таким образом, чтобы декодировать в меньшее число каналов, т.е. пропуск полного блока OTT-обработки в декодере или преобразование формата в меньшее число каналов, как проиллюстрировано на фиг. 9, бинауральный рендеринг выполняется для меньшего числа каналов. Идентичная обработка может применяться не только для бинауральной обработки, но также и для преобразования формата, как проиллюстрировано посредством линии 1727 на фиг. 6.

В дополнительном варианте осуществления, требуется эффективное взаимодействие через интерфейс между блоками обработки. В частности, на фиг. 6, проиллюстрирован тракт передачи аудиосигналов между различными блоками обработки. Модуль 1710 бинаурального рендеринга, преобразователь 1720 форматов, SAOC-декодер 1800 и USAC-декодер 1300, в случае если применяется SBR (репликация полос спектра), работают в QMF- или гибридной QMF-области. В соответствии с вариантом осуществления, все эти блоки обработки предоставляют QMF- или гибридный QMF-интерфейс для того, чтобы обеспечивать возможность эффективной передачи аудиосигналов между собой в QMF-области. Дополнительно, предпочтительно также реализовывать модуль микшера и модуль рендеринга объектов таким образом, что они работают в QMF- или гибридной QMF-области. Как следствие, могут исключаться отдельные каскады QMF- или гибридного QMF-анализа и синтеза, что приводит к значительному снижению сложности, и в таком случае требуется только конечный каскад QMF-синтеза для формирования громкоговорителей, указываемых на 1730, либо для формирования бинауральных данных в выводе блока 1710, либо для формирования сигналов динамиков в схеме размещения для воспроизведения в выводе блока 1720.

Далее следует обратиться к фиг. 11 для того, чтобы пояснять четырехканальные элементы (QCE). В отличие от элемента канальной пары, как задано в USAC-MPEG-стандарте, четырехканальный элемент требует четырех входных каналов 90 и выводит кодированный QCE-элемент 91. В одном варианте осуществления, предоставляется иерархия из двух блоков по стандарту объемного звучания MPEG в режиме 2-1-2 или двух TTO-блоков (TTO – "два-к-одному") и дополнительных инструментальных средств объединенного стереокодирования (например, MS-стерео), как задано в стандарте MPEG USAC или объемного звучания MPEG, и QCE-элемент содержит не только два объединенно стереокодированных канала понижающего микширования и необязательно два объединенно стереокодированных остаточных канала, но и дополнительно, параметрические данные, извлекаемые, например, из двух TTO-блоков. На стороне декодера, применяется структура, в которой применяется объединенное стереодекодирование двух каналов понижающего микширования и необязательно двух остаточных каналов, и во втором каскаде с двумя OTT-блоками каналы понижающего микширования и необязательные остаточные каналы микшируются с повышением в четыре выходных канала. Тем не менее, альтернативные операции обработки для одного QCE-кодера могут применяться вместо иерархической операции. Таким образом, в дополнение к объединенному канальному кодированию группы из двух каналов, базовый кодер/декодер дополнительно использует объединенное канальное кодирование группы из четырех каналов.

Кроме того, предпочтительно выполнять усовершенствованную процедуру заполнения шумом, чтобы обеспечивать нескомпрометированное полнополосное (18 кГц) кодирование при 1200 Кбит/с.

Кодер работает в режиме "постоянной скорости с битовым резервированием" с использованием максимум 6144 битов в расчете на один канал в качестве буфера скорости для динамических данных.

Все дополнительные рабочие данные, такие как SAOC-данные или метаданные объектов, проходят через расширенные элементы и учитываются при управлении скоростью кодера.

Чтобы использовать преимущество SAOC-функциональностей также для трехмерного аудиоконтента, реализованы следующие расширения в MPEG SAOC:

- Понижающее микширование в произвольное число транспортных SAOC-каналов.

- Усовершенствованный рендеринг для выходных конфигураций с высоким числом громкоговорителей (до 22.2).

Модуль бинаурального рендеринга формирует бинауральное понижающее микширование многоканального аудиоматериала, таким образом, что каждый входной канал (исключая LFE-каналы) представлен посредством виртуального источника звука. Обработка осуществляется покадрово в QMF-области.

Бинаурализация основана на измеренных бинауральных импульсных характеристиках в помещении. Прямой звук и ранние отражения отпечатаны в аудиоматериал через сверточный подход в псевдо-FFT-области с использованием быстрой свертки поверх QMF-области.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или признака соответствующего устройства. Некоторые или все этапы способа могут быть выполнены посредством (или с использованием) устройства, такого как, например, микропроцессор, программируемый компьютер либо электронная схема. В некоторых вариантах осуществления, некоторые из одного или более самых важных этапов способа могут выполняться посредством этого устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием постоянного носителя информации, такого как цифровой носитель информации, например гибкий диск, DVD, Blu-Ray, CD, ROM, PROM и EPROM, EEPROM или флэш-память, имеющего сохраненные электронночитаемые управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ. Следовательно, цифровой носитель информации может быть машиночитаемым.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий электронночитаемые управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт работает на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе.

Другими словами, следовательно, вариант осуществления изобретаемого способа представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой носитель информации (цифровой носитель информации или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе. Носитель данных, цифровой носитель информации или носитель с записанными данными типично является материальным и/или постоянным.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществлять один из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, выполненную с возможностью передавать (например, электронно или оптически) компьютерную программу для осуществления одного из способов, описанных в данном документе, в приемное устройство. Приемное устройство, например, может представлять собой компьютер, мобильное устройство, запоминающее устройство и т.п. Устройство или система, например, может содержать файловый сервер для передачи компьютерной программы в приемное устройство.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может быть использовано для того, чтобы выполнять часть или все из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором, чтобы осуществлять один из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого устройства.

Вышеописанные варианты осуществления являются просто иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что модификации и изменения компоновок и подробностей, описанных в данном документе, должны быть очевидными для специалистов в данной области техники. Следовательно, они подразумеваются как ограниченные только посредством объема нижеприведенной формулы изобретения, а не посредством конкретных подробностей, представленных посредством описания и пояснения вариантов осуществления в данном документе.