ПРОЦЕССОР АУДИОСИГНАЛОВ ДЛЯ ОБРАБОТКИ КОДИРОВАННЫХ МНОГОКАНАЛЬНЫХ АУДИОСИГНАЛОВ И СПОСОБ ДЛЯ ЭТОГО

Область техники, к которой относится изобретение

Изобретение относится к процессору аудиосигналов и способу для него, и, в частности, но не только, к одновременному воспроизведению многоканальных сигналов.

Уровень техники

За последние десятилетия резко возросло разнообразие и гибкость предоставляемого аудио. Фактически, введение пространственного аудио, кодирования и декодирования цифрового аудио, миниатюризация аудиоустройств и т.д. приводят к тому, что аудио используется множеством различных способов. Помимо этого, дополнительные перспективы и функциональность приводят к появлению нового восприятия пользователем и сценариев применения.

Например, разработаны аудиоустройства, которые обеспечивают возможность одновременного воспроизведения нескольких исходных сигналов, но с пространственным различением. Такие аудиоустройства могут декодировать множество исходных сигналов, чтобы предоставлять декодированные сигналы, которые затем пространственно обрабатываются таким образом, что слушателю кажется, что они исходят из различных направлений. Примеры таких аудиопроигрывателей можно найти в статье "Spatial Track Transition Effects for Headphone Listening", авторов Harma, A. and S. van de Par; 10th Int. Conf. Digital Audio Effects (DAFx10); 2007 год; Бордо; Франция.

Тем не менее, хотя такая обработка нацелена на обеспечение привлекательного восприятия пользователем, она также зачастую имеет ассоциированные недостатки. В частности, сложность и вычислительная нагрузка обработки зачастую являются довольно высокими, в силу этого требуя относительно мощных платформ обработки. Это повышает затраты и потребление мощности, что является особенно нежелательным для небольших портативных аудиопроигрывателей для потребительского сегмента. В качестве альтернативы, сложность и нагрузка по обработке сокращаются за счет ухудшения качества обработки или ограничения на число сигналов аудиоисточника, которые могут быть обработаны. Тем не менее, это приводит к ухудшенному качеству восприятия пользователем.

Следовательно, предпочтительным должен быть усовершенствованный подход, в частности, предпочтительным должен быть подход, обеспечивающий повышение гибкости, снижение сложности, уменьшение вычислительной нагрузки, упрощенную работу, пониженное потребление мощности, повышенное качество звука, улучшенное восприятие пользователем и/или повышенную производительность.

Сущность изобретения

Следовательно, изобретение предпочтительно нацелено на уменьшение, облегчение или устранение одного или более вышеупомянутых недостатков по отдельности или в любом сочетании.

Согласно аспекту изобретения, предусмотрен процессор аудиосигналов, содержащий: приемник для приема множества кодированных многоканальных аудиосигналов; многоканальный декодер для декодирования первого кодированного многоканального сигнала, чтобы формировать первый декодированный многоканальный сигнал; формирователь для формирования кодированного дополнительного аудиосигнала посредством выбора данных кодирования аудио, по меньшей мере, из второго кодированного многоканального аудиосигнала из множества кодированных многоканальных аудиосигналов таким образом, что число каналов кодированного дополнительного аудиосигнала, содержащего данные кодирования аудио из второго кодированного многоканального аудиосигнала, меньше числа каналов во втором кодированном многоканальном сигнале; дополнительный декодер для формирования декодированного дополнительного аудиосигнала посредством декодирования кодированного дополнительного аудиосигнала; и процессор вывода для комбинирования, по меньшей мере, первого декодированного многоканального сигнала и декодированного дополнительного аудиосигнала, чтобы формировать многоканальный выходной сигнал.

Изобретение может обеспечивать улучшенную обработку множества кодированных многоканальных аудиосигналов. В частности, во многих сценариях могут достигаться меньшая сложность и/или требоваться меньшие вычислительные ресурсы. Выходной сигнал, содержащий аудио из множества многоканальных аудиосигналов, может быть сформирован без необходимости полного многоканального декодирования каждого многоканального сигнала. Использование вычислительных ресурсов может быть существенно сокращено, за счет этого обеспечивая возможность включения большего числа многоканальных сигналов в многоканальный выходной сигнал. Во многих сценариях, могут достигаться улучшенное восприятие пользователем, сокращенные затраты и/или упрощенная реализация.

Процессор аудиосигналов, в некоторых вариантах осуществления, дополнительно может содержать средство для воспроизведения многоканального выходного сигнала, например, с использованием наушников.

Кодированные многоканальные аудиосигналы могут быть кодированными стереосигналами. В некоторых вариантах осуществления, многоканальные сигналы из множества кодированных многоканальных аудиосигналов имеют равное число каналов и, в частности, могут быть кодированными стереосигналами.

Кодированный дополнительный аудиосигнал может быть многоканальным сигналом с меньшим числом каналов, чем второй кодированный многоканальный аудиосигнал. В других вариантах осуществления, кодированный дополнительный аудиосигнал может иметь не меньшее или даже большее число каналов, чем второй кодированный многоканальный аудиосигнал, но только данные кодирования из второго кодированного многоканального аудиосигнала включаются в поднабор этих каналов, при этом поднабор содержит меньшее число каналов, чем второй кодированный многоканальный аудиосигнал.

Формирователь реализует сокращение числа каналов кодированных аудиоданных, представляющих аудиоисточник второго кодированного многоканального аудиосигнала. В частности, формирователь может отбрасывать один или более каналов второго кодированного многоканального аудиосигнала.

Второй кодированный многоканальный сигнал типично отличается от первого кодированного многоканального сигнала.

В соответствии с необязательным признаком изобретения, формирователь выполнен с возможностью формировать первый канал кодированного дополнительного аудиосигнала посредством выбора данных кодирования аудио из одного канала второго кодированного многоканального сигнала.

Это позволяет упрощать реализацию и/или уменьшать сложность и/или уменьшать вычислительные ресурсы. В частности, это позволяет обеспечивать извлечение/выбор аудиоданных с низкой сложностью и не требует обработки данных кодирования. Формирователь может выбирать данные кодирования только из одного канала при формировании кодированного дополнительного аудиосигнала и может игнорировать или отбрасывать все другие каналы второго кодированного многоканального аудиосигнала.

Первый канал может содержать данные кодирования только из одного канала второго кодированного многоканального аудиосигнала.

В соответствии с необязательным признаком изобретения, кодированный дополнительный аудиосигнал является многоканальным сигналом, и формирователь выполнен с возможностью формировать второй канал кодированного дополнительного аудиосигнала посредством выбора данных кодирования аудио из одного канала третьего кодированного многоканального сигнала.

Кодированный дополнительный аудиосигнал может содержать данные кодирования из множества кодированных многоканальных сигналов. Кодированный дополнительный аудиосигнал, в частности, может быть многоканальным сигналом, имеющим число каналов, идентичное числу каналов первого кодированного многоканального сигнала, но при этом поднаборы каналов выбираются из различных кодированных многоканальных сигналов.

Дополнительный декодер может быть многоканальным декодером и может выполнять одно многоканальное декодирование кодированного дополнительного аудиосигнала, содержащего каналы из различных кодированных многоканальных сигналов. Таким образом, одно многоканальное декодирование может одновременно декодировать аудио из множества принимаемых кодированных многоканальных сигналов. Дополнительный декодер может быть идентичным многоканальному декодеру, используемому для декодирования первого кодированного многоканального сигнала.

В соответствии с необязательным признаком изобретения, кодированные аудиоданные одного канала кодированного дополнительного аудиосигнала являются идентичными кодированным аудиоданным одного канала второго кодированного многоканального сигнала.

Это позволяет обеспечивать очень эффективную реализацию, типично с низкой сложностью и/или низким потреблением вычислительных ресурсов. В некоторых вариантах осуществления, один канал кодированного дополнительного аудиосигнала может быть сформирован просто посредством копирования всех данных кодирования аудио из одного канала второго кодированного многоканального сигнала.

В соответствии с необязательным признаком изобретения, один канал второго кодированного многоканального сигнала является, по меньшей мере, одним из следующего: средний канал для среднего стереосигнала; левый канал для правого-левого стереосигнала; и правый канал для правого-левого стереосигнала.

Это позволяет обеспечивать, в частности, преимущественный режим работы, производительность и/или реализацию. В частности, это позволяет обеспечивать реализацию с низкой сложностью и низкой нагрузкой по ресурсам при предоставлении высоко предпочтительного восприятия пользователем.

В соответствии с необязательным признаком изобретения, кодированный дополнительный аудиосигнал является моносигналом.

Это позволяет обеспечивать, в частности, преимущественный режим работы, производительность и/или реализацию. В частности, это позволяет обеспечивать реализацию с низкой сложностью и низкой нагрузкой по ресурсам при предоставлении высоко предпочтительного восприятия пользователем.

В соответствии с необязательным признаком изобретения, кодированный дополнительный аудиосигнал является многоканальным сигналом, имеющим различные каналы, содержащие данные кодирования аудио из различных кодированных многоканальных аудиосигналов из множества кодированных многоканальных аудиосигналов.

Это позволяет обеспечивать, в частности, преимущественный режим работы, производительность и/или реализацию. В частности, это позволяет обеспечивать реализацию с низкой сложностью и низкой нагрузкой по ресурсам при предоставлении высоко предпочтительного восприятия пользователем. Подход во многих сценариях может обеспечивать очень эффективную работу посредством использования многоканального декодера для одновременного декодирования аудио, соответствующего множеству различных источников звука.

В соответствии с необязательным признаком изобретения, каждый канал кодированного дополнительного аудиосигнала соответствует одному каналу одного из различных кодированных многоканальных аудиосигналов.

Это позволяет обеспечивать очень эффективную реализацию.

В соответствии с необязательным признаком изобретения, формирователь выполнен с возможностью выбирать данные кодирования аудио для одного канала кодированного дополнительного аудиосигнала из множества кодированных многоканальных аудиосигналов.

Это позволяет обеспечивать эффективную реализацию и, в частности, может во многих сценариях существенно уменьшать требуемую вычислительную нагрузку при декодировании. Один канал кодированного дополнительного аудиосигнала может быть сформирован посредством выбора данных кодирования из двух (или более) каналов из различных кодированных многоканальных аудиосигналов. Выбор данных кодирования, например, может чередоваться между двумя кодированными многоканальными аудиосигналами в последовательных сегментах кодирования. В некоторых сценариях может применяться более сложный выбор, к примеру, выбор в зависимости от характеристики данных кодирования аудио, по меньшей мере, одного из каналов множества кодированных многоканальных аудиосигналов. Например, могут выбираться данные кодирования, соответствующие самому сильному сигналу.

В соответствии с необязательным признаком изобретения, формирователь выполнен с возможностью формировать управляющие данные кодирования для кодированного дополнительного аудиосигнала посредством модификации управляющих данных кодирования второго кодированного многоканального аудиосигнала таким образом, что они соответствуют кодированным аудиоданным кодированного дополнительного аудиосигнала.

Это позволяет упрощать работу и предоставляет возможность стандартному оборудованию, такому как стандартная функциональность декодера, обрабатывать кодированный дополнительный аудиосигнал. Например, информация заголовка, указывающая скорость передачи данных, может быть модифицирована из данных исходных кодированных многоканальных аудиосигналов в значения, которые отражают выбор данных кодирования аудио при формировании кодированного дополнительного аудиосигнала. Например, исходные кодированные многоканальные аудиосигналы могут быть средними сигналами, и кодированный дополнительный аудиосигнал может быть сформирован в качестве стереосигнала, причем каждый сигнал содержит данные кодирования среднего канала для двух различных кодированных многоканальных аудиосигналов. В этом случае, скорость передачи данных кодированного дополнительного аудиосигнала выше, чем для двух средних кодированных многоканальных аудиосигналов, и данные заголовка могут быть модифицированы, чтобы отражать это.

В соответствии с необязательным признаком изобретения, процессор аудиосигналов дополнительно содержит: пользовательский интерфейс для приема пользовательского ввода; пространственную модель, представляющую позицию виртуального пользователя и позиции виртуальных пространственных источников звука, ассоциированных с множеством кодированных многоканальных аудиосигналов, при этом формирователь выполнен с возможностью выбирать первый кодированный многоканальный сигнал и второй кодированный многоканальный аудиосигнал в ответ на пространственную модель.

Это позволяет обеспечивать предоставление очень привлекательное восприятие пользователем при меньшей сложности. В частности, поскольку декодирование влечет за собой меньшую сложность, большее число позиций виртуальных источников звука может быть воспроизведено для модели, за счет этого предоставляя улучшенное восприятие пользователем.

В некоторых вариантах осуществления, пользовательский интерфейс может включать в себя дисплей для осуществления представления пространственной модели.

В соответствии с необязательным признаком изобретения, процессор вывода выполнен с возможностью применять пространственную обработку, по меньшей мере, к декодированному дополнительному аудиосигналу в ответ на пространственную модель.

Это позволяет обеспечивать высоко предпочтительное восприятие пользователем за счет акустически предоставляемого пространственного представления модели.

В частности, если пользовательский интерфейс включает в себя дисплей для осуществления представления пространственной модели, могут предоставляться комбинированное аудиовизуальное пространственное восприятие пользователем. Кроме того, это может достигаться без необходимости полного декодирования всех источников звука, которые должны быть одновременно пространственно воспроизведены. Таким образом, формирование кодированного дополнительного аудиосигнала позволяет не только уменьшать сложность и использование ресурсов для декодирования, но также позволяет упрощать и уменьшать сложность и использование ресурсов для пространственного воспроизведения.

В соответствии с необязательным признаком изобретения, декодированный дополнительный аудиосигнал является многоканальным сигналом, и пространственная обработка содержит пространственную обработку различных каналов декодированного дополнительного аудиосигнала таким образом, что они соответствуют различным позициям виртуальных пространственных источников звука пространственной модели.

Это позволяет обеспечивать высоко предпочтительное восприятие пользователем за счет акустически предоставляемого пространственного представления модели.

В соответствии с необязательным признаком изобретения, процессор вывода выполнен с возможностью выбирать второй кодированный многоканальный аудиосигнал в ответ на расстояние между позицией виртуального пользователя и позициями виртуальных пространственных источников звука, ассоциированными со вторым кодированным многоканальным аудиосигналом.

Это позволяет обеспечивать высоко предпочтительное восприятие пользователем за счет акустически предоставляемого пространственного представления модели.

Согласно аспекту изобретения, предусмотрен способ обработки аудиосигнала, содержащий: прием множества кодированных многоканальных аудиосигналов; декодирование первого кодированного многоканального сигнала, чтобы формировать первый декодированный многоканальный сигнал; формирование кодированного дополнительного аудиосигнала посредством выбора данных кодирования аудио, по меньшей мере, из второго кодированного многоканального аудиосигнала из множества кодированных многоканальных аудиосигналов таким образом, что число каналов кодированного дополнительного аудиосигнала, содержащего данные кодирования аудио из второго кодированного многоканального аудиосигнала, меньше числа каналов во втором кодированном многоканальном сигнале; формирование декодированного дополнительного аудиосигнала посредством декодирования кодированного дополнительного аудиосигнала; и комбинирование, по меньшей мере, первого декодированного многоканального сигнала и декодированного дополнительного аудиосигнала, чтобы формировать многоканальный выходной сигнал.

Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.

Краткое описание чертежей

Варианты осуществления изобретения описаны далее только в качестве примера со ссылкой на чертежи, из которых:

Фиг.1 иллюстрирует пример элементов процессора аудиосигналов в соответствии с некоторыми вариантами осуществления изобретения;

Фиг.2 иллюстрирует пример элементов процессора вывода сигналов для процессора аудиосигналов в соответствии с некоторыми вариантами осуществления изобретения;

Фиг.3 иллюстрирует пример элементов процессора аудиосигналов в соответствии с некоторыми вариантами осуществления изобретения; и

Фиг.4 иллюстрирует пример визуального представления пространственной модели набора аудиоэлементов.

Подробное описание вариантов осуществления изобретения

Нижеприведенное описание фокусируется на вариантах осуществления изобретения, применимых к воспроизведению стереоаудиоэлементов посредством аудиопроигрывателя, такого как портативный аудиопроигрыватель. Тем не менее, следует принимать во внимание, что изобретение не ограничено этим вариантом применения, а может быть применено ко многим другим аудиосигналам и системам.

Фиг.1 иллюстрирует пример процессора аудиосигналов в соответствии с некоторыми вариантами осуществления изобретения.

Процессор аудиосигналов по фиг.1, в частности, выполнен с возможностью обрабатывать множество кодированных многоканальных сигналов, соответствующих множеству источников звука. В частности, формируется выходной сигнал, который содержит аудиокомпоненты из множества кодированных входных многоканальных сигналов. Каждый из кодированных многоканальных аудиосигналов может быть одним аудиоэлементом или объектом, таким как один кодированный аудиофайл (например, MP3-кодированная песня).

В конкретном примере, дополнительно может вводиться пространственная обработка, так что различные источники звука/аудиоэлементы могут различаться на основе их пространственных характеристик в результирующем сигнале. Например, различные песни могут быть воспроизведены таким образом, что они воспринимаются как исходящие из различных направлений.

Таким образом, в системе по фиг.1, составной выходной сигнал формируется из множества входных сигналов таким образом, что слушатель воспринимает окружение прослушивания с множеством одновременных источников звука. Например, ряд, к примеру, MP3-кодированных песен может представляться одновременно. Таким образом, слушателю предоставляется множество одновременных аудиоэлементов.

Традиционно, воспроизведение одновременных многоканальных сигналов осуществляется посредством декодирования всех многоканальных сигналов с последующим поканальным смешением декодированных многоканальных сигналов. Например, при одновременном воспроизведении двух принимаемых кодированных стереосигналов, два стереодекодера типично используются для того, чтобы формировать декодированные стереосигналы. Два декодированных левых канала после этого смешиваются таким образом, что они формируют левый выходной канал. Аналогично, два декодированных правых канала смешиваются таким образом, что они формируют правый выходной канал. Тем не менее, такой подход требует высокой вычислительной нагрузки и является относительно сложным. Фактически, во многих вариантах применения, желательно иметь, возможно, три или четыре одновременно воспроизводимых источника звука/аудиоэлемента, в силу этого требуя трех или четырех одновременных многоканальных декодеров. Тем не менее, ассоциированное требование по объему вычислений типично существенно выше требования по объему вычислений, типично доступного, например, для портативных приложений, таких как, например, портативные медиа- или аудиопроигрыватели. Фактически, в таких устройствах типично предусмотрен предел (например, 3) на число декодеров, которые могут работать одновременно.

Авторы изобретения выяснили, что для многих вариантов применения, в которых множество многоканальных источников звука одновременно представляется слушателю, может быть приемлемым или фактически предпочтительным предоставление основного источника(ов) при полном многоканальном воспроизведении, тогда как другие источники могут быть воспроизведены с сокращенным числом каналов, и, в частности, во многих сценариях могут быть воспроизведены в качестве моносигнала(ов). Система по фиг.1 использует этот факт вместе с конкретным подходом для формирования такого выходного сигнала, чтобы существенно уменьшать сложность и вычислительные ресурсы. В частности, система по фиг.1 выполнена с возможностью выбирать один (или больше) из входных многоканальных сигналов, которые должны быть воспроизведены в качестве полного многоканального сигнала, включающего в себя применение полного многоканального декодирования и надлежащую обработку. Тем не менее, для другого многоканального сигнала(ов), сокращение числа каналов выполняется до декодирования посредством прямой обработки данных кодирования аудио многоканальных сигналов. Только результирующие кодированные каналы затем декодируются. Поскольку сложность и требование к ресурсам, связанные с декодированием, типично представляют собой один из наиболее значимых факторов в общей сложности и использовании ресурсов, это приводит к очень существенному уменьшению общей сложности и использования вычислительных ресурсов.

Процессор аудиосигналов по фиг.1 содержит приемник 101, который принимает множество кодированных многоканальных аудиосигналов. Таким образом, принимается ряд входных сигналов, при этом каждый входной сигнал является многоканальным сигналом, представляющим источник звука. В примере, каждый входной сигнал является отдельным аудиоэлементом и, в частности, является аудиофайлом, таким как песня. В примере, входные сигналы представляют отдельные и несвязанные источники звука. Таким образом, каждый входной сигнал представляет звуковую сцену или окружение, которое является независимым от звуковой сцены или окружения других входных сигналов. Соответственно, отсутствует пространственная, аудио- и/или перцепционная корреляция между входными сигналами, но они могут быть по отдельности воспроизведены вообще без учета других входных сигналов.

Кроме того, каждый входной сигнал кодируется в соответствии с надлежащим стандартом или алгоритмом кодирования. Например, данные могут быть кодированы в соответствии с MP3-, AAC-кодированием и т.д. Кодирование является, в частности, перцепционным кодированием многоканального аудио с потерями.

Входные многоканальные сигналы могут быть стереосигналами или могут содержать большее число каналов, как, например, в случае пяти- или семиканального сигнала объемного звучания. Нижеприведенное описание сфокусировано на примере, в котором входные сигналы являются стереосигналами, но следует принимать во внимание, что описанные принципы и подходы применяются в равной степени к входным сигналам с большим числом каналов.

В примере, входные сигналы, в частности, принимаются из внутреннего носителя данных, на котором сохраняется большое число кодированных аудиофайлов, таких как MP3- или AAC-кодированные песни. Приемник 101 в этом примере может содержать функциональность для извлечения аудиофайлов из носителя данных. Носитель данных, например, может быть жестким диском или полупостоянным запоминающим устройством. Извлечение файлов из носителя данных может управляться посредством пользовательского выбора, принимаемого через соответствующий пользовательский интерфейс.

В качестве другого примера, входные сигналы могут быть сигналами в реальном времени, которые, например, передаются потоком из источника по Интернету или принимаются через цифровую широковещательную радиопередачу. Входные сигналы дополнительно могут быть приняты из идентичного источника или, например, могут быть приняты из отдельных и независимых источников.

Приемник 101 соединяется с модулем 103 выбора, в который подаются принимаемые (в конкретном примере, извлеченные) кодированные многоканальные сигналы. Система по фиг.1 выполнена с возможностью формировать многоканальный выходной сигнал, причем один из входных кодированных многоканальных сигналов включается в качестве полного многоканального сигнала, тогда как другие кодированные многоканальные сигналы включаются в качестве сигналов с сокращенным числом каналов. Таким образом, для одного входного кодированного многоканального сигнала (который далее упоминается в качестве первичного сигнала) с N каналов, выходной сигнал должен включать в себя все N каналов. Тем не менее, для оставшихся кодированных многоканальных сигналов, только M-канальное представление включается в выходной сигнал, где M<N. В конкретном примере, кодированные многоканальные сигналы являются кодированными стереосигналами, и процессор аудиосигналов формирует выходной стереосигнал, в котором один из входных сигналов предоставляется в качестве стереосигнала, тогда как другие сигналы включаются только в качестве моносигналов.

Модуль 103 выбора, в частности, выбирает один первичный сигнал. Оставшиеся кодированные многоканальные сигналы далее упоминаются в качестве вторичных сигналов.

Модуль 103 выбора соединяется с многоканальным декодером 105, в который подается кодированный первичный сигнал. Многоканальный декодер 105 декодирует первичный кодированный многоканальный сигнал, чтобы формировать первичный декодированный многоканальный сигнал. В конкретном примере, кодированный первичный сигнал является стереосигналом, и многоканальный декодер 105 является стереодекодером, формирующим декодированный стереосигнал.

Многоканальный декодер 105 соединяется с процессором 107 вывода, который формирует многоканальный выходной сигнал, который содержит первичный декодированный многоканальный сигнал.

Модуль 103 выбора дополнительно соединен с формирователем 109, в который подаются вторичные кодированные многоканальные сигналы. Формирователь 109 формирует, по меньшей мере, один кодированный аудиосигнал с сокращенным числом каналов посредством выбора данных кодирования аудио из одного или более вторичных кодированных многоканальных сигналов. Кодированный аудиосигнал с сокращенным числом каналов формируется из данных кодирования аудио одного или более вторичных кодированных многоканальных сигналов. Тем не менее, число каналов в кодированном аудиосигнале с сокращенным числом каналов меньше суммы каналов во вторичных кодированных многоканальных сигналах, которые используются для того, чтобы формировать сокращенный кодированный многоканальный сигнал. Таким образом, по меньшей мере, для одного из вторичных кодированных многоканальных сигналов, включенных в кодированный многоканальный сигнал с сокращенным числом каналов, число каналов уменьшается.

Соответственно, формирователь 109 вводит сокращение числа каналов, используемых для того, чтобы представлять аудио из вторых кодированных многоканальных сигналов. Кроме того, это сокращение достигается посредством выбора данных кодирования аудио из данных кодирования вторичных кодированных многоканальных сигналов. Таким образом, простые операции перемещения, выбора и комбинирования данных могут быть использованы для того, чтобы формировать кодированный аудиосигнал с сокращенным числом каналов, и не требуется декодирование или другая обработка базового аудиосигнала(ов). Сокращение числа каналов, следовательно, достигается с низкой сложностью и без значительного требования к ресурсам.

Формирователь соединяется со вторым декодером 111, в который подается кодированный аудиосигнал с сокращенным числом каналов. Второй декодер продолжает декодировать кодированный аудиосигнал с сокращенным числом каналов, чтобы формировать декодированный многоканальный сигнал с сокращенным числом каналов, далее упоминаемый как вторичный декодированный сигнал.

Второй декодер 111 соединяется с процессором 107 вывода, в который подается вторичный декодированный сигнал. Процессор 107 вывода включает вторичный декодированный сигнал в многоканальный выходной сигнал. Таким образом, многоканальный выходной сигнал формируется в качестве комбинации первичного декодированного сигнала и вторичного декодированного сигнала.

В качестве примера с низкой сложностью, процессор 107 вывода может просто выполнять аудиомикширование первичного декодированного сигнала и вторичного декодированного сигнала. Например, один канал первичного декодированного сигнала может смешиваться с одним каналом декодированного вторичного первичного сигнала. Если вторичный первичный сигнал является многоканальным сигналом, смешивание может повторяться для всех каналов таким образом, что каждый канал декодированного аудиосигнала смешивается с одним каналом первичного декодированного сигнала.

Таким образом, процессор 107 вывода формирует многоканальный выходной сигнал, содержащий первичный аудиоисточник, представленный в качестве полного многоканального сигнала, и один или более вторичных аудиоисточников, представленных в качестве сигналов с сокращенным числом каналов. В качестве конкретного примера, первичный входной стереоисточник может представляться как полное стереопредставление, тогда как два вторичных входных стереоисточника одновременно представляются как два монопредставления. В этом примере, два вторичных источника могут восприниматься локализованными для правого уха и левого уха, соответственно, тогда как первичный сигнал заполняет всю звуковую сцену.

В некоторых вариантах осуществления, схема 107 вывода может непосредственно формировать многоканальный сигнал, который может возбуждать соответствующее средство для воспроизведения аудио многоканального сигнала. Например, схема 107 вывода может непосредственно формировать стереосигнал, возбуждающий пару наушников, или может, например, формировать пять пространственных каналов для различных громкоговорителей системы пятиканального объемного звука. В других сценариях, процессор 107 вывода может просто формировать сигнал для обработки и воспроизведения посредством другой функциональности, устройств или оборудования. Фактически, в некоторых вариантах осуществления, процессор 107 вывода может содержать функциональность для кодирования выходного многоканального сигнала, в силу этого обеспечивая его простую передачу, распространение или сохранение.

Авторы настоящего изобретения выяснили, что привлекательное восприятие пользователем может достигаться с конкретным одновременным воспроизведением нескольких аудиоисточников при уменьшении сложности и требований к ресурсам. В частности, авторы изобретения выяснили, что привлекательное восприятие пользователем могут достигаться посредством поддержания одного источника звука (или поднабора источников звука) при полном многоканальном представлении при сокращении многоканального характера других источников звука. Мало того, что это позволяет обеспечивать привлекательное восприятие пользователем, который, например, выделяет первичный источник(и) звука относительно вторичного источника(ов) звука, но это также может быть использовано для того, чтобы уменьшать сложность. Фактически, авторы изобретения выяснили, что существенное уменьшение сложности/вычислительной нагрузки может достигаться посредством использования конкретного подхода для воспроизведения с сокращением числа каналов в области кодирования (предварительного декодирования) вторичных сигналов на основе выбора данных кодирования аудио. Система, в частности, может уменьшать ресурсы, требуемые для декодирования сигналов. Поскольку вычислительная нагрузка при операциях декодирования зачастую является доминирующей нагрузкой по ресурсам для аудиопроцессоров (особенно для устройств с низкими ресурсами, таких как портативные аудиопроигрыватели), общее уменьшение нагрузки для системы в целом зачастую достигается в значительной степени.

Сокращение числа каналов формирователя 109 во многих сценариях может включать в себя формирование канала кодированного аудиосигнала с сокращенным числом каналов, который включает в себя аудиоданные одного из каналов одного из вторичных кодированных многоканальных сигналов. Таким образом, формирователь 109, в некоторых вариантах осуществления, может просто выбирать все данные кодирования аудио для одного канала вторичного кодированного многоканального сигнала и включать их в один канал кодированного аудиосигнала с сокращенным числом каналов. Следовательно, прямой выбор битов может быть использован для того, чтобы формировать кодированный аудиосигнал с сокращенным числом каналов.

Один канал может представлять один из исходных аудиоканалов в контенте или, в зависимости от типа аудиокодера, некоторую их линейную комбинацию. Например, общие стереоаудиокодеры кодируют сигналы суммы и разности левого и правого входных аудиоканалов вместо исходных левого и правого сигналов. В этом случае, формирователь 109, например, может выбирать только суммирующий сигнал.

В некоторых вариантах осуществления, один канал кодированного аудиосигнала с сокращенным числом каналов может в силу этого содержать кодированные аудиоданные, которые являются идентичными одному каналу одного из вторичных кодированных многоканальных сигналов. Кодированный аудиосигнал с сокращенным числом каналов может быть сформирован посредством простого выбора канала из одного или более вторичных кодированных многоканальных сигналов. Этот выбор канала выбирает поднабор доступных каналов и отбрасывает некоторые каналы, в силу этого приводя к общему сокращению числа каналов.

Следует принимать во внимание, что в вариантах осуществления, в которых кодированные аудиоданные для кодированного аудиосигнала с сокращенным числом каналов выбираются просто посредством взятия данных кодирования аудио из одного или более каналов вторичных кодированных многоканальных сигналов, другие данные, к примеру, служебные данные, управляющие данные, данные форматирования и т.д. могут модифицироваться (или могут не передаваться, т.е. могут формироваться новые данные). Таким образом, в некоторых вариантах осуществления, только кодированные аудиоданные, описывающие базовый аудиосигнал, могут быть извлечены, тогда как служебные данные не передаются в кодированный аудиосигнал с сокращенным числом каналов или модифицируются в процессе передачи.

В качестве конкретного примера, формирователь 109 может принимать один вторичный кодированный многоканальный сигнал и может продолжать формировать моносигнал просто посредством выбора одного из каналов вторичных кодированных многоканальных сигналов. Вторичный кодированный многоканальный сигнал, в частности, может быть стереосигналом, и формирователь может сокращать его до становления моносигналом посредством выбора одного канала стереосигнала.

Вторичный кодированный многоканальный сигнал, в частности, может быть стереосигналом, который кодирован как средний сигнал, и формирователь 109 может формировать кодированный моноаудиосигнал посредством выбора среднего канала. Это приводит к моносигналу, который содержит большую часть непространственной аудиоинформации и который, соответственно, является особенно подходящим для воспроизведения в качестве моносигнала без слишком высоких потерь информации.

В сценариях, в которых вторичный кодированный многоканальный сигнал является стереосигналом, кодированным в качестве левого и правого сигнала, формирователь 109 может формировать кодированный моноаудиосигнал посредством выбора любого из левого и правого каналов. Это может осуществляться произвольно или может быть основано на характеристике сигнала. Например, может выбираться сигнал с наибольшей средней амплитудой.

Таким образом, в некоторых вариантах осуществления, формирователь 109 может просто выбирать канал одного из вторичных кодированных многоканальных сигналов, чтобы формировать кодированный моносигнал. Этот сигнал затем может быть декодирован посредством монодекодера, чтобы формировать декодированный моносигнал, который может быть комбинирован с первичным декодированным многоканальным сигналом. Таким образом, декодер 111 может быть простым монокодером. Поскольку сложность и использование ресурсов монодекодера значительно ниже сложности и использования ресурсов многоканальных кодеров, включающих в себя стереодекодеры, достигается очень существенное снижение сложности и мощности.

Кроме того, подход не ограничивается одним вторичным кодированным многоканальным сигналом. Наоборот, множество вторичных кодированных многоканальных сигналов может по отдельности преобразовываться в кодированные моносигналы. Каждый из кодированных моносигналов может по отдельности декодироваться так, чтобы формировать декодированные моносигналы. Множество декодированных моносигналов затем могут смешиваться с первичным декодированным многоканальным сигналом.

В качестве конкретного примера, три кодированных стереосигнала могут быть одновременно воспроизведены. Один стереосигнал декодируется в качестве стереосигнала и воспроизводится в качестве стереосигнала. Для двух других стереосигналов выполняется сокращение числа каналов в кодированной области, чтобы уменьшать их до кодированных моносигналов. Монокодер декодирует сигналы, и результирующие декодированные сигналы могут добавляться в левый и правый выходные каналы, соответственно. Таким образом, пользователю представляется одновременное воспроизведение одного полного основного стереосигнала вместе с моносигналом в каждом ухе.

В некоторых вариантах осуществления кодированный аудиосигнал с сокращенным числом каналов может быть сформирован с возможностью включать в себя доли из множества кодированных многоканальных сигналов. В частности, кодированный аудиосигнал с сокращенным числом каналов сам может представлять собой многоканальный сигнал, который формируется из множества вторичных кодированных многоканальных сигналов. В частности, каждый из каналов кодированного аудиосигнала с сокращенным числом каналов может быть сформирован посредством выбора канала из вторичных кодированных многоканальных сигналов. Например, вместо формирования двух моносигналов, как упомянуто выше, формирователь 109 может формировать кодированный стереосигнал посредством выбора одного канала из одного вторичного кодированного многоканального сигнала и одного канала из другого кодированного многоканального сигнала. Результирующий стереосигнал затем может быть декодирован посредством стереодекодера, т.е. второй декодер 111 может быть стереодекодером. В частности, многоканальный декодер 105 и второй декодер 111 могут быть реализованы как идентичный декодер, который последовательно декодирует первичный многоканальный сигнал и кодированный аудиосигнал с сокращенным числом каналов. Результирующий вторичный декодированный стереосигнал затем может смешиваться с первичным декодированным стереосигналом, например, просто посредством суммирования двух стереосигналов.

В некоторых вариантах осуществления, кодированный аудиосигнал с сокращенным числом каналов, соответственно, может быть многоканальным сигналом, созданным за счет формирования посредством формирователя 109 первого канала посредством выбора данных кодирования аудио из одного канала одного из вторичного кодированного многоканального сигнала и второго канала посредством выбора данных кодирования аудио из одного канала другого из вторичного кодированного многоканального сигнала.

Более конкретно, кодированные представления средних сигналов (т.е. суммы левого и правого каналов в исходных стереоэлементах) двух средних кодированных сигналов могут быть включены в два канала одного стереосигнала. Эти данные кодирования аудио сохраняются в качестве части потока стереобитов для сигнала, как указано посредством надлежащих заголовков данных и/или и соответствующего определения кодированного потока битов, к примеру, как описано в работе Brandenburg, K. "(ISO-MPEG-1) Audio: A Generic Standard for Coding of High-Quality Digital Audio", J. Audio Eng. Soc., 1994 год, 42; стр. 780-792 для случая кодированных по стандарту MPEG-I layer III (MP3) данных.

Данные кодирования аудио потоков данных среднего канала из двух входных аудиосигналов затем добавляются в левое и правое поля данных нового контейнера потоков битов, представляющего кодированный аудиосигнал с сокращенным числом каналов. Если входные сигналы являются не средними кодированными, а, наоборот, левыми-правыми кодированными, модуль 109 упорядочения вместо этого может просто выбирать данные кодирования аудио из левого или из правого канала из каждого входного потока битов.

В некоторых вариантах осуществления, формирователь 109 дополнительно выполнен с возможностью модифицировать управляющие данные кодирования второго кодированного многоканального аудиосигнала таким образом, что они соответствуют кодированным аудиоданным кодированного дополнительного аудиосигнала. Управляющие данные кодирования могут быть служебными данными, задающими характеристики самого кодированного аудиосигнала с сокращенным числом каналов вместо представления базового аудио. Управляющие данные кодирования, например, могут быть метаданными, такими как, например, данные, задающие позиции различных данных в потоке битов, скорость передачи данных, то, какие параметры используются, и т.д.

В качестве конкретного примера, скорость передачи данных кодирования для двух средних сигналов двух средних стереосигналов типично значительно выше скоростей передачи данных каждого из двух средних стереосигналов, поскольку скорость передачи данных для среднего канала типично значительно больше, чем для бокового канала. Формирователь, соответственно, может модифицировать (задавать) данные кодированного потока битов с сокращенным числом каналов, которые указывают текущую скорость передачи данных таким образом, что она соответствует результирующей скорости передачи данных для кодированного аудиосигнала с сокращенным числом каналов.

Таким образом, кодированный аудиосигнал с сокращенным числом каналов может быть сформирован таким образом, что он соответствует кодированному аудиосигналу в соответствии со стандартом кодирования аудио, который, в частности, может быть стандартом кодирования, идентичным стандарту кодирования для входных кодированных многоканальных сигналов. Это обеспечивает возможность обработки кодированного аудиосигнала с сокращенным числом каналов как любого другого кодированного аудиосигнала, и, в частности, обеспечивает возможность использования стандартного декодера в качестве второго декодера 111.

В некоторых вариантах осуществления, формирователь 109 может выбирать данные кодирования для одного канала кодированного дополнительного аудиосигнала из множества кодированных многоканальных аудиосигналов. Таким образом, в некоторых вариантах осуществления, один канал кодированного аудиосигнала с сокращенным числом каналов может быть сформирован посредством комбинирования данных кодирования аудио из двух или более вторичных кодированных многоканальных сигналов. Выбор того, какие данные кодирования аудио включать, может выполняться во временных и/или частотных сегментах, при этом выбор основан на характеристиках данных кодирования аудио в каждом сегменте.

В частности, канал каждого из двух или более вторичных аудиосигналов может комбинироваться, посредством формирователя 109, в кодированное представление в одном канале аудиопотока с сокращенным числом каналов. Это может выполняться в качестве операций копирования данных кодирования аудио отдельных потоков битов в общий поток битов. В одном возможном варианте осуществления, комбинирование выполняется таким образом, что энергия сигнала в каждой кодированной подполосе частот (представленная посредством значений коэффициентов масштабирования полос частот в кодированном потоке битов) используется для того, чтобы определять то, какой входной аудиосигнал помещается в новый поток битов.

В некоторых вариантах осуществления, процессор аудиосигналов может содержать функциональность для применения пространственной обработки, по меньшей мере, к одному из декодированных аудиосигналов. Пространственная обработка типично может применяться к декодированным аудиосигналам до их смешивания. Пространственная обработка может применяться таким образом, чтобы перцепционно размещать различные каналы в различных позициях при восприятии пользователем.

Фиг.2 иллюстрирует пример процессора 107 вывода по фиг.1, выполненного с возможностью осуществлять пространственную обработку для вторичных источников звука. В примере, первичный декодированный аудиосигнал (y₁, y₂) не обрабатывается пространственно, а подается непосредственно в микшер 201, который выполняет смешение в форме взвешенного суммирования (или просто суммирования). Первичный декодированный аудиосигнал (y₁, y₂) непосредственно включается в выходной стереосигнал (o₁, o₂), и за счет этого пользователю предоставляется пространственное стереовосприятие исходного кодированного стереосигнала.

Тем не менее, в примере, каждый канал вторичных декодированных аудиосигналов (x₁, x₂) пространственно обрабатывается таким образом, что они воспринимаются как исходящие из данной позиции в аудиосцене. Пространственная обработка может варьироваться, тем самым обеспечивая возможность для процессора 107 вывода перемещать воспринимаемый одноточечный источник монозвука в требуемую позицию.

В примере, выходной сигнал воспроизводится с использованием наушников, и только два вторичных аудиоисточника воспроизводятся. Процессор 107 вывода содержит первый пространственный процессор 203, который принимает один канал вторичного декодированного аудиосигнала, и второй пространственный процессор 205, который принимает другой канал вторичного декодированного аудиосигнала. Пространственные процессоры 203, 205, в частности, выполнены с возможностью применять передаточную функцию восприятия звука человеком (HRTF) к различным каналам, что приводит к выходным сигналам, которые воспринимаются как исходящие из данной позиции. Каждый пространственный процессор 203, 205, соответственно, формирует выходной стереосигнал, соответствующий требуемой позиции для аудиоисточника. Эти выходные стереосигналы подаются в микшер 201, который смешивает их с первичным декодированным стереосигналом. Вывод микшера 201, соответственно, представляет собой пространственный аудиосигнал, который содержит первичный стереосигнал, поддерживаемый в качестве исходного стереосигнала и в силу этого имеющий более широкую звуковую стереосцену. Помимо этого, два одноточечных аудиоисточника формируются в позициях, которые могут быть перемещены пространственно, так что кажется, что они исходят из любой требуемой позиции.

Таким образом, система может предоставлять одновременное воспроизведение множества аудиоисточников (например, она может одновременно воспроизводить множество аудиоэлементов) при том, что только один (или поднабор) аудиоэлементов воспроизводится при полном стереовоспроизведении. Все остальные воспроизводимые аудиоэлементы пространственно размещаются и воспроизводятся в качестве монофонических источников звука. Авторы изобретения выяснили, что такой подход не только обеспечивает очень предпочтительное восприятие пользователем во многих сценариях, но помимо этого достигается очень эффективная обработка. Фактически, система использует это понимание дополнительно для того, чтобы создавать систему, в которой выполняется сокращение числа каналов предварительного декодирования, за счет этого уменьшая сложность и ресурсы, используемые посредством процесса декодирования. Это приводит к значительной экономии касательно вычислительных требований и требований к запоминающему устройству, а также места на запоминающем устройстве для программ вследствие эффективного многократного использования существующих программных модулей.

Описанный подход одновременного воспроизведения множества кодированных многоканальных сигналов позволяет обеспечивать, в частности, предпочтительное восприятие пользователем при использовании вместе с пользовательским интерфейсом на основе пространственной модели. Фиг.3 иллюстрирует пример аудиопроцессора, в котором пространственная обработка и пространственное позиционирование источников звука зависят от пространственной модели и ассоциированного пользовательского интерфейса.

Аудиопроцессор соответствует аудиопроцессору по фиг.1, но помимо этого он содержит пространственную модель 301, которая представляет позицию виртуального пользователя и позиции виртуальных пространственных источников звука для кодированных многоканальных аудиосигналов. Кроме того, пространственная модель 301 соединяется с дисплеем 303, который может отображать графическое представление (частей) модели.

В примере, пространственная модель 301 может быть реализована на соответствующей платформе обработки и, например, может содержать виртуальную трехмерную позицию для всех аудиоэлементов, которые, возможно, могут быть воспроизведены. Например, пространственная модель 301 может иметь позицию для каждой кодированной песни, сохраненной в соответствующем носителе данных. Позиция, например, может быть определена на основе характеристик для песни, песни в качестве стиля, жанра, исполнителя, названия, длительности и т.д.

Кроме того, пространственная модель 301 может отслеживать позицию виртуального пользователя, которая может быть изменена в ответ на пользовательский ввод. Таким образом, пользователю может предоставляться пользовательский интерфейс, в котором он может переместиться между аудиоэлементами в виртуальном пространственном режиме 301. Пространственная модель 301, соответственно, соединяется с пользовательским вводом 305, который может принимать внешний пользовательский ввод. Пользовательский ввод 305, например, может быть сенсорным вводом дисплея 303. Дисплей 303 может непрерывно представлять графическое представление локальности позиции пользователя по мере того, как позиция пользователя перемещается в пространственной модели. Представление может быть двумерным представлением, при этом позиция пользователя представляется, например, посредством значка, а аудиоэлементы - в качестве других значков.

Фиг.4 иллюстрирует пример такого представления. В примере, пользователь может просматривать набор песен, при этом несколько песен являются одновременно слышимыми, но воспроизводятся в различные местоположения, соответствующие пространственной модели и представлению на дисплее. В примере, виртуальная позиция пользователя показывается посредством наушников, и значки альбома представляют аудиоэлементы, которые согласно модели являются «видимыми» из позиции виртуального пользователя.

В системе, первичный кодированный многоканальный сигнал и вторичные кодированные многоканальные сигналы выбираются на основе пространственной модели. В частности, первичный кодированный многоканальный сигнал может быть выбран в качестве аудиоэлемента, ближайшего пользователю в модели, и вторичные кодированные многоканальные сигналы могут быть выбраны в качестве, например, двух следующих ближайших аудиоэлементов. Таким образом, в примере, когда пользователь перемещается близко к одному из аудиоэлементов, соответствующий аудиопоток прозрачно преобразуется в полное стереовоспроизведение. Одновременно, другие аудиоэлементы представляются в качестве моносигналов и могут быть пространственно обработаны, так чтобы воспроизводиться из позиций, соответствующих относительной позиции в модели. Таким образом, другие близлежащие аудиоэлементы могут быть воспроизведены, например, как сигналы с выключенной громкостью в фоновом режиме. Это позволяет обеспечивать очень привлекательное восприятие пользователем и позволяет, например, обеспечивать, в частности, предпочтительное восприятие при просмотре.

Пространственное воспроизведение, в частности, может применять различную пространственную обработку к различным каналам вторичного декодированного аудиосигнала. В частности, в примере, в котором вторичный декодированный аудиосигнал является стереосигналом с различными каналами, соответствующими различным входным аудиоисточникам, пространственная обработка одного канала может соответствовать относительной виртуальной позиции соответствующего аудиоэлемента, тогда как пространственная обработка другого канала может соответствовать относительной виртуальной позиции другого аудиоэлемента.

Следует принимать во внимание, что вышеприведенное описание для понятности имеет описанные варианты осуществления со ссылкой на различные функциональные схемы, блоки и процессоры. Тем не менее, должно быть очевидным, что любое надлежащее распределение функциональности между различными функциональными схемами, блоками или процессорами может быть использовано без отступления от изобретения. Например, функциональность, проиллюстрированная как выполняемая посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного процессора или контроллера. Следовательно, ссылки на конкретные функциональные блоки или схемы должны рассматриваться только как ссылки на надлежащее средство предоставления описанной функциональности, а не обозначать точную логическую или физическую структуру либо организацию.

Изобретение может быть реализовано в любой надлежащей форме, включающей в себя аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую комбинацию вышеозначенного. Необязательно, изобретение может быть реализовано, по меньшей мере, частично как вычислительное программное обеспечение, выполняемое на одном или более процессоров данных и/или процессоров цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым надлежащим образом. Фактически, функциональность может быть реализована в одном блоке, множестве блоков или как часть других функциональных блоков. По существу, изобретение может быть реализовано в одном блоке или может быть физически и функционально распределено между различными блоками, схемами и процессорами.

Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не предназначено быть ограниченным конкретной изложенной в данном документе формой. Вместо этого, объем настоящего изобретения ограничен только посредством прилагаемой формулы изобретения. Дополнительно, хотя предположительно признак описывается в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретения, термин «содержащий» не исключает наличия других элементов или этапов.

Более того, хотя перечислены по отдельности, множество средств, элементов, схем или этапов способа может быть реализовано посредством, к примеру, одной схемы, блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть преимущественно комбинированы, и их включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков является невыполнимой и/или преимущественной. Так же, включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориям пунктов формулы изобретения по мере необходимости. Более того, порядок признаков в пунктах формулы изобретения не налагает какой-либо конкретный порядок, в котором признаки должны осуществляться, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что этапы должны выполняться в этом порядке. Вместо этого, этапы могут выполняться в любом надлежащем порядке. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, указание на единственность, “первый”, “второй” и т.д. не исключают множественности. Ссылки с номерами в формуле изобретения предоставлены просто в качестве поясняющего примера, и они не должны истолковываться как каким-либо образом ограничивающие объем формулы изобретения.