Результат интеллектуальной деятельности: УСТРОЙСТВО И СПОСОБ ДЛЯ ОБЕСПЕЧЕНИЯ ИНДИВИДУАЛЬНЫХ ЗВУКОВЫХ ЗОН

Настоящее изобретение относится к обработке аудиосигналов и, в частности, к устройству и способу для обеспечения индивидуальных звуковых зон.

Воспроизведение различных акустических сцен во множестве звуковых зон, расположенных поблизости без акустических барьеров между ними, является известной задачей в обработке аудиосигналов, которая часто упоминается как мультизональное воспроизведение (см. [1]). С технической точки зрения мультизональное воспроизведение тесно связано с формированием диаграммы направленности или звукового пятна громкоговорителя (см. [2]), когда рассматриваются сценарии ближней зоны, в которых апертура массива громкоговорителей также может охватывать слушателя.

Проблема в сценарии мультизонального воспроизведения может состоять, например, в том, чтобы обеспечить в значительной степени разные акустические сцены (например, разные музыкальные фрагменты или звуковое содержание разных фильмов) слушателям, занимающим индивидуальные звуковые зоны.

Упрощенный идеальный пример мультизонального воспроизведения показан на фиг. 2, где две зоны 221, 222 принимают сигналы и из двух источников 211, 212 сигналов, соответственно, без интерференции другого источника, и является моментом времени. Следует отметить, что этот сценарий является только прототипом для более сложных сценариев, в которых многоканальные аудиоданные обеспечиваются для произвольного количества зон. Однако простой пример, показанный на фиг. 2, является достаточным для последующих разъяснений.

При воспроизведении множества сигналов в реальном замкнутом пространстве совершенное разделение невозможно, поскольку акустические волны не могут быть остановлены без акустического барьера. Следовательно, между индивидуальными звуковыми зонами, которые заняты индивидуальными слушателями, всегда будет иметься перекрестная связь.

Фиг. 3 иллюстрирует воспроизведение множества сигналов в действительности. Сигналы, воспроизводимые в индивидуальных звуковых зонах 221, 222, а именно и , получаются посредством свертки сигналов источников и от источников 211, 212 сигналов с помощью соответствующих импульсных характеристик , , и системы LEMS (системы микрофонов и громкоговорителей в замкнутом пространстве) в соответствии с

(1)

(2)

где обозначает свертку, как определено посредством

(3)

Здесь и рассматриваются как нежелательные сигнальные компоненты помех в отличие от желательных компонентов и . Когда и описывают полностью разные акустические сцены, приемлем только очень малый вклад в по сравнению со вкладом в . То же самое выполняется для с обратными индексами.

Прямой способ достигнуть этого состоит в том, чтобы спроектировать такую компоновку громкоговорителей, в которой и проявляют более высокую энергию по сравнению с и , которые описывают перекрестное зональное воспроизведение. Одним примером для этого будет использование громкоговорителей, расположенных вблизи слушателей (US 2003103636, US 2003142842), когда использование наушников может быть рассмотрено как крайний случай такой компоновки. Однако размещение громкоговорителей слишком близко к слушателям часто недопустимо, поскольку это может вступать в конфликт с движением слушателя, в результате чего этот подход ограничен в практическом применении.

Подход для преодоления этого заключается в использовании направленных громкоговорителей, когда направленность громкоговорителя обычно выше для более высоких частот (см. [35]: JP 5345549 и [21]: US 2005/0190935 A1). К сожалению, этот подход подходит только для более высоких частот (см. [1]).

Другой подход состоит в использовании массива громкоговорителей вместе с подходящими предварительными фильтрами для персонализированного воспроизведения аудиоданных.

Фиг. 4 иллюстрирует минимальный пример мультизонального воспроизведения с массивами. В частности, фиг. 4 иллюстрирует элементарную компоновку с двумя источниками 211, 212 сигналов, двумя громкоговорителями и двумя зонами 221, 222. Пример на фиг. 4 является прототипом для более сложных сценариев, которые возникают в реальных приложениях.

В примере на фиг. 4 величина перекрестного зонального воспроизведения определяется каскадом предварительных фильтров 413, 414 и импульсных характеристик 417 , и не только посредством импульсных характеристик 417 . Таким образом, и не обязательно должны быть малыми по магнитуде, чтобы достигнуть значительного перекрестного зонального ослабления.

Фиг. 6 иллюстрирует общую сигнальную модель мультизонального воспроизведения с массивами. Изображены источники 610 сигналов, предварительные фильтры 615, импульсные характеристики 417 и звуковые зоны 221, 222.

Следует отметить, что мультизональное воспроизведение в общем случае не ограничивается обеспечением двух сигналов в двух зонах. На самом деле количества источников, громкоговорителей и зон прослушивания могут быть произвольными. Следующие разъяснения и определения могут использоваться для общего сценария с источниками сигналов, громкоговорителями и рассматриваемыми позициями в зонах прослушивания. В таком сценарии возможно, что множество сигналов воспроизводятся в индивидуальной зоне, чтобы достигнуть пространственного звукового воспроизведения. Соответствующая сигнальная модель показана на фиг. 6, где в ʺЗону 1ʺ 221 подаются сигналы и . Полученные в результате сигнальные векторы заданы посредством:

(4)

(5)

(6)

(7)

(8)

Здесь представление уравнения (3) задается как

(9)

в предположении, что импульсные характеристики, захваченные в , ограничиваются только ненулевыми значениями для .

Матрицы и описывают импульсные характеристики предварительного фильтра и импульсные характеристики помещения в соответствии с

(10)

(11)

Для каждого сигнала источника существуют звуковые зоны, в которых сигнал должен воспроизводиться, так называемые «светлые зоны». В то же время существуют зоны, в которых индивидуальный сигнал не должен воспроизводиться, «темные зоны».

Например, на фиг. 3 источник 211 сигнала должен воспроизводиться в звуковой зоне 221, но не в звуковой зоне 222. Кроме того, на фиг. 3 источник 212 сигнала должен воспроизводиться в звуковой зоне 222, но не в звуковой зоне 221.

Для мультизонального воспроизведения предварительные фильтры обычно проектируются таким образом, что отношение между акустической энергией, излученной в светлые зоны, и акустической энергией, излученной в темные зоны, максимизируется. Это отношение часто называют акустической контрастностью (см. [3]) и может быть измерено посредством определения и , которые захватывают импульсные характеристики помещения от каждого громкоговорителя, до рассматриваемых точек отсчетов в светлых и темных зонах, соответственно. Поскольку это присвоение отличается для каждого сигнала источника, обе матрицы зависят от индекса сигнала источника. Кроме того, матрица может быть разложена на

(12)

где

(13)

захватывает индивидуальные коэффициенты фильтра, которые привязаны к громкоговорителю и источнику . В конечном счете акустическая контрастность, достигаемая для источника , может быть определена в соответствии с

(14)

Пример уровней воспроизведения в светлой и темной зонах с полученной в результате акустической контрастностью показан на фиг. 5. В частности, фиг. 5 показывает (a) иллюстративный уровень воспроизведения в светлой и темной зонах и показывает (b) полученную в результате акустическую контрастность.

Следует отметить, что если какая-либо импульсная характеристика в присвоена либо темной зоне, либо светлой зоне для источника, выполняется следующее:

(15)

Существует много известных способов определения таким образом, что достигает высокого значения (см. [1], [3], [4], [5] и [6]).

Трудности существуют, когда проводится направленное воспроизведение звука.

Некоторые упомянутые выше подходы пытаются достигнуть мультизонального воспроизведения посредством направленного излучения звука. Такой подход сталкивается со значительными физическими трудностями, которые описаны ниже.

Когда волна испускается через апертуру конечного размера, отношение размера апертуры к длине волны определяет, насколько хорошо можно управлять направлением излучения. Лучшее управление достигается для более малой длины волны и более крупных размеров апертуры. Для углового разрешения телескопа это описано посредством приближения

(16)

где - минимальный угол между двумя точками, которые можно различить, - длина волны, и - диаметр телескопа, см.:

https://en.wikipedia.org/wiki/Angular_resolution (см. [63]).

Поскольку акустические волны подчиняются такому же волновому уравнению, это правило также применимо к акустическим волнам. В конечном счете технические причины ограничивают размер мембран громкоговорителя или раствора, что подразумевает нижний предел для частот, для которых направленное воспроизведение является эффективно возможным. Кроме того, то же самое также выполняется для массивов громкоговорителей, когда значение имеет не размер индивидуальных громкоговорителей, но размеры всего массива громкоговорителей. В отличие от этого для компонентов управления индивидуальных громкоговорителей размеры массива прежде всего ограничены экономическими, а не техническими причинами.

При использовании массивов громкоговорителей для направленного воспроизведения звука минимальное расстояние между громкоговорителями подразумевает верхний предел частоты. Это вызвано тем, что теорема отсчетов, см.:

https://en.wikipedia.org/wiki/Nyquist-Shannon_sampling_theorem (см. [64]),

также имеет значение в пространственной области, когда для достижения управляемого направленного излучения требуются две точки отсчетов на длину волны. Размещение громкоговорителей достаточно близко для управления направленным излучением в слышимом диапазоне частот, как правило, не является проблемой. Однако полученный в результате минимальный размер апертуры (см. выше) и минимальное расстояние между громкоговорителями подразумевают минимальное количество громкоговорителей, имеющее квадратичную зависимость от диапазона частот, в котором необходимо управлять направлением излучения. Поскольку расходы для массива громкоговорителей пропорциональны количеству громкоговорителей, существуют рабочие пределы частоты для коммерчески жизнеспособных решений для воспроизведения с помощью массива громкоговорителей.

Кроме того, замкнутое пространство, в котором должно быть создано множество звуковых зон, может само влиять на получаемую картину излучения. Для более высоких частот, больших замкнутых пространств и прямых стен можно найти модели, которые аналитически учитывают геометрию замкнутого пространства при проектировании направленных громкоговорителей или предварительных фильтров для воспроизведения массива громкоговорителей. Однако это перестает быть возможным, когда замкнутое пространство проявляет (общее) искривление, когда в замкнутом пространстве размещены препятствия произвольной формы, или когда размеры замкнутого пространства имеют порядок величины длины волны. Такая компоновка существует, например, в салоне автомобиля и будет в дальнейшем упоминаться как сложная компоновка. В таких условиях возбуждение управляемого звукового поля посредством направленных громкоговорителей или электрически направляемых массивов является весьма затруднительным из-за звука, отраженного от границ замкнутого пространства, которое не может быть точно смоделировано. В таких условиях даже ненаправленные индивидуально управляемые громкоговорители могут в действительности проявлять неуправляемую направленную картину.

Некоторые документы из уровня техники относятся к зависимому от (перекрестных) сигналов управлению усилением.

US 2005/0152562 A1 (см. [8]) относится к воспроизведению объемного звука внутри автомобиля с разными режимами работы, относящимися к разным структурам громкости на индивидуальных сиденьях и разным картинам выравнивания амплитудно-частотной характеристики.

US 2013/170668 A1 (см. [9]) описывает микширование звука объявления с сигналом развлекательного содержания. Микширование между обоими сигналами является индивидуальным для каждой из двух зон.

US 2008/0071400 A1 (см. [10]) раскрывает обработку сигналов в зависимости от информации источника или содержания, рассматривая два различных сигнала, чтобы уберечь водителя от «акустической перегрузки».

US 2006/0034470 A1 (см. [11]) относится к выравниванию, сжатию и выравниванию «зеркального образа» для воспроизведения аудиоданных в условиях сильного шума с увеличенным качеством.

US 2011/0222695 A1 (см. [12]) раскрывает сжатие звука воспроизводимых впоследствии аудиотреков также с учетом окружающего шума и психоакустических моделей.

US 2009/0232320 A1 (см. [13]) описывает сжатие, чтобы получить более громкий звук объявления, чем развлекательная программа, со взаимодействием с пользователем.

US 2015/0256933 A1 (см. [14]) раскрывает уровень баланса телефона и развлекательного содержания, чтобы минимизировать акустическую утечку контента.

US 6,674,865 B1 (см. [15]) относится к автоматическому управлению усилением для телефонии, оставляющей руки свободными.

DE 30 45 722 A1 (см. [16]) раскрывает параллельное сжатие для уровня шума и увеличения уровня для объявления.

Другие документы из уровня техники относятся к мультизональному воспроизведению.

US 2012/0140945 A1 (см. [17]) относится к явной реализации звуковых зон. Высокие частоты воспроизводятся громкоговорителем, низкие частоты используют конструктивную и деструктивную интерференцию посредством управления амплитудой, фазой и задержкой. Чтобы определить, как следует управлять амплитудой, фазой и задержкой, [17] предлагает использовать специальные методики, метод ʺTan Thetaʺ или решение задачи о собственных значениях.

US 2008/0273713 A1 (см. [18]) раскрывает звуковые зоны, массив динамиков, расположенных около каждого сиденья, причем массив громкоговорителей явным образом присвоен каждой из зон.

US 2004/0105550 A1 (см. [19]) относится к звуковым зонам, направленным близко к голове, не направленным далеко от слушателя.

US 2006/0262935 A1 (см. [20]) относится к персональным звуковым зонам явным образом.

US 2005/0190935 A1(см. [21]) относится к громкоговорителям в подголовнике или в спинке сиденья для персонализированного воспроизведения.

US 2008/0130922 A1 (см. [22]) раскрывает реализацию звуковых зон с направленными громкоговорителями около переднего сиденья, не направленными громкоговорителями около заднего сиденья и обработку сигналов, в результате которой передняя часть и задняя часть подавляют утечку друг друга.

US 2010/0329488 A1 (см. [23]) описывает звуковые зоны в транспортном средстве по меньшей мере с одним громкоговорителем и одним микрофоном, привязанными к каждой зоне.

DE 10 2014 210 105 A1 (см. [24]) относится к звуковым зонам, реализованным с бинауральным воспроизведением, также с использованием подавления перекрестной связи (между ушами), а также к сокращению перекрестной связи между зонами.

US 2011/0286614 A1 (см. [25]) раскрывает звуковые зоны с бинауральным воспроизведением на основе подавления перекрестной связи и отслеживания положения головы.

US 2007/0053532 A1 (см. [26]) описывает громкоговорители подголовника.

US 2013/0230175 A1 (см. [27]) относится к звуковым зонам, явным образом использующим микрофоны.

WO 2016/008621 A1 (см. [28]) раскрывает симулятор головы и туловища.

Другие документы из уровня техники относятся к направленному воспроизведению.

US 2008/0273712 A1 (см. [29]) раскрывает направленный громкоговоритель, установленный на сиденье транспортного средства.

US 5,870,484 (см. [30]) описывает стереофоническое воспроизведение с направленными громкоговорителями.

US 5,809,153 (см. [31]) относятся к трем точкам громкоговорителей в трех направлениях со схемой для их использования в качестве массивов.

US 2006/0034467 A1 (см. [32]) раскрывает звуковые зоны, которые относятся к возбуждению обшивки потолка салона специальными преобразователями.

US 2003/0103636 A1 (см. [33]) относится к персонализированному воспроизведению и глушению и к массивам в подголовниках для воспроизведения звукового поля в ушах слушателей, включая глушение.

US 2003/0142842 A1 (см. [34]) относится к громкоговорителям в подголовнике.

JP 5345549 (см. [35]) описывает параметрические громкоговорители на передних сиденьях, направленные назад.

US2014/0056431 A1 (см. [36]) относится к направленному воспроизведению.

US 2014/0064526 A1 (см. [37]) относится к воспроизведению бинаурального и локализованного аудиосигнала для пользователя.

US 2005/0069148 A1 (см. [38]) раскрывает использование громкоговорителей в обшивке потолка салона с соответствующей задержкой.

US 5,081,682 (см. [39]), DE 90 15 454 (см. [40]), US 5,550,922 (см. [41]), US 5,434,922 (см. [42]), US 6,078,670 (см. [43]), US 6,674,865 B1 (см. [44]), DE 100 52 104 A1 (см. [45]) и US 2005/0135635 A1 (см. [46]) относятся к адаптации усиления или спектральной модификации сигналов в соответствии с измеренным окружающим шумом или оценочным окружающим шумом, например, на основе скорости.

DE102 42 558 A1 (см. [47]) раскрывает антипараллельный регулятор громкости.

US 2010/0046765 A1 (см. [48]) и DE 10 2010 040 689 (см. [49]) относятся к оптимизированному перекрестному затуханию между последовательно воспроизводимыми акустическими сценами.

US 2008/0103615 A1 (см. [50]) описывает вариацию панорамирования в зависимости от события.

US 8,190,438 B1 (см. [51]) описывают регулировку пространственной рендеризации в зависимости от сигнала в аудиопотоке.

WO 2007/098916 A1 (см. [52]) описывает воспроизведение звука аварийного предупреждения.

US 2007/0274546 A1 (см. [53]) определяет, какой музыкальный фрагмент может воспроизводиться в сочетании с другим.

US 2007/0286426 A1 (см. [54]) описывает микширование одного аудиосигнала (например, с телефона) с другим (например, с музыкой).

Некоторые документы из уровня техники описывают сжатие звука и управление усилением.

US 5,018,205 (см. [55]) относится к выборочной по частотным полосам регулировке усиления в присутствии окружающего шума.

US 4,944,018 (см. [56]) раскрывает управляемое скоростью усиление.

DE 103 51 145 A1 (см. [57]) относится к зависимому от частоты усилению для преодоления зависимого от частоты порога.

Некоторые документы из уровня техники относятся к подавлению шума.

JP 2003-255954 (см. [58]) раскрывает активное подавление шума с использованием громкоговорителей, расположенные около слушателей.

US 4,977,600 (см. [59]) раскрывает ослабление воспринятого шума для индивидуального сиденья.

US 5,416,846 (см. [60]) описывают активное подавление шума с помощью адаптивного фильтра.

Следующие документы из уровня техники относятся к формированию диаграммы направленности массива для аудиоданных.

US 2007/0030976 A1 (см. [61]) и JP 2004-363696 (см. [62]) раскрывают формирование диаграммы направленности массива для воспроизведения аудиоданных, формирователя диаграммы направленности с задержкой и суммированием.

Очень желательно, чтобы были обеспечены улучшенные концепции, которые обеспечивают мультизональное воспроизведение в достаточном диапазоне слышимого спектра частот.

Задача настоящего изобретения состоит в создании улучшенных концепций для обработки аудиосигнала. Задача настоящего изобретения решается устройством по пункту 1, способом по пункту 16 и компьютерной программой по пункту 17 формулы изобретения.

Предложено устройство для формирования множества сигналов громкоговорителей из двух или более сигналов звуковых источников. Каждый из двух или более сигналов звуковых источников должен воспроизводиться в одной или более из двух или более звуковых зон, и по меньшей мере один из двух или более сигналов звуковых источников не должен воспроизводиться по меньшей мере в одной из еще двух звуковых зон. Устройство содержит предварительный аудиопроцессор, выполненный с возможностью модификации каждого из двух или более начальных аудиосигналов, чтобы получить два или более предварительно обработанных аудиосигнала. Кроме того, устройство содержит фильтр, выполненный с возможностью формирования множества сигналов громкоговорителей в зависимости от двух или более предварительно обработанных аудиосигналов. Предварительный аудиопроцессор выполнен с возможностью использования двух или более сигналов звуковых источников в качестве двух или более начальных аудиосигналов, или предварительный аудиопроцессор выполнен с возможностью формирования для каждого сигнала звукового источника из двух или более сигналов звуковых источников начального аудиосигнала еще двух начальных аудиосигналов посредством модификации упомянутого сигнала звукового источника. Кроме того, предварительный аудиопроцессор выполнен с возможностью модификации каждого начального аудиосигнала из двух или более начальных аудиосигналов в зависимости от мощности сигнала или громкости другого начального аудиосигнала из двух или более начальных аудиосигналов. Фильтр выполнен с возможностью формирования множества сигналов громкоговорителей в зависимости от того, в какой из двух или более звуковых зон должны воспроизводиться два или более сигналов звуковых источников, и в зависимости от того, в какой из двух или более звуковых зон не должны воспроизводиться два или более сигналов звуковых источников.

Кроме того, предложен способ формирования множества сигналов громкоговорителя из двух или более сигналов звуковых источников. Каждый из двух или более сигналов звуковых источников должен воспроизводиться в одной или более из двух или более звуковых зон, и по меньшей мере один из двух или более сигналов звуковых источников не должен воспроизводиться по меньшей мере в одной из еще двух звуковых зон. Способ содержит:

- Модификацию каждого из двух или более начальных аудиосигналов, чтобы получить два или более предварительно обработанных аудиосигналов. И:

- формирование множества сигналов громкоговорителей в зависимости от двух или более предварительно обработанных аудиосигналов.

Два или более сигналов звуковых источников используются в качестве двух или более начальных аудиосигналов, или для каждого сигнала звукового источника из двух или более сигналов звуковых источников начальный аудиосигнал из еще двух начальных аудиосигналов формируется посредством модификации упомянутого сигнала звукового источника. Каждый начальный аудиосигнал из двух или более начальных аудиосигналов модифицируется в зависимости от мощности сигнала или громкости другого начального аудиосигнала двух или более начальных аудиосигналов. Множество сигналов громкоговорителей формируется в зависимости от того, в какой из двух или более звуковых зон должны воспроизводиться два или более сигналов звуковых источников, и в зависимости от того, в какой из двух или более звуковых зон не должны воспроизводиться два или более сигналов звуковых источников.

Кроме того, предложены компьютерные программы, причем каждая из компьютерных программ выполнена с возможностью реализации одного из описанных выше способов, когда она исполняется на компьютере или процессоре сигналов.

Некоторые варианты осуществления обеспечивают зависимую от сигнала модификацию уровня, чтобы сократить воспринимаемую акустическую утечку с использованием измерений для направленного воспроизведения независимых сигналов развлекательного содержания.

В вариантах осуществления при необходимости используется сочетание концепций разностного воспроизведения для разных частотных полос.

При необходимости некоторые варианты осуществления используют оптимизированные методом наименьших квадратов КИХ-фильтры (КИХ=конечная импульсная характеристика) на основе один раз измеренных импульсных характеристик. Подробности некоторых вариантов осуществления описаны ниже, когда описан предварительный фильтр в соответствии с вариантами осуществления.

Некоторые варианты осуществления при необходимости используются в автомобильном сценарии, но не ограничены таким сценарием.

Некоторые варианты осуществления относятся к концепциям, которые обеспечивают индивидуальное звуковое содержание слушателям, занимающим одно и то же замкнутое пространство, без использования наушников и т.п. Среди прочего эти варианты осуществления отличаются от современного уровня техники интеллектуальной комбинацией разных подходов воспроизведения с зависимой от сигнала предварительной обработкой, в результате чего достигается большая перцептивная акустическая контрастность при сохранении высокого уровня качества звука.

Некоторые варианты осуществления обеспечивают структуру фильтра.

Некоторые варианты осуществления используют дополнительную зависимую от сигнала обработку.

Далее варианты осуществления настоящего изобретения описаны более подробно со ссылкой на нижеследующие чертежи.

Фиг. 1 иллюстрирует устройство для формирования множества сигналов громкоговорителей из двух или более сигналов звуковых источников в соответствии с вариантом осуществления,

Фиг. 2 иллюстрирует идеальное мультизональное воспроизведение,

Фиг. 3 иллюстрирует воспроизведение множества сигналов в действительности,

Фиг. 4 иллюстрирует минимальный пример мультизонального воспроизведения с массивами,

Фиг. 5 показывает (a) иллюстративный уровень воспроизведения в светлой и темной зоне и (b) полученную в результате акустическую контрастность,

Фиг. 6 иллюстрирует общую сигнальную модель мультизонального воспроизведения с массивами,

Фиг. 7 иллюстрирует мультизональное воспроизведение с помощью массивов в соответствии с вариантом осуществления,

Фиг. 8 иллюстрирует типовую реализацию предварительного аудиопроцессора в соответствии с вариантом осуществления,

Фиг. 9 показывает иллюстративную структуру частотно-полосовых разделителей в соответствии с вариантами осуществления, причем (a) иллюстрирует акустическую контрастность, достигаемую разными способами воспроизведения, и (b) иллюстрирует выбранную амплитудно-частотную характеристику разделительного фильтра аудиосигнала,

Фиг. 10 показывает иллюстративный дизайн формирователей спектра в соответствии с вариантами осуществления, причем (a) иллюстрирует акустическую контрастность, достигаемую заданным способом воспроизведения, и (b) иллюстрирует выбранную амплитудно-частотную характеристику формирующего спектр фильтра, и

Фиг. 11 иллюстрирует иллюстративную компоновку громкоговорителей в замкнутом пространстве в соответствии с вариантом осуществления.

Фиг. 1 иллюстрирует устройство для формирования множества сигналов громкоговорителей из двух или более сигналов звуковых источников в соответствии с вариантом осуществления. Каждый из двух или более сигналов звуковых источников должен воспроизводиться в одной или более из двух или более звуковых зон, и по меньшей мере один из двух или более сигналов звуковых источников не должен воспроизводиться по меньшей мере в одной из еще двух звуковых зон.

Устройство содержит предварительный аудиопроцессор 110, выполненный с возможностью модификации каждого из двух или более начальных аудиосигналов, чтобы получить два или более предварительно обработанных аудиосигналов. Кроме того, устройство содержит фильтр 140, выполненный с возможностью формирования множества сигналов громкоговорителей в зависимости от двух или более предварительно обработанных аудиосигналов. Предварительный аудиопроцессор 110 выполнен с возможностью использования двух или более сигналов звуковых источников в качестве двух или более начальных аудиосигналов, или предварительный аудиопроцессор 110 выполнен с возможностью формирования для каждого сигнала звукового источника из двух или более сигналов звуковых источников начального аудиосигнала еще двух начальных аудиосигналов посредством модификации упомянутого сигнала звукового источника. Кроме того, предварительный аудиопроцессор 110 выполнен с возможностью модификации каждого начального аудиосигнала из двух или более начальных аудиосигналов в зависимости от мощности сигнала или громкости другого начального аудиосигнала из двух или более начальных аудиосигналов.

Фильтр 140 выполнен с возможностью формирования множества сигналов громкоговорителей в зависимости от того, в какой из двух или более звуковых зон должны воспроизводиться два или более сигналов звуковых источников, и в зависимости от того, в какой из двух или более звуковых зон не должны воспроизводиться два или более сигналов звуковых источников.

Хотя подходы существующего уровня техники могут достичь значительной акустической контрастности, контрастность, достигаемая способами из уровня техники, как правило, не достаточна, чтобы обеспечить множество не связанных акустических сцен для лиц, находящихся в одном замкнутом пространстве, каждый раз, когда требуется воспроизведение высококачественного аудио.

Должна быть улучшена акустическая контрастность, воспринимаемая слушателями, которая зависит от акустической контрастности, определенной выше в уравнении (14), но не идентична ей. Должно быть достигнуто увеличение акустической контрастности, воспринимаемой слушателями, вместо того, чтобы максимизировать контрастность акустической энергии. В дальнейшем воспринимаемая акустическая контрастность будет упоминаться как субъективная акустическая контрастность, в то время как контрастность акустической энергии будет упоминаться как объективная акустическая контрастность. Некоторые варианты осуществления используют измерения для обеспечения направленного воспроизведения аудио и измерения для придания формы акустической утечке, в результате чего она становится менее заметной.

В дополнение к фиг. 1 устройство на фиг. 7 дополнительно содержит два (факультативных) частотно-полосовых разделителя 121, 122 и четыре (факультативных) формирователя 131, 132, 133, 134 спектра.

В соответствии с некоторыми вариантами осуществления устройство может дополнительно содержать, например, два или более частотно-полосовых разделителей 121, 122, выполненных с возможностью выполнения частотно-полосовое разделение двух или более предварительно обработанных аудиосигналов на множество разделенных по полосам частот аудиосигналов. Фильтр 140, например, может быть выполнен с возможностью формирования множества сигналов громкоговорителей в зависимости от множества разделенных по полосам частот аудиосигналов.

В некоторых вариантах осуществления устройство, например, может дополнительно содержать один или более формирователей 131, 132, 133, 134 спектра, выполненных с возможностью модификации огибающей спектра одного или более из множества разделенных по полосам частот аудиосигналов, чтобы получить один или более аудиосигналов со сформированным спектром. Фильтр 140, например, может быть выполнен с возможностью формирования множества сигналов громкоговорителей в зависимости от одного или более аудиосигналов со сформированным спектром.

На фиг. 7 показана модель сигнала реализации в соответствии с вариантами осуществления. В частности, фиг. 7 иллюстрирует мультизональное воспроизведение с помощью массивов в соответствии с вариантами осуществления. Этот пример был выбран для краткости, принимая во внимание, что способ в общем случае применим к сценариям с источниками сигналов, громкоговорителями и зонами прослушивания, как описано выше.

Имеется два источника сигналов, показанные на фиг. 7, которые обеспечивают два независимых сигнала, подаваемых на стадию «предварительной обработки». Эта стадия предварительной обработки в некоторых вариантах осуществления, например, может реализовать параллельную обработку для обоих сигналов (т.е., без микширования). В отличие от других этапов обработки этот этап обработки не входит в состав линейной системы с постоянными параметрами (LTI). Вместо этого данный этап определяет изменяющееся во времени усиление для всех обработанных сигналов источников, в результате чего сокращается их разность уровня воспроизведения. Мотивировка для этого заключается в том, что акустическая утечка в каждой зоне всегда линейно зависит от сцен, воспроизводимых в соответствующих других зонах. В то же время намеренно воспроизведенные сцены могут замаскировать акустическую утечку. Следовательно, воспринятая акустическая утечка пропорциональна разности уровня между сценами, которые намеренно воспроизводятся в соответствующих зонах. Как следствие сокращение разности уровня воспроизводимых сцен также сократит воспринятую акустическую утечку и, следовательно, увеличит субъективную акустическую контрастность. Более подробное объяснение можно найти, где ниже описана предварительная обработка.

(Факультативные) частотно-полосовые разделители 121, 122 реализуют (факультативное) частотно-полосовое разделение этапа обработки и разделяют сигнал на множество частотных полос точно так же, как сделал бы разделительный фильтр аудиосигнала в многоканальном громкоговорителе. Однако в отличие от разделительных фильтров аудиосигнала в громкоговорителе максимизация излучаемой акустической мощности является лишь второй целью этого частотно-полосового разделителя. Главная цель этого частотно-полосового разделителя состоит в том, чтобы распределить индивидуальные частотные полосы по индивидуальным измерениям воспроизведения, в результате чего максимизируется акустическая контрастность при заданных некоторых ограничениях качества. Например, сигнал позже будет подан на отдельный громкоговоритель как сигнал . При условии, что этот громкоговоритель является направленным громкоговорителем, будет подвергнут высокочастотной фильтрации, поскольку направленность этого громкоговорителя будет низкой на низких частотах. С другой стороны, позже будет подвергнут фильтрации, чтобы получить и , в результате чего соответствующие громкоговорители используются в качестве электрически направляемого массива. В более сложном сценарии может иметься больше выходов частотно-полосового разделителя, в результате чего сигналы распределяются по множеству способам воспроизведения в соответствии с потребностями применения (см. также ниже, где описана система микрофонов и громкоговорителей в замкнутом пространстве в соответствии с вариантами осуществления).

Как описано выше, измерения для направленного воспроизведения, применяемые позже, будут всегда проявлять некоторую утечку из одной зоны в другую. Эта утечка может быть измерена как разрыв акустической контрастности между зонами. В сложной компоновке эти разрывы могут возникнуть во множестве точек в частотном спектре для каждого из предусмотренных способов направленного воспроизведения, и это составляет значительное препятствие в применении этих способов. Известно, что вариации тембра являются до некоторой степени приемлемыми. Эти степени свободы могут использоваться для ослабления критических по контрасту частотных полос.

Таким образом, (факультативные) формирователи спектра 131, 132, 133, 134 спроектированы так, что воспроизводимые позже сигналы ослабляются в этих частях частотного спектра, в которых ожидается низкая акустическая контрастность. В отличие от частотно-полосовых разделителей формирователи спектра предназначены для модификации тембра воспроизводимого звука. Кроме того, этот этап обработки также может включать в себя задержки и усиления, в результате чего намеренно воспроизводимая акустическая сцена может пространственно замаскировать акустическую утечку.

Блоки, обозначенные как и , например, могут описывать линейные независимые от времени фильтры, которые оптимизированы для максимизации объективной акустической контрастности при заданных ограничениях субъективного качества. Существуют различные возможности определить эти фильтры, которые включают в себя (но без ограничения), ACC, согласование давления (см. [4] и [6]) и формирование диаграммы направленности громкоговорителя. Было обнаружено, что подход согласования давления методом наименьших квадратов, как описано при описании предварительного фильтра в соответствии с вариантами осуществления, особенно подходит, когда измеренные импульсные характеристики рассматриваются для оптимизации фильтра. Это может представлять собой предпочтительную концепцию для реализации.

Другие варианты осуществления используют упомянутый выше подход, посредством работы с вычисленными импульсными характеристиками. В конкретных вариантах осуществления импульсные характеристики вычисляются, чтобы представлять импульсные характеристики свободного поля от громкоговорителей к микрофонам.

Дополнительные варианты осуществления используют упомянутый выше подход посредством работы с вычисленными импульсными характеристиками, которые были получены с использованием модели источника образа замкнутого пространства.

Следует отметить, что импульсные характеристики измеряются один раз, результате чего во время работы не нужны какие-либо микрофоны. В отличие от ACC подход согласования давления предписывает заданную магнитуду и фазу в соответствующей светлой зоне. Это дает в результате высокое качество воспроизведения. Традиционные подходы формирования диаграммы направленности также являются подходящими, когда должны воспроизводиться высокие частоты.

Блок, обозначенный как , представляет систему LEMS, в которой каждый вход привязан к одному громкоговорителю. Каждый из выходов привязан к индивидуальному слушателю, который принимает суперпозицию всех вкладов громкоговорителей в своей индивидуальной звуковой зоне. Громкоговорители, которыми управляют без использования предварительных фильтров и , являются либо направленными громкоговорителями, излучающими преимущественно в одну звуковую зону, либо громкоговорителями, которые размещены рядом с индивидуальной звуковой зоной (или в ней), в результате чего они прежде всего возбуждают звук в этой зоне. Для более высоких частот направленные громкоговорители могут быть построены без значительного усилия. Следовательно, эти громкоговорители могут использоваться для обеспечения слушателям частот верхнего диапазона, когда громкоговорители не должны быть помещены непосредственно в уши слушателей.

Ниже более подробно описаны варианты осуществления настоящего изобретения.

Сначала будет описана предварительная обработка в соответствии с вариантами осуществления. В частности, представлена реализация блока, обозначенного как «Предварительная обработка» на фиг. 7. Для обеспечения лучшего понимания следующие пояснения сосредоточены только на одном монофоническом сигнале на каждую зону. Однако обобщение до многоканальных сигналов является очевидным. Таким образом, некоторые варианты осуществления обнаруживают многоканальные сигналы на каждую зону.

Фиг. 8 иллюстрирует типовую реализацию предварительного аудиопроцессора 110 и соответствующую модель сигнала в соответствии с вариантом осуществления. Как описано выше, два входных сигнала и предназначены для воспроизведения прежде всего в зоне 1 и зоне 2, соответственно. С другой стороны, существует некоторая акустическая утечка при воспроизведении в зону 2 и при воспроизведении в зону 1.

В дальнейшем два входных сигнала и также упоминаются как сигналы звуковых источников.

На первой факультативной стадии мощность обоих входных сигналов и (сигналов звуковых источников) нормализуется, чтобы облегчить выбор параметра для последующей обработки.

Таким образом, в соответствии с факультативным вариантом осуществления предварительный аудиопроцессор (110), например, может быть выполнен с возможностью формирования еще двух начальных аудиосигналов и посредством нормализации мощности каждого из двух или более сигналов звуковых источников и .

Полученные оценки мощности и обычно описывают долгосрочное среднее значение в отличие от блоков оценки, используемых на более поздней стадии, которые обычно рассматривают меньший промежуток времени. Обновление и может быть соединено с обнаружением активности для и , соответственно, в результате чего обновление или сохраняется, когда нет никакой активности в или . Сигналы и , например, могут быть обратно пропорциональны по отношению к и , соответственно, в результате чего умножение и на и , соответственно, приводит к сигналам и , которые проявляют сопоставимую мощность сигнала. Хотя использование этой первой стадии не является абсолютно необходимым, она гарантирует адекватную рабочую точку для относительной обработки сигналов и , и это облегчает нахождение подходящих параметров для последующих этапов. Следует отметить, что если множество экземпляров этого блока обработки помещено после блоков «Частотно-полосового разделителя» или блоков «Формирователя спектра», нормализация мощности по-прежнему должна быть применена перед блоками «Частотно-полосового разделителя».

Посредством нормализации сигналов их относительная разность уровней уже сокращается. Однако этого обычно не достаточно для намеченного эффекта, поскольку оценки мощности являются долгосрочными, в то время как вариации уровня типичных акустических сцен являются довольно краткосрочными процессами. Далее разъясняется, каким образом разность относительной мощности индивидуальных сигналов явно сокращается на краткосрочной основе, что составляет главную цель блока предварительной обработки.

Два сигнала и , которые предполагается масштабировать и воспроизвести, в дальнейшем также упоминаются как начальные аудиосигналы.

Как описано выше, предварительный аудиопроцессор 110, например, может быть выполнен с возможностью формирования для каждого сигнала звукового источника из двух или более сигналов звуковых источников , начального аудиосигнала еще двух начальных аудиосигналов , посредством модификации упомянутого сигнала звукового источника, например, посредством выполнения нормализации мощности.

Однако в альтернативных вариантах осуществления предварительный аудиопроцессор 110, например, может быть выполнен с возможностью использования двух или более сигналов звуковых источников , как два или более начальных аудиосигналов , .

На фиг. 7 два сигнала и , например, могут быть поданы на дополнительные блоки оценки громкости, например, предварительного аудиопроцессора 110, и это обеспечивает сигналы и , соответственно.

Эти сигналы, например, могут использоваться для определения коэффициентов масштабирования и в соответствии с

(17)

(18)

где в некоторых вариантах осуществления является функцией, которая монотонно возрастает относительно и монотонно убывает относительно , в то время как его значение, например, может быть ограничено абсолютным диапазоном.

Как следствие значение , например, также может монотонно возрастать вместе с коэффициентом отношения .

Коэффициенты и затем используются для масштабирования сигналов и , соответственно, чтобы получить выходные сигналы и . Выходные сигналы и , например, могут быть поданы на один или более модулей, которые выполнены с возможностью выполнения мультизонального воспроизведения, например, в соответствии с произвольным способом мультизонального воспроизведения.

Таким образом, в некоторых вариантах осуществления предварительный аудиопроцессор 110, например, может быть выполнен с возможностью модификации каждого начального аудиосигнала из двух или более начальных аудиосигналов в зависимости от мощности сигнала или громкости другого начального аудиосигнала из двух или более начальных аудиосигналов посредством модификации упомянутого начального аудиосигнала из двух или более начальных аудиосигналов в зависимости от отношения первого значения (y) ко второму значению (x). Второе значение (x), например, может зависеть от мощности сигнала упомянутого начального аудиосигнала, и первое значение (y), например, может зависеть от мощности сигнала другого начального аудиосигнала из двух или больше начальных аудиосигналов. Или второе значение (x), например, может зависеть от громкости упомянутого начального аудиосигнала, и первое значение (y), например, может зависеть от громкости упомянутого другого начального аудиосигнала из двух или более начальных аудиосигналов.

В соответствии с некоторыми вариантами осуществления предварительный аудиопроцессор 110, например, может быть выполнен с возможностью модификации каждого начального аудиосигнала из двух или более начальных аудиосигналов в зависимости от мощности сигнала или громкости другого начального аудиосигнала из двух или более начальных аудиосигналов посредством определения усиления для упомянутого начального аудиосигнала и посредством применения усиления к упомянутому начальному аудиосигналу. Кроме того, предварительный аудиопроцессор 110, например, может быть выполнен с возможностью определения усиления в зависимости от отношения между первым значением и вторым значением, упомянутое отношение является отношением между мощностью сигнала упомянутого другого начального аудиосигнала из двух или более начальных аудиосигналов и мощностью сигнала упомянутого начального аудиосигнала в качестве второго значения, или упомянутое отношение является отношением между громкостью упомянутого другого начального аудиосигнала из двух или более начальных аудиосигналов и громкостью упомянутого начального аудиосигнала в качестве второго значения.

В некоторых вариантах осуществления предварительный аудиопроцессор 110, например, может быть выполнен с возможностью определения усиления в зависимости от функции, которая монотонно возрастает вместе с отношением между первым значением и вторым значением.

В соответствии с некоторыми вариантами осуществления, например, ни один из сигналов , или не микшируется ни с одном из сигналов , или .

Далее более подробно разъясняется реализация этапа обработки. Поскольку этапы обработки для и идентичны, будут описаны только этапы обработки для , которые также применимы к посредством замены индексов 1 и 2.

Правило получения , например, может быть задано как

(19)

где , например, может быть выбрано близким, но меньше 1.

В приведенной выше формуле предполагается, что содержит один или более аудиоканалов. L указывает количество аудиоканалов .

В простом случае содержит только один канал, и формула (19) становится следующей:

(19a)

может находиться в диапазоне 0 < <1. Предпочтительно , например, может быть близким к 1. Например, может находиться в диапазоне 0,9 < < 1.

В других случаях , например, содержит два или более каналов.

Масштабный коэффициент тогда может быть определен в соответствии с

(20)

таким образом,

(21)

описывает масштабированный аудиосигнал.

Правило для получения может быть задано, например, как

(22)

может находиться в диапазоне 0 < <1.

В предпочтительных вариантах осуществления для из формулы (19) и из формулы (22): > .

Хотя имеется множество других вариантов. Один из них, в соответствии с вариантом осуществления, представляет собой среднеквадратическое значение в окне из отсчетов, заданное как

(23)

Другое определение в соответствии с другим вариантом осуществления представляет собой максимальное квадратичное значение в таком окне

(24)

В соответствии с некоторыми вариантами осуществления, чтобы определить , значение также должно быть определено, как описано выше. Однако фактический способ определения , а также параметры, могут отличаться от выбранных для (например, в зависимости от потребностей приложения). Фактическое усиление , например, может быть определено аналогично правилу усиления, которое использовалось бы для традиционного блока сжатия аудио, см.:

https://en.wikipedia.org/wiki/Dynamic_range_compression (см. [65]),

но с учетом и , и .

В соответствии с вариантом осуществления правило усиления соответствующего блока понижающего сжатия для сигнала будет представлять собой

(25)

или

(25')

где

где T₁ определяет порог сжатия в дБ и R коэффициент сжатия, используемый в стандартном блоке сжатия аудиоданных. Например, 1 ≤ R ≤ 100. Например, 1 < R <100. Например, 2 < R <100. Например, 2 < R <50.

В отличие от формул (25) и (25') стандартный блок сжатия аудиоданных в соответствии с существующим уровнем техники не учитывает для определения усиления за .

Другими вариантами является реализация блока повышающего сжатия, заданного как

(25a)

или

(25a')

где

что аналогично за исключением рабочего диапазона (следует отметить другое условие) и других параметров. Следует отметить, что T₂ определяет более низкий порог в отличие от T₁.

Некоторые варианты осуществления, в которых T₂ < T₁, объединяют оба правила усиления.

В вариантах осуществления полученное в результате правило для получения и может представлять собой любую комбинацию блоков повышающего и понижающего сжатия, в которых практические реализации будут обычно требовать наложения ограничения на рассматриваемые диапазоны и .

Когда рассматриваются более двух сигналов , например, N сигналов, формула (25), например, может стать следующей:

где

(25b)

За других усилений , формула (25), например, может стать следующей:

где

(25c)

Формула (25a), например, может стать следующей:

где

(25b)

За других усилений , формула (25a), например, может стать следующей:

где

(25c)

Дополнительные альтернативные правила могут быть определены для сокращения разности энергий между обеими сценами, как задано посредством

(25d)

где α=1 приведет к тому, что сигнал h₁(k) имеет такую же энергию, как сигнал d₂(k). С другой стороны, α=0 не имеет никакого эффекта, выбранный параметр 0 < α < 1 может использоваться для изменения намеченного влияния того этапа.

Другой возможностью является использование сигмоидальной функции для ограничения выброса энергии h₂(k) по сравнению с d₁(k)

(25e)

где f(x) может быть одной из

которые все имеют ограничение -1 < f(x) < 1, при этом выполняется условие f'(0)=1.

В некоторых вариантах осуществления предварительный аудиопроцессор 110, например, может быть выполнен с возможностью модификации начального аудиосигнала из двух или более начальных аудиосигналов в зависимости от мощности сигнала или громкости другого начального аудиосигнала из двух или более начальных аудиосигналов посредством определения усиления для упомянутого начального аудиосигнала и посредством применения усиления к упомянутому начальному аудиосигналу, и предварительный аудиопроцессор 110, например, может быть выполнен с возможностью определения усиления в соответствии с одной или более из приведенных выше формул.

Ниже описаны дополнительные признаки предварительной обработки в соответствии с вариантами осуществления.

В соответствии с вариантом осуществления ответвление сигналов и , которое подается на соответственно противоположную сторону, например, может быть отфильтровано через фильтр, описывающий фактическую акустическую связь двух зон.

Кроме того, в соответствии с вариантом осуществления блоки оценки мощности, например, могут работать с сигналами, которые были обработаны взвешивающим фильтром, например, которые были обработаны взвешивающим фильтром, описанным в:

https://en.wikipedia.org/wiki/Weighting_filter (см. [66]).

В соответствии с вариантом осуществления блоки оценки мощности, например, могут быть заменены блоками оценки громкости, например, как описано в ITU-R Recommendation BS.1770-4. Это даст возможность улучшенного качества воспроизведения, поскольку воспринимаемая громкость лучше соответствует этой модели.

Кроме того, в соответствии с вариантом осуществления порог уровня, например, может использоваться, чтобы исключить тишину из рассмотрения для оценок и , при нормализации абсолютной мощности.

Кроме того, в варианте осуществления положительная производная по времени отдельно оцененной мощности может использоваться в качестве индикатора для активности входных сигналов и . Оценки и обновляются только тогда, когда обнаружена активность.

Ниже описан частотно-полосовой разделитель в соответствии с вариантами осуществления. В частности, представлена реализация блока, обозначенного «Частотно-полосовой разделитель» на фиг. 7. В варианте осуществления этот блок, например, может быть реализован как цифровой разделительный фильтр аудиосигнала, например, как цифровой разделительный фильтр аудиосигнала, описанный в:

https://en.wikipedia.org/wiki/Audio_crossover#Digital (см. [67]).

Желаемая частотная характеристика путей от входа до выхода, например, может представлять собой полосовой фильтр с плоской частотной характеристикой в частотной полосе пропускания и высоким ослаблением в частотной полосе подавления. Границы частотных полос пропускания и частотных полос подавления выбираются в зависимости от диапазона частот, в котором измерения воспроизведения, соединенные с индивидуальными выходами, могут достигнуть достаточной акустической контрастности между соответствующими звуковыми зонами.

Фиг. 9 показывает иллюстративную структуру одного или более частотно-полосовых разделителей в соответствии с вариантами осуществления, причем (a) иллюстрирует акустическую контрастность, достигаемую разными способами воспроизведения, и (b) иллюстрирует выбранную амплитудно-частотную характеристику разделительного фильтра аудиосигнала. В частности, фиг. 9 показывает иллюстративную структуру амплитудно-частотной характеристики фильтра относительно достигнутой акустической контрастности.

Как видно из фиг. 9, формирователь спектра, например, может быть выполнен с возможностью модификации огибающей спектра аудиосигнала в зависимости от акустической контрастности.

Различные концепции могут использоваться для выполнения фактической реализации одного или более частотно-полосовых разделителей. Например, некоторые варианты осуществления используют КИХ-фильтры (FIR), другие варианты осуществления используют БИХ-фильтр (IIR), и дополнительные варианты осуществления используют аналоговые фильтры. Может использоваться любая возможная концепция для понимания частотно-полосовых разделителей, например, любая концепция, которая представлена в общей литературе по этой теме.

Некоторые варианты осуществления, например, могут содержать формирователь спектра для выполнения формирования спектра. Когда формирование спектра проводится над аудиосигналом, огибающая спектра этого аудиосигнала, например, может быть модифицированная, и может быть получен аудиосигнал со сформированным спектром.

Ниже описан формирователь спектра в соответствии с вариантами осуществления, в частности формирователь спектра, проиллюстрированный на фиг. 7. Формирователи спектра составляют фильтры, которые проявляют частотные характеристики, аналогичные тем, которые известны для эквалайзеров, например, комбинации фильтров первого порядка или второго порядка, см.:

https://en.wikipedia.org/wiki/Equalization_(audio)#Filter_functions (см. [68]).

Однако итоговые частотные характеристики спектрального фильтра спроектированы совершенно другим способом по сравнению с эквалайзерами. Спектральные фильтры учитывают максимальное спектральное искажение, которое будет воспринято слушателем, и спектральные фильтры спроектированы таким образом, что они ослабляют те частоты, которые, как известно, производят акустическую утечку.

Мотивировка для этого заключается в том, что человеческое восприятие по-разному чувствительно к спектральным искажениям акустических сцен на определенных частотах в зависимости от возбуждения окружающих частот и в зависимости от того, является ли искажение ослаблением или усилением.

Например, если к широкополосному аудиосигналу будет применен заграждающий фильтр с малой шириной полосы, слушатели почувствуют лишь небольшую разницу, если вообще почувствуют. Однако, если к тому же сигналу будет применен пропускающий фильтр с той же шириной полосы, слушатели с большой вероятностью почувствуют значительную разницу.

Варианты осуществления основаны на обнаружении, что этот факт может быть использован, поскольку ограниченный по частотной полосе разрыв акустической контрастности приводит к пику акустической утечки (см. фиг. 5). Если акустическая сцена, воспроизводимая в светлой зоне, будет отфильтрована согласно заграждающему фильтру, это с большой вероятностью не будет воспринято слушателями в этой зоне. С другой стороны, пик акустической утечки, который воспринимается в темной зоне, будет компенсирован этим измерением.

Пример соответствующей характеристики фильтра показан на фиг. 10. В частности, фиг. 10 показывает иллюстративную структуру формирователей спектра в соответствии с вариантами осуществления, причем (a) иллюстрирует акустическую контрастность, достигаемую заданным способом воспроизведения, и (b) иллюстрирует выбранную амплитудно-частотную характеристику формирующего спектр фильтра.

Как описано в общих чертах выше, фильтр 140 выполнен с возможностью формирования множества сигналов громкоговорителей в зависимости от того, в какой из двух или более звуковых зон должны воспроизводиться два или более сигналов звуковых источников, и в зависимости от того, в какой из двух или более звуковых зон не должны воспроизводиться два или более сигналов звуковых источников.

Ниже описан фильтр 140, например, предварительный фильтр в соответствии с вариантами осуществления.

В варианте осуществления, например, один или более сигналов звуковых источников должны воспроизводиться в первой звуковой зоне, но не во второй звуковой зоне, и по меньшей мере один дополнительный сигнал звукового источника должен воспроизводиться во второй звуковой зоне, но не в первой звуковой зоне.

См., например, фиг. 2 и фиг. 3, где первый сигнал звукового источника должен воспроизводиться в звуковой зоне 1, но не в звуковой зоне 2, и где второй сигнал звукового источника должен воспроизводиться в звуковой зоне 2, но не в звуковой зоне 1.

Таким образом, каждый из двух или более предварительно обработанных аудиосигналов , был сформирован на основе одного из двух или более сигналов звуковых источников , , из этого следует, что в таком варианте осуществления один или более предварительно обработанных аудиосигналов будут воспроизведены в звуковой зоне 1, но не в звуковой зоне 2 (а именно, тот один или более предварительно обработанных аудиосигналов , которые были сформированы посредством модификации одного или более сигналов звуковых источников , которые должны воспроизводиться в звуковой зоне 1, но не в звуковой зоне 2). Кроме того, из этого следует, что по меньшей мере один дополнительный предварительно обработанный аудиосигнал должен воспроизводиться в звуковой зоне 2, но не в звуковой зоне 1 (а именно, тот один или более предварительно обработанных аудиосигналов , которые были сформированы посредством модификации одного или более сигналов звуковых источников , которые должны воспроизводиться в звуковой зоне 2, но не в звуковой зоне 1).

Могут использоваться подходящие средства, которые достигают того, чтобы сигнал звукового источника был воспроизведен в первой звуковой зоне, но не во второй звуковой зоне, или которые по меньшей мере достигают того, чтобы сигнал звукового источника был воспроизведен в первой звуковой зоне с большим громкостью, чем во второй звуковой зоне (и/или которые по меньшей мере достигают того, чтобы сигнал звукового источника был воспроизведен в первой звуковой зоне с большей энергией сигнала, чем во второй звуковой зоне).

Например, может использоваться фильтр 140, и коэффициенты фильтра, например, могут быть выбраны таким образом, чтобы первый сигнал звукового источника, который должен воспроизводиться в первой звуковой зоне, но не во второй звуковой зоне, был воспроизведен в первой звуковой зоне с большим громкостью (и/или с большей энергией сигнала), чем во второй звуковой зоне. Кроме того, коэффициенты фильтра, например, могут быть выбраны таким образом, чтобы второй сигнал звукового источника, который должен воспроизводиться во второй звуковой зоне, но не в первой звуковой зоне, был воспроизведен во второй звуковой зоне с большим громкостью (и/или с большей энергией сигнала), чем в первой звуковой зоне.

Например, может использоваться КИХ-фильтр (фильтр с конечной импульсной характеристикой), и коэффициенты фильтра, например, могут быть подходящим образом выбраны, как описано ниже.

Или, например, может использоваться синтез волнового поля (WFS), известный в области техники обработки аудиоданных (для общей информации о синтезе волнового поля, например, см. [69] в качестве одного из многих примеров).

Или, например, может использоваться звукозапись с эффектом присутствия высокого порядка (Higher-Order Ambisonics), известная в области техники обработки аудиоданных (для получения общей информации о Higher-Order Ambisonics, например, см. [70] в качестве одного из многих примеров).

Теперь будет более подробно описан фильтр 140 в соответствии с некоторыми конкретными вариантами осуществления.

В частности, представлена реализация блока, обозначенного как и , показанного на фиг. 7. Предварительный фильтр, например, может быть привязан к массиву громкоговорителей. Набор из множества громкоговорителей рассматривается как массив громкоговорителей каждый раз, когда предварительный фильтр подает по меньшей мере один входной сигнал на множество громкоговорителей, которые в основном возбуждаются в одном и том же диапазоне частот. Возможно, что индивидуальный громкоговоритель является частью множества массивов, и что на один массив подаётся множество входных сигналов, которые затем излучаются в разных направлениях.

Имеются разные известные способы определения линейных предварительных фильтров, в результате чего массив ненаправленных громкоговорителей продемонстрирует картину направленного излучения, см., например, [1], [3], [4], [5] и [6].

Некоторые варианты осуществления подход согласования давления, основанный на измеренных импульсных характеристиках. Некоторые из тех вариантов осуществления, которые используют такой подход, описаны далее, причем рассматривается только один массив громкоговорителей. Другие варианты осуществления используют множество массивов громкоговорителей. Применение к множеству массивов громкоговорителей является очевидным.

Для описания этих вариантов осуществления используются обозначения, которые больше подходят для получения КИХ-фильтров по сравнению с использованными выше обозначениями, что также охватывало бы БИХ-фильтры. С этой целью коэффициенты фильтра заключены в векторы

(26)

Для оптимизации можно рассмотреть свернутую импульсную характеристику предварительных фильтров и импульсные характеристики помещения (RIR), которые заданы как

(27)

где и предполагаются равными нулю для и или , соответственно.

В результате полные импульсные характеристики имеют длину отсчетов и могут быть заключены в вектор

(28)

Теперь возможно определить такую матрицу свертки , что

(29)

описывает такую же свертку, как уравнение (27). Для оптимизации желаемый импульс может быть определен в соответствии с потребностями приложения.

Способ определить состоит в том, чтобы рассматривать каждый громкоговоритель как потенциальный источник для воспроизведения с его первоначальным звуковым полем в светлой зоне, но без излучения в темной зоне. Это описано посредством

(30)

где задержка используется, чтобы гарантировать причинную зависимость. Совершенное воспроизведение описано посредством

(31)

но обычно не будет возможным вследствие физических ограничений. Следует отметить, что это определение является всего одним среди многих, которое имеет некоторую практическую ценность благодаря его простоте, хотя другие определения могут являться более подходящими в зависимости от сценария применения.

Теперь ошибка воспроизведения наименьших квадратов может быть определена как:

(32)

(33)

где - матрица, которая может быть выбрана таким образом, что достигаются зависимое от частоты взвешивание и/или зависимое от позиции взвешивание.

Выводя и из и , соответственно, таким же образом, как было выведено из , уравнение (14) может быть представлено как

(34)

Следует отметить, что максимизация уравнения (34) может быть решена как обобщенная задача о собственных значениях [3].

Ошибка может быть минимизирована посредством определения комплексного градиента из уравнения (33) и приравнивания его к нулю [7]. Комплексный градиент уравнения (33) задан посредством

(35)

Что приводит к

(36)

как оптимальному решению наименьших квадратов.

Хотя много алгоритмов сформулированы для метода невзвешенных наименьших квадратов, они могут использоваться для реализации метода взвешенных наименьших квадратов посредством простой замены и на и , соответственно.

Матрица W_q весовых коэффициентов общем случае представляет собой матрицу свертки, сходную с матрицей H, определенной посредством (26)-(29).

Матрица H состоит из нескольких подматриц H_m,l:

(36a)

Пример для H_m,l может быть дан в предположении

(36b)

где

(36c)

Из той схемы эксперту ясно, как (27) и (29) определяют структуру H.

Чтобы обеспечить зависимое от частоты и зависимое от микрофона взвешивание через W_q, импульсные характеристики w_m,q(k) в соответствии с известными методами проектирования фильтров. Здесь w_m,q(k) определяет весовой коэффициент для источника q и микрофона m. В отличие от матрицы H, матрица W_q является блочно-диагональной матрицей:

(36d)

где W_m,q структурирован как H_m,l.

Относительно вычисления коэффициентов фильтра следует отметить, что (36) явно задает необходимые коэффициенты фильтра, их вычисление требует больших усилий на практике. Вследствие сходства этой проблемы с проблемой, решенной для выравнивание амплитудно-частотной характеристики комнаты для прослушивания, используемые в ней способы также могут быть применены.

Таким образом, очень эффективный алгоритм для вычисления (36) описан в [71]: SCHNEIDER, Martin; KELLERMANN, Walter. Iterative DFT-domain inverse filter determination for adaptive listening room equalization. In: Acoustic Signal Enhancement; Proceedings of IWAENC 2012; International Workshop on. VDE, 2012, S. 1-4.

Далее описана система микрофонов и громкоговорителей в замкнутом пространстве (LEMS) в соответствии с вариантами осуществления. В частности, описана структура системы LEMS в соответствии с вариантами осуществления. В некоторых вариантах осуществления описанные выше измерения, например, могут полагаться на отдельные свойства системы LEMS.

Фиг. 11 показывает иллюстративную компоновку громкоговорителей в замкнутом пространстве в соответствии с вариантом осуществления. В частности, фиг. 11 показывает иллюстративную систему LEMS с четырьмя звуковыми зонами. В каждой из этих звуковых зон должна воспроизводиться индивидуальная акустическая сцена. С этой целью громкоговорители, показанные на фиг. 11, используются особым образом в зависимости от их позиции относительно друг друга и относительно звуковых зон.

Два массива громкоговорителей, обозначенные как «Массив 1» и «Массив 2», используются совместно с соответствующим образом определенными предварительными фильтрами (см. выше). Таким образом, возможно электрически направить излучение этих массивов в «Зону 1» и «Зону 2». В предположении, что оба массива обнаруживают расстояние между громкоговорителями в несколько сантиметров, в то время как массивы обнаруживают размер апертуры в несколько дециметров, эффективное управление направлением возможно для средних частот.

Хотя это не очевидно, всенаправленными громкоговорителями "LS 1", "LS 2", "LS 3" и "LS 4", которые, например, могут быть расположены на расстоянии 1-3 метра друг от друга, также можно управлять как массивом громкоговорителей, рассматривая частоты, например, ниже 300 Гц. В соответствии с этим предварительные фильтры могут быть определены с использованием описанного выше способа.

Громкоговорители "LS 5" и "LS 6" являются направленными громкоговорителями, которые обеспечивают высокочастотные аудиоданные для зон 3 и 4, соответственно.

Как описано выше, измерения для направленного воспроизведения иногда могут не приводить к достаточным результатам для всего слышимого диапазона частот. Чтобы компенсировать эту проблему, например, могут иметься громкоговорители, расположенные в непосредственной близости или в пределах соответствующих звуковых зон. Хотя это позиционирование является субоптимальным относительно воспринимаемого качества звука, разность расстояний от громкоговорителей до назначенных зон по сравнению с расстоянием до других зон допускает пространственно фокусированное воспроизведение, независимое от частоты. Таким образом, эти громкоговорители, например, могут использоваться в диапазонах частот, в которых другие способы не приводят к удовлетворительным результатам.

Ниже описаны дополнительные аспекты в соответствии с некоторыми вариантами осуществления.

В некоторых вариантах осуществления блок «Предварительной обработки» помещен после блоков «Частотно-полосового разделителя» или после блоков «Формирователя спектра». В этом случае один блок предварительной обработки, например, может быть реализован для каждой из «разделенных» частотных полос. В примере, показанном на фиг. 7, один блок «Предварительной обработки» будет рассматривать и , и другой - и . Однако один аспект предварительной обработки должен по-прежнему быть помещен в старую позицию, как описано выше, где описана предварительная обработка.

Поскольку акустическая утечка зависит от способа воспроизведения, который выбран по-разному для каждой частотной полосы, такая реализация имеет преимущество в том, что параметры предварительной обработки могут соответствовать требованиям способа воспроизведения. Кроме того, при выборе такой реализации компенсация утечки в одной частотной полосе не затронет другую частотную полосу. Поскольку блок «Предварительной обработки» не является системой LTI, этот обмен подразумевает изменение в функциональности всей системы, даже при том, что полученная в результате система по-прежнему надежно решит ту же самую проблему.

Кроме того, следует отметить, что некоторые варианты осуществления могут использовать измерение импульсных характеристик со всех громкоговорителей на множество микрофонов перед работой. Следовательно, микрофоны не являются необходимыми во время работы.

Предложенный способ в общем случае подходит для любого сценария мультизонального воспроизведения, например, для сценариев внутри автомобиля.

Хотя некоторые аспекты были описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где модуль или устройство соответствуют этапу способа или признаку этапа способа. Аналогичным образом аспекты, описанные в контексте этапа способа, также представляют описание соответствующего модуля, или элемента, или признака соответствующего устройства. Некоторые или все этапы способа могут быть исполнены посредством (или с использованием) аппаратного устройства, такого как, например, микропроцессора, программируемого компьютера или электронной схемы. В некоторых вариантах осуществления один или более из самых важных этапов способа могут быть исполнены таким устройством.

В зависимости от некоторых требований реализации варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении, или по меньшей мере частично в аппаратных средствах, или по меньшей мере частично в программном обеспечении. Реализация может быть выполнена с использованием цифрового запоминающего носителя, например гибкого диска, DVD, Blu-ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющих сохраненные на них читаемые в электронном виде управляющие сигналы, которые взаимодействуют (или способны взаимодействовать) с программируемой компьютерной системой, в результате чего выполняется соответствующий способ. Таким образом, цифровой запоминающий носитель может являться машиночитаемым.

Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных, имеющий читаемые в электронном виде управляющие сигналы, которые способны взаимодействовать с программируемой компьютерной системой, в результате чего выполняется один из способов, описанных в настоящем документе.

Обычно варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причём программный код выполнен с возможностью выполнения одного из способов, когда компьютерный программный продукт исполняется на компьютере. Программный код, например, может быть сохранен на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в настоящем документе, сохраненных на машиночитаемом носителе.

Другими словами, вариант осуществления способа изобретения, таким образом, представляет собой компьютерную программу, имеющую программный код для выполнения одного из способов, описанных в настоящем документе, когда компьютерная программа исполняется на компьютере.

Дополнительный вариант осуществления способов изобретения, таким образом, представляет собой носитель данных (или цифровой запоминающий носитель, или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Носитель данных, цифровой запоминающий носитель или носитель с записанными данными обычно является материальными и/или долгого хранения.

Дополнительный вариант осуществления способа изобретения, таким образом, представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для выполнения одного из способов, описанных в настоящем документе. Поток данных или последовательность сигналов, например, могут быть выполнены с возможностью переноса через соединение передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например компьютер или программируемое логическое устройство, выполненное с возможностью или адаптированное для выполнения одного из способов, описанных в настоящем документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную на нем компьютерную программу для выполнения одного из способов, описанных в настоящем документе.

Дополнительный вариант осуществления в соответствии с изобретением содержит устройство или систему, выполненную с возможностью переноса (например, в электронном или оптическом виде) компьютерной программы для выполнения одного из способов, описанных в настоящем документе, к приемнику. Приемник, например, может являться компьютером, мобильным устройством, запоминающим устройством и т.п. Устройство или система, например, могут содержать файловый сервер для переноса компьютерной программы к приемнику.

В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторой или всей функциональности способов, описанных в настоящем документе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из способов, описанных в настоящем документе. Обычно способы предпочтительно выполняются любым аппаратным устройством.

Устройство, описанное в настоящем документе, может быть реализовано с использованием аппаратного устройства, или с использованием компьютера, или с использованием сочетания аппаратного устройства и компьютера.

Способы, описанные в настоящем документе, могут быть выполнены с использованием аппаратного устройства, или с использованием компьютера, или с использованием сочетания аппаратного устройства и компьютера.

Описанные выше варианты осуществления являются лишь иллюстрацией принципов настоящего изобретения. Подразумевается, что модификации и вариации размещений и подробностей, описанных в настоящем документе, будут очевидны другим специалистам в данной области техники. Таким образом, подразумевается, что изобретение ограничено только объемом нижеследующей формулы изобретения, а не конкретными подробностями, представленными в качестве описания и разъяснения вариантов осуществления, представленных в настоящем документе.

Литература

[1] W. Druyvesteyn and J. Garas, ʺPersonal sound,ʺ Journal of the Audio Engineering Society, vol. 45, no. 9, pp. 685-701, 1997.

[2] F. Dowla and A. Spiridon, ʺSpotforming with an array of ultra-wideband radio transmitters,ʺ in Ultra Wideband Systems and Technologies, 2003 IEEE Conference on, Nov 2003, pp. 172-175.

[3] J.-W. Choi and Y.-H. Kim, ʺGeneration of an acoustically bright zone with an illuminated region using multiple sources,ʺ Journal of the Acoustical Society of America, vol. 111, no. 4, pp. 1695-1700, 2002.

[4] M. Poletti, ʺAn investigation of 2-d multizone surround sound systems,ʺ in Audio Engineering Society Convention 125, Oct 2008. [Online]. Available: http://www.aes.org/e-lib/browse.cfm?elib=14703.

[5] Y. Wu and T. Abhayapala, ʺSpatial multizone soundfield reproduction,ʺ in Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE International Conference on, April 2009, pp. 93-96.

[6] Y. J. Wu and T. D. Abhayapala, ʺSpatial multizone soundfield reproduction: Theory and design,ʺ Audio, Speech, and Language Processing, IEEE Transactions on, vol. 19, no. 6, pp. 1711-1720, 2011.

[7] D. Brandwood, ʺA complex gradient operator and its application in adaptive array theory,ʺ Microwaves, Optics and Antennas, IEE Proceedings H, vol. 130, no. 1, pp. 11-16, Feb. 1983.

[8] US 2005/0152562 A1.

[9] US 2013/170668 A1.

[10] US 2008/0071400 A1.

[11] US 2006/0034470 A1.

[12] US 2011/0222695 A1.

[13] US 2009/0232320 A1.

[14] US 2015/0256933 A1.

[15] US 6,674,865 B1.

[16] DE 30 45 722 A1.

[17] US 2012/0140945 A1.

[18] US 2008/0273713 A1.

[19] US 2004/0105550 A1.

[20] US 2006/0262935 A1.

[21] US 2005/0190935 A1.

[22] US 2008/0130922 A1.

[23] US 2010/0329488 A1.

[24] DE 10 2014 210 105 A1.

[25] US 2011/0286614 A1.

[26] US 2007/0053532 A1.

[27] US 2013/0230175 A1.

[28] WO 2016/008621 A1.

[29] US 2008/0273712 A1.

[30] US 5,870,484.

[31] US 5,809,153.

[32] US 2006/0034467 A1.

[33] US 2003/0103636 A1.

[34] US 2003/0142842 A1.

[35] JP 5345549.

[36] US2014/0056431 A1.

[37] US 2014/0064526 A1.

[38] US 2005/0069148 A1.

[39] US 5,081,682.

[40] DE 90 15 454.

[41] US 5,550,922.

[42] US 5,434,922.

[43] US 6,078,670.

[44] US 6,674,865 B1.

[45] DE 100 52 104 A1.

[46] US 2005/0135635 A1.

[47] DE102 42 558 A1.

[48] US 2010/0046765 A1.

[49] DE 10 2010 040 689.

[50] US 2008/0103615 A1.

[51] US 8,190,438 B1.

[52] WO 2007/098916 A1.

[53] US 2007/0274546 A1.

[54] US 2007/0286426 A1.

[55] US 5,018,205.

[56] US 4,944,018.

[57] DE 103 51 145 A1.

[58] JP 2003-255954.

[59] US 4,977,600.

[60] US 5,416,846.

[61] US 2007/0030976 A1.

[62] JP 2004-363696.

[63] Wikipedia: ʺAngular resolutionʺ, https://en.wikipedia.org/wiki/Angular_resolution, retrieved from the Internet on 8 April 2016.

[64] Wikipedia: ʺNyquist-Shannon sampling theoremʺ, https://en.wikipedia.org/wiki/Nyquist-Shannon_sampling_theorem, retrieved from the Internet on 8 April 2016.

[65] Wikipedia: ʺDynamic range compressionʺ, https://en.wikipedia.org/wiki/Dynamic_range_compression, retrieved from the Internet on 8 April 2016.

[66] Wikipedia: ʺWeighting filterʺ, https://en.wikipedia.org/wiki/Weighting_filter, retrieved from the Internet on 8 April 2016.

[67] Wikipedia: ʺAudio crossover - Digitalʺ, https://en.wikipedia.org/wiki/Audio_crossover#Digital, retrieved from the Internet on 8 April 2016.

[68] Wikipedia: ʺEqualization (audio) -Filter functionsʺ, https://en.wikipedia.org/wiki/Equalization_(audio)#Filter_functions, retrieved from the Internet on 8 April 2016.

[69] WO 2004/114725 A1.

[70] EP 2 450 880 A1.

[71] SCHNEIDER, Martin; KELLERMANN, Walter: ʺIterative DFT-domain inverse filter determination for adaptive listening room equalization.ʺ In: Acoustic Signal Enhancement; Proceedings of IWAENC 2012; International Workshop on. VDE, 2012, S. 1-4.