Результат интеллектуальной деятельности: УСТРОЙСТВО, СПОСОБ ИЛИ КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ ОБРАБОТКИ ПРЕДСТАВЛЕНИЯ ЗВУКОВОГО ПОЛЯ В ОБЛАСТИ ПРОСТРАНСТВЕННОГО ПРЕОБРАЗОВАНИЯ

Настоящее изобретение относится к области записи и воспроизведения пространственного звука.

В общем, запись пространственного звука направлена на захват звукового поля с множеством микрофонов, так что на стороне воспроизведения слушатель воспринимает звуковое изображение как оно есть в местоположении записи. В предусмотренном случае, пространственный звук захватывается в одном физическом местоположении на стороне записи (называемом «опорным местоположением»), тогда как на стороне воспроизведения, пространственный звук может подготавливаться посредством рендеринга из произвольных различных перспектив относительно исходного опорного местоположения. Различные перспективы включают в себя различные положения прослушивания (называемые «виртуальными положениями прослушивания») и ориентации прослушивания (называемые «виртуальными ориентациями прослушивания»).

Рендеринг пространственного звука из произвольных различных перспектив относительно исходного местоположения записи обеспечивает возможность различных вариантов применения. Например, в рендеринге с 6 степенями свободы (6DoF), слушатель на стороне воспроизведения может перемещаться свободно в виртуальном пространстве (обычно с ношением наголовного дисплея и наушников) и воспринимать аудио/видеосцену из различных перспектив. В вариантах применения с 3 степенями свободы (3DoF), в которых, например, видео на 360° вместе с пространственным звуком записывается в конкретном местоположении, видеоизображение может вращаться на стороне воспроизведения, и проекция видео может регулироваться (например, из стереографической проекции [WolframProj1] к гномонической проекции [WolframProj2], называемой «проекцией малой планеты»). Безусловно, при изменении видеоперспективы в вариантах применения 3DoF или 6DoF воспроизведенная пространственная аудиоперспектива должна регулироваться соответствующим образом для обеспечения согласованного производства аудио/видео.

Существуют различные подходы из уровня техники, которые обеспечивают запись и воспроизведение пространственного звука из различных перспектив. Один способ заключается в физической записи пространственного звука во всех возможных положениях прослушивания и, на стороне воспроизведения, использовании записи для воспроизведения пространственного звука, которая является ближайшей к виртуальной положения прослушивания. Тем не менее, этот подход для записи является очень тщательным и требует невыполнимо значительных усилий для измерений. Чтобы сокращать число требуемых положений для физического измерения при одновременном достижении воспроизведения пространственного звука из произвольных перспектив, могут использоваться нелинейные параметрические технологии записи и воспроизведения пространственного звука. Пример представляет собой обработку виртуальных микрофонов на основе направленного кодирования аудио (DirAC), предложенную в [VirtualMic]. Здесь, пространственный звук записывается с помощью массивов микрофонов, расположенных только в небольшом числе (3-4) физических местоположений. Впоследствии, параметры звукового поля, такие как направление поступления и рассеянность звука, могут оцениваться в каждом местоположении массива микрофонов, и эта информация затем может использоваться для синтеза пространственного звука в произвольных пространственных положениях. Хотя этот подход предлагает высокую гибкость со значительно сокращенным числом местоположений измерения, он по-прежнему требует множества местоположений измерения. Кроме того, параметрическая обработка сигналов и нарушения предполагаемой параметрической модели прохождения сигналов могут вводить артефакты обработки, которые могут быть неприятными, в частности, в вариантах применения для высококачественного воспроизведения звука.

Задача настоящего изобретения состоит в создании усовершенствованной концепции обработки представления звукового поля, связанного с заданной опорной точкой или заданной ориентацией прослушивания для представления звукового поля.

Данная задача решается устройством для обработки представления звукового поля по пункту 1 формулы, способом обработки представления звукового поля по пункту 31 формулы, или компьютерной программой по пункту 32 формулы.

В устройстве или способе обработки представления звукового поля, обработка звукового поля осуществляется с использованием отклонения целевого положения прослушивания от заданной опорной точки или отклонения целевой ориентации прослушивания от заданной ориентации прослушивания, так что получается описание обработанного звукового поля, при этом описание обработанного звукового поля, при рендеринге обеспечивает впечатление представления звукового поля в целевом положении прослушивания, отличающемся от заданной опорной точки. В качестве альтернативы или дополнения, обработка звукового поля выполняется таким образом, что описание обработанного звукового поля, при рендеринге обеспечивает впечатление представления звукового поля для целевой ориентации прослушивания, отличающейся от заданной ориентации прослушивания. В качестве альтернативы или дополнения, обработка звукового поля осуществляется с использованием пространственного фильтра, в котором получается описание обработанного звукового поля, причем описание обработанного звукового поля при рендеринге обеспечивает впечатление пространственно фильтрованного описания звукового поля. В частности, обработка звукового поля выполняется относительно области пространственного преобразования. В частности, представление звукового поля содержит множество аудиосигналов в области аудиосигналов, причем эти аудиосигналы могут представлять собой сигналы громкоговорителей, сигналы микрофонов, амбиофонические сигналы либо другие множественные представления аудиосигналов, такие как сигналы аудиообъектов или кодированные сигналы аудиообъектов. Процессор звукового поля выполнен с возможностью обработки представления звукового поля таким образом, что отклонение между заданной опорной точкой или заданной ориентацией прослушивания и целевым положением прослушивания или целевой ориентацией прослушивания применяется в области пространственного преобразования, имеющей ассоциированное правило прямого преобразования и правило обратного преобразования. Кроме того, процессор звукового поля выполнен с возможностью формирования описания обработанного звукового поля снова в области аудиосигналов, причем область аудиосигналов также представляет собой временную область или частотно-временную область, и описание обработанного звукового поля может содержать амбиофонические сигналы, сигналы громкоговорителей, бинауральные сигналы и/или сигналы аудиообъектов или кодированные сигналы аудиообъектов в зависимости от обстоятельств.

В зависимости от реализации, обработка, выполняемая посредством процессора звукового поля, может содержать прямое преобразование в область пространственного преобразования и сигналы в области пространственного преобразования, т.е. виртуальные аудиосигналы для виртуальных громкоговорителей в виртуальных положениях фактически вычисляются и, в зависимости от варианта применения, пространственно фильтруются с использованием пространственного фильтра в области преобразования либо, без факультативной пространственной фильтрации, преобразуются обратно в область аудиосигналов с использованием правила обратного преобразования. Таким образом, в этой реализации, сигналы виртуальных громкоговорителей фактически вычисляются в выводе обработки прямого преобразования, и аудиосигналы, представляющие представление обработанного звукового поля, фактически вычисляются в качестве вывода обратного пространственного преобразования с использованием правила обратного преобразования.

Тем не менее, в другой реализации, сигналы виртуальных громкоговорителей фактически не вычисляются. Вместо этого, только правило прямого преобразования, факультативный пространственный фильтр и правило обратного преобразования вычисляются и комбинируются для получения определения преобразования, и это определение преобразования применяется, предпочтительно в форме матрицы, к представлению входного звукового поля для получения представления обработанного звукового поля, т.е. отдельных аудиосигналов в области аудиосигналов. Следовательно, такая обработка с использованием правила прямого преобразования, факультативного пространственного фильтра и правила обратного преобразования приводит к такому же представлению обработанного звукового поля, как если фактически вычисляются сигналы виртуальных громкоговорителей. Тем не менее, при таком использовании определения преобразования, сигналы виртуальных громкоговорителей не должны фактически вычисляться, а только комбинация отдельных правил преобразования/фильтрации, такая как матрица, сформированная посредством комбинирования отдельных правил, вычисляется и применяется к аудиосигналам в области аудиосигналов.

Кроме того, другой вариант осуществления относится к использованию запоминающего устройства, имеющего предварительно вычисленные определения преобразования для различных целевых положений прослушивания и/или целевых ориентаций, например, для дискретной сетки положений и ориентаций. В зависимости от фактического целевого положения или целевой ориентации, наилучшее совпадающее предварительно вычисленное и сохраненное определение преобразования должно идентифицироваться в запоминающем устройстве, извлекаться из запоминающего устройства и применяться к аудиосигналам в области аудиосигналов.

Использование таких предварительно вычисленных правил или использование определения преобразования (независимо от того, представляет оно собой полное определение преобразования или только частичное определение преобразования) является полезным, поскольку правило прямого пространственного преобразования, пространственная фильтрация и правило обратного пространственного преобразования представляют собой линейные операции и могут комбинироваться между собой и применяться в «однократной» операции без явного вычисления сигналов виртуальных громкоговорителей.

В зависимости от реализации, частичное определение преобразования, полученное посредством комбинирования правила прямого преобразования и пространственной фильтрации, с одной стороны, либо полученное посредством комбинирования пространственной фильтрации и правила обратного преобразования, может применяться таким образом, что только прямое преобразование или обратное преобразование явно вычисляется с использованием сигналов виртуальных громкоговорителей. Таким образом, пространственная фильтрация может комбинироваться с правилом прямого преобразования или правилом обратного преобразования, и в силу этого число операций обработки может снижаться в зависимости от обстоятельств.

Варианты осуществления являются преимущественными в этом, что модификация звуковых сцен получается в связи с областью виртуальных громкоговорителей для согласованного воспроизведения пространственного звука из различных перспектив.

Предпочтительные варианты осуществления описывают практический способ, при котором пространственный звук записывается в или представляется относительно одного опорного местоположения, при одновременном обеспечении возможности изменять аудиоперспективу по желанию на стороне воспроизведения. Изменение аудиоперспективы, например, может представлять собой вращение или перемещение в пространстве, а также такие эффекты, как акустическое масштабирование, включающее в себя пространственную фильтрацию. Пространственный звук на стороне записи может записываться с использованием, например, массива микрофонов, причем положение в массиве представляет опорное положение (оно называется «одним местоположением записи», даже если массив микрофонов может состоять из множества микрофонов, расположенных в немного отличающихся положениях, тогда как протяжение массива микрофонов является пренебрежимо малым по сравнению с размером стороны записи). Пространственный звук в местоположении записи также может представляться с точки зрения амбиофонического сигнала (высшего порядка). Кроме того, варианты осуществления могут обобщаться таким образом, чтобы использовать сигналы громкоговорителей в качестве ввода, тогда как зона наилучшего восприятия конфигурации громкоговорителей представляет одно опорное местоположение. Чтобы изменять перспективу записанного пространственного аудио относительно опорного местоположения, записанный пространственный звук преобразуется в область виртуальных громкоговорителей. Посредством изменения положений виртуальных громкоговорителей и фильтрации сигналов виртуальных громкоговорителей в зависимости от виртуального положения прослушивания и ориентации относительно опорного положения, перспектива пространственного звука может регулироваться требуемым образом. В отличие от параметрической обработки сигналов из уровня техники [VirtualMic], представленный подход является абсолютно линейным, с исключением артефактов нелинейной обработки. Авторы в [AmbiTrans] описывают связанный подход, при котором пространственная звуковая сцена модифицируется в области виртуальных громкоговорителей, например, для обеспечения модификации вращения, искривления и направленной громкости. Тем не менее, этот подход не раскрывает то, каким образом пространственная звуковая сцена может модифицироваться для достижения согласованного рендеринга аудио в произвольном виртуальном положении прослушивания относительно опорного местоположения. Кроме того, подход в [AmbiTrans] описывает обработку только для амбиофонического ввода, тогда как варианты осуществления связаны с амбиофоническим вводом, микрофонным вводом и вводом из громкоговорителя.

Дополнительные реализации связаны с обработкой, при которой выполняется пространственное преобразование аудиоперспективы и, при необходимости, соответствующая пространственная фильтрация для имитации различных пространственных преобразования соответствующего видеоизображения, такого как сферическое видео. Ввод и вывод обработки, в варианте осуществления, представляют собой сигналы на основе амбиофонии первого порядка (FOA) или амбиофонии высшего порядка (HOA). Как указано, вся обработка может быть реализована как одно матричное умножение.

Далее предпочтительные варианты осуществления настоящего изобретения поясняются с обращением к прилагаемым чертежам, на которых:

Фиг. 1 иллюстрирует блок-схему общего представления процессора звукового поля;

Фиг. 2 иллюстрирует визуализацию сферических гармоник для различных порядков и режимов;

Фиг. 3 иллюстрирует примерный формирователь диаграммы направленности антенны для получения сигнала виртуального громкоговорителя;

Фиг. 4 показывает примерное пространственное окно кодирования со взвешиванием, используемое для фильтрации сигналов виртуальных громкоговорителей;

Фиг. 5 показывает примерное опорное положение и положение прослушивания в рассматриваемой системе координат;

Фиг. 6 иллюстрирует стандартную проекцию видеоизображения на 360° и соответствующего положения аудиопрослушивания для согласованного рендеринга аудио или видео;

Фиг. 7a иллюстрирует модифицированную проекцию видеоизображения на 360° и соответствующего модифицированного положения прослушивания аудио для согласованного рендеринга аудио/видео;

Фиг. 7b иллюстрирует видеопроекцию в случае стандартной проекции;

Фиг. 7c иллюстрирует видеопроекцию в случае проекции малой планеты;

Фиг. 8 иллюстрирует вариант осуществления устройства для обработки представления звукового поля в варианте осуществления;

Фиг. 9a иллюстрирует реализацию процессора звукового поля;

Фиг. 9b иллюстрирует реализацию модификации положения и вычисления определений обратного преобразования;

Фиг. 10a иллюстрирует реализацию с использованием полного определения преобразования;

Фиг. 10b иллюстрирует реализацию процессора звукового поля с использованием частичного определения преобразования;

Фиг. 10c иллюстрирует другую реализацию процессора звукового поля с использованием дополнительного частичного определения преобразования;

Фиг. 10d иллюстрирует реализацию процессора звукового поля с использованием явного вычисления сигналов виртуальных громкоговорителей;

Фиг. 11a иллюстрирует вариант осуществления с использованием запоминающего устройства с предварительно вычисленными определениями или правилами преобразования;

Фиг. 11b иллюстрирует вариант осуществления с использованием процессора и модуля вычисления определений преобразования;

Фиг. 12a иллюстрирует вариант осуществления пространственного преобразования для амбиофонического ввода;

Фиг. 12b иллюстрирует реализацию пространственного преобразования для каналов громкоговорителей;

Фиг. 12c иллюстрирует реализацию пространственного преобразования для сигналов микрофонов;

Фиг. 12d иллюстрирует реализацию пространственного преобразования для ввода сигналов аудиообъектов;

Фиг. 13a иллюстрирует реализацию (обратного) пространственного преобразования для получения амбиофонического вывода;

Фиг. 13b иллюстрирует реализацию (обратного) пространственного преобразования для получения выходных сигналов громкоговорителей;

Фиг. 13c иллюстрирует реализацию (обратного) пространственного преобразования для получения бинаурального вывода;

Фиг. 13d иллюстрирует реализацию (обратного) пространственного преобразования для получения бинауральных сигналов в альтернативе к фиг. 13c;

Фиг. 14 иллюстрирует блок-схему для способа или устройства для обработки представления звукового поля с явным вычислением сигналов виртуальных громкоговорителей; и

Фиг. 15 иллюстрирует блок-схему для варианта осуществления способа или устройства для обработки представления звукового поля без явного вычисления сигналов виртуальных громкоговорителей.

Фиг. 8 иллюстрирует устройство для обработки представления звукового поля, связанного с заданной опорной точкой или заданной ориентацией прослушивания для представления звукового поля. Представление звукового поля получается через входной интерфейс 900, и в выводе входного интерфейса 900, доступно представление 1001 звукового поля, связанное с заданной опорной точкой или заданной ориентацией прослушивания. Кроме того, это представление звукового поля вводится в процессор 1000 звукового поля, который работает относительно области пространственного преобразования. Другими словами, процессор 1000 звукового поля выполнен с возможностью обработки представления звукового поля таким образом, что отклонение или пространственный фильтр 1030 применяется в области пространственного преобразования, имеющей ассоциированное правило 1021 прямого преобразования и правило 1051 обратного преобразования.

В частности, процессор звукового поля выполнен с возможностью обработки представления звукового поля с использованием отклонения целевого положения прослушивания от заданной опорной точки или с использованием отклонения целевой ориентации прослушивания от заданной ориентации прослушивания. Отклонение получается посредством детектора 1100. В качестве альтернативы или дополнения, детектор 1100 реализован с возможностью обнаружения целевого положения прослушивания или целевой ориентации прослушивания без фактического вычисления отклонения. Целевое положение прослушивания и/или целевая ориентация прослушивания либо, в качестве альтернативы, отклонение между заданной опорной точкой и целевым положением прослушивания или отклонение между заданной ориентацией прослушивания и целевой ориентацией прослушивания перенаправляются в процессор 1000 звукового поля. Процессор звукового поля обрабатывает представление звукового поля с использованием отклонения таким образом, что получается описание обработанного звукового поля, при этом описание обработанного звукового поля при рендеринге обеспечивает впечатление представления звукового поля в целевом положении прослушивания, отличающемся от заданной опорной точки, или для целевой ориентации прослушивания, отличающейся от заданной ориентации прослушивания. В качестве альтернативы или дополнения, процессор звукового поля выполнен с возможностью обработки представления звукового поля с использованием пространственного фильтра таким образом, что получается описание обработанного звукового поля, при этом описание обработанного звукового поля при рендеринге обеспечивает впечатление пространственно фильтрованного описания звукового поля, т.е. описание звукового поля, которое фильтровано посредством пространственного фильтра.

Следовательно, независимо от того, выполняется ли пространственная фильтрация, процессор 1000 звукового поля выполнен с возможностью обработки представления звукового поля таким образом, что отклонение или пространственный фильтр 1030 применяется в области пространственного преобразования, имеющей ассоциированное правило 1021 прямого преобразования и правило 1051 обратного преобразования. Правила прямого и обратного преобразования извлекаются с использованием набора виртуальных громкоговорителей в виртуальных положениях, но не обязательно явно вычислять сигналы для виртуальных громкоговорителей.

Предпочтительно, представление звукового поля содержит число компонентов звукового поля, которое больше или равно двум или трем. Кроме того и предпочтительно, детектор 1100 предусмотрен в качестве явного признака устройства для обработки. Тем не менее, в другом варианте осуществления, процессор 1000 звукового поля имеет ввод для целевого положения прослушивания или целевой ориентации прослушивания либо для соответствующего отклонения. Кроме того, процессор 1000 звукового поля выводит описание 1201 обработанного звукового поля, которое может перенаправляться в выходной интерфейс 1200 и затем выводиться для передачи или хранения описания 1201 обработанного звукового поля. Один вид передачи, например, представляет собой фактический рендеринг описания обработанного звукового поля через (реальные) громкоговорители либо через наушник относительно бинаурального вывода. В качестве альтернативы, например, как и в случае амбиофонического вывода, описание 1201 обработанного звукового поля выводится посредством выходного интерфейса 1200, может перенаправляться/вводиться в амбиофонический звуковой процессор.

Фиг. 9a иллюстрирует предпочтительную реализацию процессора 1000 звукового поля. В частности, представление звукового поля содержит множество аудиосигналов в области аудиосигналов. Таким образом, ввод в процессор 1001 звукового поля содержит множество аудиосигналов и, предпочтительно по меньшей мере два или три различных аудиосигнала, таких как амбиофонические сигналы, каналы громкоговорителей, данные аудиообъектов или сигналы микрофонов. Область аудиосигналов предпочтительно представляет собой временную область или частотно-временную область.

Кроме того, процессор 1000 звукового поля выполнен с возможностью обработки представления звукового поля таким образом, что отклонение или пространственный фильтр применяется в области пространственного преобразования, имеющей ассоциированное правило 1021 прямого преобразования, полученное посредством блока 1020 прямого преобразования, и имеющей ассоциированное правило 1051 обратного преобразования, полученное посредством блока 1050 обратного преобразования. Кроме того, процессор 1000 звукового поля выполнен с возможностью формирования описания обработанного звукового поля в области аудиосигналов. Таким образом, предпочтительно, вывод блока 1050, т.е. сигнал на линии 1201 находится в той же области с вводом 1001 в блок 1020 прямого преобразования.

В зависимости от того, выполняется ли явное вычисление сигналов виртуальных громкоговорителей, блок 1020 прямого преобразования фактически выполняет прямое преобразование, и блок 1050 обратного преобразования фактически преобразует обратное преобразование. В другой реализации, в которой только связанная с областью преобразования обработка выполняется без явного вычисления сигналов виртуальных громкоговорителей, блок 1020 прямого преобразования выводит правило 1021 прямого преобразования, и блок 1050 обратного преобразования выводит правило 1051 обратного преобразования для целей обработки звукового поля. Кроме того, с учетом реализации пространственного фильтра, либо пространственный фильтр применяется в качестве блока 1030 пространственной фильтрации, либо пространственный фильтр отражается посредством применения правила 1031 пространственной фильтрации. Обе реализации, т.е. с или без явного вычисления явных сигналов виртуальных громкоговорителей, являются эквивалентными друг другу, поскольку вывод обработки звукового поля, т.е. сигнал 1201 при рендеринге обеспечивает впечатление представления звукового поля в целевом положении прослушивания, отличающемся от заданной опорной точки, или для целевой ориентации прослушивания, отличающейся от заданной ориентации прослушивания. С этой целью, пространственный фильтр 1030 и блок 1050 обратного преобразования предпочтительно принимают целевое положение или/и целевую ориентацию.

Фиг. 9b иллюстрирует предпочтительную реализацию операции модификации положения. С этой целью предусмотрен модуль 1040a определения положений виртуальных громкоговорителей. Блок 1040a принимает, в качестве ввода, определение числа виртуальных громкоговорителей в положениях виртуальных громкоговорителей, которые обычно одинаково распределяются по сфере вокруг заданной опорной точки. Предпочтительно, 250 виртуальных громкоговорителей предполагаются. В общем, число в 50 виртуальных громкоговорителей или больше виртуальных громкоговорителей и/или число в 500 виртуальных громкоговорителей или меньше виртуальных громкоговорителей является достаточным для обеспечения полезной операции высококачественной обработки звукового поля.

В зависимости от данных виртуальных громкоговорителей и в зависимости от опорного положения и/или опорной ориентации, блок 1040a формирует углы азимута/подъема для каждого виртуального динамика, связанного с опорным положением или/и опорной ориентацией. Эта информация предпочтительно вводится в блок 1020 прямого преобразования таким образом, что сигналы виртуальных громкоговорителей для виртуальных громкоговорителей, заданных во вводе в блок 1040a, могут явно (или неявно) вычисляться.

В зависимости от реализации, могут быть предусмотрены другие определения для виртуальных громкоговорителей, отличающиеся от углов азимута/подъема, такие как декартовы координаты или информация декартовых направлений, такая как векторы, указывающие в ориентации, которая соответствует ориентации громкоговорителя, направленного в соответствующую исходную или предварительно заданное опорное положение, с одной стороны, или, относительно обратного преобразования, направленного в целевой ориентации.

Блок 1040b принимает в качестве ввода целевое положение или целевую ориентацию либо, в качестве альтернативы или дополнения, отклонение для положения/ориентации между заданной опорной точкой или заданной ориентацией прослушивания от целевого положения прослушивания или целевой ориентации прослушивания. Блок 1040b затем вычисляет, из данных, сформированных посредством блока 1040a, и данных, вводимых в блок 1040b, углы азимута/подъема для каждого виртуального громкоговорителя, связанного с целевым положением или/и целевой ориентацией, и эта информация вводится в определение 1050 обратного преобразования. Таким образом, блок 1050 либо может фактически применять правило обратного преобразования с модифицированными положениями/ориентациями виртуальных громкоговорителей, либо может выводить правило 1051 обратного преобразования, как указано на фиг. 9a, для реализации без явного использования и обработки сигналов виртуальных громкоговорителей.

Фиг. 10a иллюстрирует реализацию, связанную с использованием полного определения преобразования, такого как матрица преобразования, состоящая из правила 1021 прямого преобразования, пространственного фильтра 1031 и правила 1051 обратного преобразования, так что, из представления 1001 звукового поля, вычисляется представление 1201 обработанного звукового поля.

В другой реализации, проиллюстрированной на фиг. 10b, частичное определение преобразования, такое как частичная матрица преобразования, получается посредством комбинирования правила 1021 прямого преобразования и пространственного фильтра 1031. Таким образом, в выводе частичного определения 1072 преобразования, получаются пространственно фильтрованные сигналы виртуальных громкоговорителей, которые затем обрабатываются посредством обратного преобразования 1050 для получения представления 1201 обработанного звукового поля.

В дополнительной реализации, проиллюстрированной на фиг. 10c, представление звукового поля вводится в прямое преобразование 1020 для получения фактических сигналов виртуальных громкоговорителей во вводе в пространственный фильтр. Другое (частичное) определение 1073 преобразования вычисляется посредством комбинации пространственного фильтра 1031 и правила 1051 обратного преобразования. Таким образом, в выводе блока 1201, представления обработанного звукового поля, например, получаются множество аудиосигналов в области аудиосигналов, например, во временной области или в частотно-временной области.

Фиг. 10d иллюстрирует полностью отдельную реализацию с явными сигналами в пространственной области. В этой реализации, прямое преобразование применяется к представлению звукового поля, и в выводе блока 1020, получается набор, например, из 250 сигналов виртуальных громкоговорителей. Пространственный фильтр 1030 применяется, и в выводе блока 1030, получается набор из пространственно фильтрованных, например, 250 сигналов виртуальных громкоговорителей. Набор пространственно фильтрованных сигналов виртуальных громкоговорителей подвергается пространственному обратному преобразованию 1050 для получения в выходном сигнале представления 1201 обработанного звукового поля.

В зависимости от реализации, пространственная фильтрация с использованием пространственного фильтра 1031 выполняется или не выполняется. В случае использования пространственного фильтра и в случае невыполнения модификации положения/ориентации, прямое преобразование 1020 и обратное преобразование 1050 основаны на одинаковых положениях виртуальных громкоговорителей. Тем не менее, пространственный фильтр 1031 применяется в области пространственного преобразования независимо от того, вычисляются ли явно сигналы виртуальных громкоговорителей.

Кроме того, в случае невыполнения пространственной фильтрации, модификация положения прослушивания или ориентации прослушивания на целевое положение прослушивания и целевую ориентацию выполняется, и в силу этого положения/ориентации виртуальных громкоговорителей должны отличаться при обратном преобразовании, с одной стороны, и прямом преобразовании, с другой стороны.

Фиг. 11a иллюстрирует реализацию процессора звукового поля в контексте запоминающего устройства с предварительно вычисленным множеством определений преобразования (полных или частичных) либо правил прямого преобразования, обратного преобразования или фильтрации для дискретной сетки положений и/или ориентаций, как указано на 1080.

Детектор 1100 выполнен с возможностью обнаружения целевого положения или/и целевой ориентации и перенаправляет эту информацию в процессор 1081 для нахождения ближайшего определения преобразования или правила прямого преобразования/обратного преобразования/фильтрации в запоминающем устройстве 1080. С этой целью, процессор 1081 имеет сведения относительно дискретной сетки положений и ориентаций, в которых сохраняются соответствующие определения преобразования или предварительно вычисленные правила прямого преобразования/обратного преобразования/фильтрации. После того, как процессор 1081 идентифицировал ближайшую точку сетки, максимально близко совпадающую с целевым положением или/и с целевой ориентацией, эта информация перенаправляется в модуль 1082 извлечения из запоминающего устройства, который выполнен с возможностью извлечения соответствующего полного или частичного определения преобразования или правила прямого преобразования/обратного преобразования/фильтрации для обнаруженного целевого положения и/или ориентации. В других вариантах осуществления, не обязательно использовать ближайшую точку сетки с математической точки зрения. Вместо этого, может быть полезным определять не точку сетки, представляющую собой ближайшую точку сетки, а точку сетки, связанную с целевым положением или ориентацией. Пример может представлять собой то, что точка сетки, представляющая собой, с математической точки зрения, не ближайшую, а вторую или третью ближайшую, или четвертую ближайшую, лучше ближайшей точки сетки. Причина состоит в этом, что оптимизация имеет более одной размерности, и может быть лучше обеспечивать возможность большего отклонения для азимута, но меньшего отклонения от подъема. Эта информация вводится в соответствующий (матричный) процессор 1090, который принимает, в качестве ввода, представление звукового поля, и который выводит представление 1201 обработанного звукового поля. Предварительно вычисленное определение преобразования может представляет собой матрицу преобразования, имеющую размерность в N строк и M столбцов, при этом N и M являются целыми числами, большими 2, и представление звукового поля имеет M аудиосигналов, и представление 1201 обработанного звукового поля имеет N аудиосигналов. В математически транспонированном формулировании, ситуация может быть обратной, т.е. предварительно вычисленное определение преобразования может представлять собой матрицу преобразования, имеющую размерность в M строк и N столбцов, или представление звукового поля имеет N аудиосигналов, и представление 1201 обработанного звукового поля имеет M аудиосигналов.

Фиг. 11a иллюстрирует другую реализацию матричного процессора 1090. В этой реализации, матричный процессор снабжается данными посредством модуля 1092 матричного вычисления, который принимает, в качестве ввода, опорное положение /ориентацию и целевое положение/ориентацию либо, хотя не показано на чертеже, соответствующее отклонение. На основе этого отклонения, модуль 1092 вычисления вычисляет любое из частичных или полных определений преобразования, как пояснено относительно фиг. 10c, и перенаправляет это правило в матричный процессор 1090. В случае полного определения 1071 преобразования, матричный процессор 1090 выполняет, например, для каждой частотно-временной плитки, полученной посредством гребенки аналитических фильтров, одну матричную операцию с использованием комбинированной матрицы 1071. В случае частичного определения 1072 или 1073 преобразования, процессор 1090 выполняет фактическое прямое или обратное преобразование и, дополнительно, матричную операцию, чтобы либо получать фильтрованные сигналы виртуальных громкоговорителей для случая по фиг. 10b, либо получать, из набора сигналов виртуальных громкоговорителей, представление 1201 обработанного звукового фильтра в области аудиосигналов.

В следующих разделах описаны варианты осуществления, и поясняется то, каким образом различные пространственные звуковые представления могут быть преобразованы в область виртуальных громкоговорителей и затем модифицированы для обеспечения согласованного производства пространственного звука в произвольном виртуальном положении прослушивания (включающем в себя произвольные ориентации прослушивания), которая определяется относительно исходного опорного местоположения.

Фиг. 1 показывает общее представление блок-схему предложенного нового подхода. Некоторые варианты осуществления используют только поднабор блоков конфигурации, показанных на общей схеме, и исключают определенные блоки обработки в зависимости от сценария применения.

Ввод в варианты представляет собой множество (два или более) входных аудиосигналов во временной области или в частотно-временной области. Входные сигналы временной области при необходимости могут быть преобразованы в частотно-временную область с использованием гребенки (1010) аналитических фильтров. Входные сигналы, например, могут представлять собой сигналы громкоговорителей, сигналы микрофонов, сигналы аудиообъектов или амбиофонические компоненты. Входные аудиосигналы представляют пространственное звуковое поле, связанное с заданным опорным положением и ориентацией. Опорное положение и ориентация, например, может представлять собой зону наилучшего восприятия, обращенную к азимуту и подъему в 0° (для входных сигналов громкоговорителей), положение и ориентацию массива микрофонов (для входных сигналов микрофонов) или центр системы координат (для амбиофонических входных сигналов).

Входные сигналы преобразуются в область виртуальных громкоговорителей с использованием первого или прямого пространственного преобразования (1020). Первое пространственное преобразование (1020), например, может представлять собой формирование диаграммы направленности (при использовании входных сигналов микрофонов), повышающее микширование сигналов громкоговорителей (при использовании входных сигналов громкоговорителей) или разложение по плоским волнам (при использовании амбиофонических входных сигналов). Для входного сигнала аудиообъекта, первое пространственное преобразование может представлять собой модуль рендеринга аудиообъектов (например, модуль рендеринга VBAP [Vbap]). Первое пространственное преобразование (1020) вычисляется на основе набора положений виртуальных громкоговорителей. Нормально, положения виртуальных громкоговорителей могут задаваться равномерно распределенными по сфере и центрированными вокруг опорного положения.

При необходимости, сигналы виртуальных громкоговорителей могут фильтроваться с использованием пространственной фильтрации (1030). Пространственная фильтрация (1030) используется для фильтрации представления звукового поля в области виртуальных громкоговорителей в зависимости от требуемого положения прослушивания или ориентации. Это может использоваться, например, для увеличения громкости, когда положение прослушивания приближается к источникам звука. Это справедливо для конкретной пространственной области, в которой, например, может быть расположен такой звуковой объект.

Положения виртуальных громкоговорителей модифицируются в блоке (1040) модификации положения в зависимости от требуемого положения и ориентации прослушивания. На основе модифицированных положений виртуальных громкоговорителей, (фильтрованные) сигналы виртуальных громкоговорителей преобразуются обратно из области виртуальных громкоговорителей с использованием второго или обратного пространственного преобразования (1050) для получения двух или более требуемых выходных аудиосигналов. Второе пространственное преобразование (1050), например, может представлять собой сферическое гармоническое разложение (когда сигналы выводов должны получаться в амбиофонической области), сигналы микрофонов (когда выходные сигналы должны получаться в области сигналов микрофонов), или сигналы громкоговорителей (когда выходные сигналы должны получаться в области громкоговорителей). Второе пространственное преобразование (1050) является независимым от первого пространственного преобразования (1020). Выходные сигналы в частотно-временной области при необходимости могут быть преобразованы во временную область с использованием гребенки (1060) синтезирующих фильтров.

Вследствие модификации (1040) положения виртуальных положений прослушивания, которые затем используются во втором пространственном преобразовании (1050), выходные сигналы представляют пространственный звук в требуемой положения прослушивания с требуемым направлением взгляда, которое может отличаться от опорного положения и ориентации.

В некоторых вариантах применения, варианты осуществления используются вместе с видеоприложением для согласованного воспроизведения аудио/видео, например, при рендеринге видео камеры на 360° из различных, определяемых пользователем перспектив. В этом случае, опорное положение и ориентация обычно соответствуют начальному положению и ориентации видеокамеры на 360°. Требуемое положение и ориентация прослушивания, которая используется для вычисления модифицированных положений виртуальных громкоговорителей в блоке (1040), затем соответствует определяемому пользователем положению и ориентации просмотра в видео на 360°. За счет этого, выходные сигналы, вычисленные в блоке (1050), представляют пространственный звук из перспективы определяемому пользователем положению и ориентации в видео на 360°. Безусловно, тот же принцип может применяться к вариантам применения, которые не полностью покрывают полное (на 360°) поле зрения, а только его части, например, к вариантам применения, которые обеспечивают возможность определяемому пользователем положению и ориентации просмотра, например, в вариантах применения для поля зрения на 180°.

В варианте осуществления, представление звукового поля ассоциировано с трехмерным видео или сферическим видео, и заданная опорная точка представляет собой центр трехмерного видео или сферического видео. Детектор 110 выполнен с возможностью обнаружения пользовательского ввода, указывающего фактическую точку обзора, отличающуюся от центра, причем фактическая точка обзора является той же, что и целевое положение прослушивания и детектор, выполнена с возможностью извлечения обнаруженного отклонения из пользовательского ввода, или детектор 110 выполнен с возможностью обнаружения пользовательского ввода, указывающего фактическую ориентацию просмотра, отличающуюся от заданной ориентации прослушивания, направленной в центр, причем фактическая ориентация просмотра является той же, что и целевая ориентация прослушивания, и детектор выполнен с возможностью извлечения обнаруженного отклонения из пользовательского ввода. Сферическое видео может представлять собой видео с обзором в 360 градусов, но также могут использоваться другие (частичные) сферические видео, такие как сферические видео, покрывающие 180 градусов или больше.

В дополнительном варианте осуществления, процессор звукового поля выполнен с возможностью обработки представления звукового поля таким образом, что представление обработанного звукового поля представляет стандартную проекцию или проекцию малой планеты либо переход между стандартной проекцией или проекцией малой планеты по меньшей мере одного звукового объекта, включенного в описание звукового поля относительно области отображения для трехмерного видео или сферического видео, причем область отображения определяется пользовательским вводом и заданным направлением просмотра. Такой переход осуществляется, например, когда абсолютная величина h на фиг. 7b составляет от нуля до полной длины, протягивающейся от центральной точки до точки S.

Варианты осуществления могут применяться для обеспечения акустического масштабирования, которое имитирует визуальное масштабирование. В визуальном масштабировании, при увеличении масштаба в конкретной области, интересующая область (в центре изображения) визуально кажется расположенной ближе, тогда как нежелательные видеообъекты на стороне изображений перемещаются наружу и в конечном счете исчезают из изображения. Акустически, согласованный рендеринг аудио должен означать, что при увеличении масштаба аудиоисточники в направлении масштабирования становятся громче, тогда как аудиоисточники на стороне перемещаются наружу и в конечном счете становятся тихими. Безусловно, такой эффект соответствует перемещению виртуального положения прослушивания ближе к виртуальному громкоговорителю, который расположен в направлении масштабирования (дополнительную информацию см. в варианте 3 осуществления). Кроме того, пространственное окно кодирования со взвешиванием в пространственной фильтрации (1030) может задаваться таким образом, что сигналы виртуальных громкоговорителей затухают, когда соответствующие виртуальные громкоговорители находятся за пределами интересующей области согласно масштабированному видеоизображению (дополнительную информацию см. в варианте 2 осуществления).

Во многих вариантах применения входные сигналы, используемые в блоке (1020), и выходные сигналы, вычисленные в блоке (1050), представляются в одинаковой пространственной области с одинаковым числом сигналов. Это означает, например, что, если амбиофонические компоненты конкретного амбиофонического порядка используются в качестве входных сигналов, выходные сигналы соответствуют амбиофоническим компонентам того же порядка. Тем не менее, возможно, что выходные сигналы, вычисленные в блоке (1050), могут представляться в другой пространственной области и с другим числом сигналов по сравнению с входными сигналами. Например, можно использовать амбиофонические компоненты конкретного порядка в качестве входных сигналов при вычислении выходных сигналов в области громкоговорителей с конкретным числом каналов.

Ниже по тексту поясняются конкретные варианты осуществления блоков обработки на фиг. 1. Для гребенки (1010) аналитических фильтров и гребенки (1060) синтезирующих фильтров, соответственно, можно использовать гребенку фильтров или частотно-временное преобразование, например, кратковременное преобразование Фурье (STFT) из уровня техники. Как правило, можно использовать STFT с длиной преобразования в 1024 выборки и с размером перескока в 512 выборок на частоте дискретизации в 48000 Гц. Нормально, обработка выполняется отдельно для каждого времени и частоты. Без потери общности, обработка в частотно-временной области проиллюстрирована ниже по тексту. Тем не менее, обработка также может выполняться эквивалентным способом во временной области.

Вариант осуществления 1a. Первое пространственное преобразование (1020) для амбиофонического ввода (фиг. 12a)

В этом варианте осуществления, ввод в первое пространственное преобразование (1020) представляет собой амбиофонический сигнал L-ого порядка в частотно-временной области. Амбиофонический сигнал представляет многоканальный сигнал, в котором каждый канал (называемый «амбиофоническим компонентом или коэффициентом») является эквивалентным коэффициенту так называемой пространственной базисной функции. Существуют различные типы пространственных базисных функций, например, сферические гармоники [FourierAcoust] или цилиндрические гармоники [FourierAcoust]. Цилиндрические гармоники могут использоваться при описании звукового поля в двумерном пространстве (например, для воспроизведения двумерного звука), тогда как сферические гармоники могут использоваться для описания звукового поля в двумерном и трехмерном пространстве (например, для воспроизведения двумерного и трехмерного звука). Без потери общности, второй случай со сферическими гармониками рассматривается ниже по тексту. В этом случае, амбиофонический сигнал состоит из (L+1)₂ отдельных сигналов (компонентов) и обозначается посредством вектора:

,

где k и n являются частотным индексом и временным индексом, соответственно, 0≤l≤L является уровнем (порядком), и-l≤m≤l является режимом амбиофонического коэффициента (компонента) A_{l, m}(k, n). Амбиофонические сигналы первого порядка (L=1) могут измеряться, например, с использованием SoundField-микрофона. Амбиофонические сигналы высшего порядка могут измеряться, например, с использованием EigenMike. Местоположение записи представляет центр системы координат и опорное положение, соответственно.

Для преобразования амбиофонического сигнала a(k, n) в область виртуальных громкоговорителей предпочтительно применять разложение 1022 по плоским волнам (PWD) из уровня техники, т.е. обратное сферическое гармоническое разложение, для a(k, n), которое может вычисляться следующим образом [FourierAcoust]:

.

Член Y_{l, m}(φj,υj) является сферической гармоникой [FourierAcoust] порядка l и режима m, оцененной для угла φj азимута и для угла υj подъема. Углы (φj,υj) представляют положение j-ого виртуального громкоговорителя. Сигнал S(φj,υj) может интерпретироваться в качестве сигнала j-ого виртуального громкоговорителя.

На фиг. 2 показан пример сферических гармоник, который показывает сферические гармонические функции для различных уровней (порядков) l и режимов m. Порядок l иногда упоминается «уровнями», и что режимы m также могут называться «градусами». Как можно видеть на фиг. 2, сферическая гармоника нулевого порядка (нулевого уровня) l=0 представляет всенаправленное звуковое давление, тогда как сферические гармоники первого порядка (первого уровня) l=1 представляют дипольные компоненты вдоль размерностей декартовой системы координат.

Предпочтительно задавать направления (φj,υj) виртуальных громкоговорителей таким образом, что они равномерно распределяются по сфере. Тем не менее, в зависимости от варианта применения, направления могут выбираться по-разному. Общее число положений виртуальных громкоговорителей обозначается посредством J. Следует отметить, что более высокое число J приводит к большей точности пространственной обработки за счет более высокой вычислительной сложности. На практике, обоснованное число виртуальных громкоговорителей определяется, например, посредством J=250.

J сигналов виртуальных громкоговорителей собираются в векторе, заданном следующим образом:

,

который представляет входные аудиосигналы в области виртуальных громкоговорителей.

Безусловно, J сигналов s(k, n) виртуальных громкоговорителей в этом варианте осуществления могут вычисляться посредством применения одного матричного умножения к входным аудиосигналам, т.е.:

,

где матрица JxL содержит сферические гармоники для различных уровней (порядков), режимов и положений виртуальных громкоговорителей, т.е.:

Вариант осуществления 1b. Первое пространственное преобразование (1020) для ввода из громкоговорителя (фиг. 12b)

В этом варианте осуществления, ввод в первое пространственное преобразование (1020) представляет собой M сигналов громкоговорителей. Соответствующая конфигурация громкоговорителей может быть произвольной, например, представлять собой общую конфигурацию громкоговорителей 5.1, 7.1, 11.1 или 22.2. Зона наилучшего восприятия конфигурации громкоговорителей представляет опорное положение . M-ое положение громкоговорителей (m≤M) представляется посредством угла азимута и угла подъема.

В этом варианте осуществления, M входных сигналов громкоговорителей могут быть преобразованы в J сигналов виртуальных громкоговорителей, при этом виртуальные громкоговорители расположены под углами (φj,υj). Если число M громкоговорителей меньше числа J виртуальных громкоговорителей, это представляет проблему повышающего микширования для громкоговорителей. Если число M громкоговорителей превышает число J виртуальных громкоговорителей, это представляет проблему 1023 понижающего микширования. В общем, преобразование формата громкоговорителей может достигаться, например, посредством использования алгоритма статического (независимого от сигнала) преобразования формата громкоговорителей из уровня техники, такого как виртуальное или пассивное повышающее микширование, поясняемое в [FormatConv]. В этом подходе, сигналы виртуальных громкоговорителей вычисляются следующим образом:

,

где вектор:

содержит M входных сигналов громкоговорителей в частотно-временной области, и k и n являются частотным индексом и временным индексом, соответственно. Кроме того:

представляют собой J сигналов виртуальных громкоговорителей. Матрица C представляет собой матрицу статического преобразования формата, которая может вычисляться, как пояснено в [FormatConv] посредством использования, например, схемы панорамирования VBAP [Vbap]. Матрица преобразования формата зависит от M положений входных громкоговорителей и J положений виртуальных громкоговорителей.

Предпочтительно, углы (φj,υj) виртуальных громкоговорителей равномерно распределяются по сфере. На практике, число J виртуальных громкоговорителей может выбираться произвольно, тогда как более высокое число приводит к большей точности пространственной обработки за счет более высокой вычислительной сложности. На практике, обоснованное число виртуальных громкоговорителей определяется, например, посредством J=250.

Вариант осуществления 1c. Первое пространственное преобразование (1020) для микрофонного ввода (фиг. 12c)

В этом варианте осуществления, ввод в первое пространственное преобразование (1020) представляет собой сигналы массива микрофонов с M микрофонов. Микрофоны могут иметь различные направленности, например, всенаправленные, кардиоидные или дипольные характеристики. Микрофоны могут размещаться в различных конфигурациях, например, как совпадающие массивы микрофонов (при использовании направленных микрофонов), линейные массивы микрофонов, круговые массивы микрофонов, неравномерные плоские массивы или сферические массивы микрофонов. Во многих вариантах применения, плоские или сферические массивы микрофонов являются предпочтительными. Примерный массив микрофонов на практике определяется, например, посредством кругового массива микрофонов с M=8 всенаправленных микрофонов с радиусом массива в 3 см.

M микрофонов расположены в положениях d1...M. Центр массива представляет опорное положение. M сигналов микрофонов в частотно-временной области задаются следующим образом:

,

где k и n являются частотным индексом и временным индексом, соответственно, и A1...M(k, n) являются сигналами M микрофонов, расположенных в d1...M.

Чтобы вычислять сигналы виртуальных громкоговорителей, предпочтительно применять формирование диаграммы направленности 1024 к входным сигналам a(k, n) и направлять модули формирования диаграммы направленности к положениям виртуальных громкоговорителей. В общем, формирование диаграммы направленности вычисляется следующим образом:

.

Здесь, b_j(k, n) являются весовыми коэффициентами модуля формирования диаграммы направленности для вычисления сигнала j-ого виртуального громкоговорителя, который обозначается как S(φj,υj). В общем, весовые коэффициенты модуля формирования диаграммы направленности могут быть время- и частотно-зависимыми. Аналогично предыдущим вариантам осуществления, углы (φj,υj) представляют положение j-ого виртуального громкоговорителя. Предпочтительно, направления (φj,υj) равномерно распределяются по сфере. Общее число положений виртуальных громкоговорителей обозначается посредством J. На практике, это число может выбираться произвольно, тогда как более высокое число приводит к большей точности пространственной обработки за счет более высокой вычислительной сложности. На практике, обоснованное число виртуальных громкоговорителей определяется, например, посредством J=250.

Пример формирования диаграммы направленности проиллюстрирован на фиг. 3. Здесь, O представляет собой центр системы координат, в которой расположен массив микрофонов (обозначается посредством белого круга). Это положение представляет опорное положение. Положение виртуальных громкоговорителей обозначаются посредством черных точек. Луч j-ого модуля формирования диаграммы направленности обозначается посредством серой зоны. Модуль формирования диаграммы направленности направлен к j-ому громкоговорителю (в этом случае, j=2), чтобы создавать сигнал j-ого виртуального громкоговорителя.

Подход к формированию диаграммы направленности для получения весовых коэффициентов b_j(k, n), заключается в этом, чтобы вычислять так называемый согласованный модуль формирования диаграммы направленности, для которого весовые коэффициенты b_j(k) задаются следующим образом:

.

Вектор h(k,φj,υj) содержит относительные передаточные функции (RTF) между массивными микрофонами для рассматриваемой полосы k частот и для требуемого направления (φj,υj) положения j-ого виртуального громкоговорителя. RTF h(k,φj,υj), например, могут измеряться с использованием калибровочного измерения или могут моделироваться с использованием моделей звукового поля, таких как модель плоской волны [FourierAcoust].

Помимо использования согласованного модуля формирования диаграммы направленности, могут применяться другие технологии формирования диаграммы направленности, такие как MVDR, LCMV, многоканальный фильтр Винера.

J сигналов виртуальных громкоговорителей собираются в векторе, заданном следующим образом:

,

который представляет входные аудиосигналы в области виртуальных громкоговорителей.

Безусловно, J сигналов s(k, n) виртуальных громкоговорителей в этом варианте осуществления могут вычисляться посредством применения одного матричного умножения к входным аудиосигналам, т.е.:

,

где матрица C(k) JxM содержит весовые коэффициенты модуля формирования диаграммы направленности для J виртуальных громкоговорителей, т.е.:

.

Вариант осуществления 1d. Первое пространственное преобразование (1020) для ввода сигналов аудиообъектов (фиг. 12d)

В этом варианте осуществления, ввод в первое пространственное преобразование (1020) представляет собой M сигналов аудиообъектов вместе с их прилагаемыми метаданными положения. Аналогично варианту осуществления 1b, J сигналов виртуальных громкоговорителей могут вычисляться, например, с использованием схемы панорамирования VBAP [Vbap]. Схема 1025 панорамирования VBAP подготавливает посредством рендеринга J сигналов виртуальных громкоговорителей в зависимости от M положений входных сигналов аудиообъектов и J положений виртуальных громкоговорителей. Очевидно, что вместо этого могут использоваться схемы рендеринга, отличные от схемы панорамирования VBAP. Метаданные положения аудиообъекта могут указывать положения статических объектов или положения варьирующихся во времени объектов.

Вариант 2 осуществления. Пространственная фильтрация (1030)

Пространственная фильтрация (1030) применяется посредством умножения сигналов виртуальных громкоговорителей на s(k, n) на пространственное окно W(φj,υj, p,l) кодирования со взвешиванием, т.е.:

,

где S'(φj,υj) обозначает фильтрованные сигналы виртуальных громкоговорителей. Пространственная фильтрация (1030) может применяться, например, для акцентирования пространственного звука к направлению взгляда для требуемого положения прослушивания, либо когда местоположение требуемого положения прослушивания приближается к источникам звука или положениям виртуальных громкоговорителей. Это означает, что пространственное окно W(φj,υj, p,l) кодирования со взвешиванием обычно соответствует неотрицательным действительнозначным значениям усиления, которые обычно вычисляются на основе требуемого положения прослушивания (обозначается посредством вектора p) и требуемой ориентации прослушивания или направления взгляда (обозначается посредством вектора l).

В качестве примера, пространственное окно W(φj,υj, p,l) кодирования со взвешиванием может вычисляться в качестве общего пространственного окна кодирования со взвешиванием первого порядка, направленного к требуемому направлению взгляда, которое дополнительно ослабляется или усиливается согласно расстоянию между требуемым положением прослушивания и положениями виртуальных громкоговорителей, т.е.:

.

Здесь, является вектором направления, соответствующим положению j-ого виртуального громкоговорителя, и является вектором направления, соответствующим требуемой ориентации прослушивания, при этом ϕ является углом азимута, и θ является углом подъема требуемой ориентации прослушивания. Кроме того, α является параметром первого порядка, который определяет форму пространственного окна кодирования со взвешиванием. Например, пространственное окно кодирования со взвешиванием с кардиоидной формой для α=0,5 получается. Соответствующее примерное пространственное окно кодирования со взвешиванием с кардиоидной формой и направлением взгляда ϕ=45° проиллюстрировано на фиг. 4. Для α=1, пространственное окно кодирования со взвешиванием не должно применяться, и только взвешивание Gj(p) расстояния должно быть эффективным. Взвешивание Gj(p) расстояния акцентирует пространственный звук в зависимости от расстояния между требуемым положением прослушивания и j-м виртуальным громкоговорителем. Взвешивание Gj(p) может вычисляться, например, следующим образом:

,

где является требуемым положением прослушивания в декартовых координатах. Чертеж рассматриваемой системы координат проиллюстрирован на фиг. 5, где O является опорным положением, и L является требуемым положением прослушивания, при этом p является соответствующим вектором положения прослушивания. Виртуальные громкоговорители расположены в заштрихованном круге, и черная точка представляет примерный виртуальный громкоговоритель. Член в круглых скобках в вышеприведенном уравнении представляет собой расстояние между требуемым положением прослушивания и положением j-ого виртуального громкоговорителя. Коэффициент β представляет собой коэффициент ослабления расстояния. Например, для β=0,5, следует усиливать мощность, соответствующую j-ому виртуальному громкоговорителю, обратно расстоянию между требуемым положением прослушивания и положением виртуального громкоговорителя. Это имитирует эффект увеличения громкости при приближении к источникам звука или пространственным областям, которые представляются посредством виртуальных громкоговорителей.

В общем, пространственное окно W(φj,υj, p,l) кодирования со взвешиванием может задаваться произвольно. В таких вариантах применения, как акустическое масштабирование, пространственное окно кодирования со взвешиванием может задаваться как прямоугольное окно кодирования со взвешиванием, центрированное к направлению масштабирования, которое становится более узким при увеличении масштаба и более широким при уменьшении масштаба. Ширина окна кодирования со взвешиванием может задаваться согласованно с масштабированным видеоизображением таким образом, что окно кодирования со взвешиванием обеспечивает затухание источников звука на стороне, когда соответствующий аудиообъект исчезает из масштабированного видеоизображения.

Безусловно, фильтрованные сигналы виртуальных громкоговорителей в этом варианте осуществления могут вычисляться из сигналов виртуальных громкоговорителей с одним поэлементным векторным умножением, т.е.:

,

где o является поэлементным произведением (произведением Шура), и:

являются весовыми коэффициентами окна кодирования со взвешиванием для J виртуальных громкоговорителей, с учетом требуемого положения и ориентации прослушивания. J фильтрованных сигналов виртуальных микрофонов собираются в векторе:

.

Вариант 3 осуществления. Модификация (1040) положения

Цель модификации (1040) положения состоит в вычислении положения виртуальных громкоговорителей из точки обзора (POV) требуемого положения прослушивания с требуемой ориентацией прослушивания.

На фиг. 6 визуализируется пример, который показывает вид сверху пространственной сцены. Без потери общности, предполагается, что опорное положение соответствует центру системы координат, который указывается посредством O. Кроме того, опорная ориентация определяется к передней части, т.е. к азимуту в нуль градусов и к подъему в нуль градусов (φ=0 и υ=0). Заштрихованный круг вокруг O представляет сферу, в которой расположены виртуальные громкоговорители. В качестве примера, данные показывают возможный вектор n_j положения j-ого виртуального громкоговорителя.

На фиг. 7, требуемое положение прослушивания указывается посредством L. Вектор между опорным положением O и требуемым положением прослушивания L определяется посредством p (см. также вариант осуществления 2a). Как можно видеть, положение j-ого виртуального громкоговорителя из POV требуемого положения прослушивания может представляться посредством вектора:

.

Если требуемое вращение при прослушивании отличается от опорного вращения, дополнительная матрица вращения может применяться при вычислении модифицированных положений виртуальных громкоговорителей, т.е.:

.

Например, если требуемая ориентация прослушивания (относительно опорной ориентации) соответствует углу ϕ азимута, матрица вращения может вычисляться следующим образом [RotMat]:

.

Модифицированные положения виртуальных громкоговорителей затем используются во втором пространственном преобразовании (1050). Модифицированные положения виртуальных громкоговорителей также могут выражаться с точки зрения модифицированных углов азимута и модифицированных углов подъема, т.е.:

.

В качестве примера, модификация положения, описанная в этом варианте осуществления, может использоваться для достижения согласованного воспроизведения аудио/видео при использовании различных проекций изображения сферического видео. Например, различные проекции или положения просмотра для сферического видео могут выбираться пользователем через пользовательский интерфейс видеопроигрывателя. В таком варианте применения, фиг. 6 представляет вид сверху стандартной проекции сферического видео. В этом случае, круг указывает пиксельные положения сферического видео, и горизонтальная линия указывает двумерный видеодисплей (проекционную поверхность). Проецируемое видеоизображение (отображаемое изображение) обнаруживается посредством проецирования сферического видео из точки проекции, что приводит к пунктирной стрелке для примерного пиксела изображения. Здесь, точка проекции соответствует центру O сферы. При использовании стандартной проекции, соответствующее согласованное пространственное аудиоизображение может создаваться посредством размещения требуемого (виртуального) положения прослушивания в O, т.е. в центре круга, проиллюстрированного на фиг. 6. Кроме того, виртуальные громкоговорители расположены на поверхности сферы, т.е. вдоль проиллюстрированного круга, как пояснено выше. Это соответствует стандартному воспроизведению пространственного звука, при котором требуемое положение прослушивания расположено в зоне наилучшего восприятия виртуальных громкоговорителей.

Фиг. 7a представляет вид сверху при рассмотрении так называемой проекции малой планеты, которая представляет общую проекцию для рендеринга видео на 360°. В этом случае, точка проекции, из которой проецируется сферическое видео, расположена в положении L позади сферы вместо начала координат. Как можно видеть, это приводит к сдвинутому пиксельному положению на проекционной поверхности. При использовании проекции малой планеты, корректное (согласованное) аудиоизображение создается посредством размещения положения прослушивания в положении L позади сферы, в то время как положения виртуальных громкоговорителей остаются на поверхности сферы. Это означает, что модифицированные положения виртуальных громкоговорителей вычисляются относительно положения прослушивания L, как описано выше. Плавный переход между различными проекциями (в видео и аудио) может достигаться посредством изменения длины вектора p на фиг. 7a.

В качестве другого примера, модификация положения в этом варианте осуществления также может использоваться для создания эффекта акустического масштабирования, который имитирует визуальное масштабирование. Чтобы имитировать визуальное масштабирование, можно перемещать положение виртуального громкоговорителя к направлению масштабирования. В этом случае, виртуальный громкоговоритель в направлении масштабирования должен приближаться, тогда как виртуальные громкоговорители на стороне (относительно направления масштабирования) должны перемещаться наружу, аналогично по мере того, как видеообъекты должны перемещаться в масштабированном видеоизображении.

Далее следует обратиться к фиг. 7b и фиг. 7c. В общем, пространственное преобразование применяется, например, чтобы совмещать пространственное аудиоизображение с различными проекциями соответствующего видеоизображения, например, на 360°. Фиг. 7b иллюстрирует вид сверху стандартной проекции сферического видео. Круг указывает сферическое видео, и горизонтальная линия указывает видеодисплей или проекционную поверхность. Вращение сферического изображения относительно видеодисплея представляет собой ориентацию проекции (не проиллюстрирована), которая может задаваться произвольно для сферического видео. Отображаемое изображение обнаруживается посредством проецирования сферического видео из точки S проекции, как указано посредством сплошной стрелки. Здесь, точка S проекции соответствует центру сферы. При использовании стандартной проекции, соответствующее пространственное аудиоизображение может создаваться посредством размещения (виртуального) опорного положения прослушивания в S, т.е. в центре круга, проиллюстрированного на фиг. 7b. Кроме того, виртуальные громкоговорители расположены на поверхности сферы, т.е. вдоль проиллюстрированного круга. Это соответствует стандартному воспроизведению пространственного звука, при котором опорное положение прослушивания расположено в зоне наилучшего восприятия, например, в центре сферы по фиг. 7b.

Фиг. 7c иллюстрирует вид сверху проекции малой планеты. В этом случае, точка S проекции, из которой проецируется сферическое видео, расположена позади сферы вместо начала координат. При использовании проекции малой планеты, корректное аудиоизображение создается посредством размещения опорного положения прослушивания в положении S позади сферы, в то время как положения виртуальных громкоговорителей остаются на поверхности сферы. Это означает, что модифицированные положения виртуальных громкоговорителей вычисляются относительно опорного положения S прослушивания, которая зависит от проекции. Плавный переход между различными проекциями может достигаться посредством изменения высоты h на фиг. 7c, т.е. посредством перемещения точки S проекции (или опорного положения прослушивания, соответственно) вдоль вертикальной сплошной линии. Таким образом, положение S прослушивания, которое отличается от центра круга на фиг. 7c, представляет собой целевое положение прослушивания, и направление взгляда, отличающееся от направления взгляда на дисплей на фиг. 7c, представляет собой целевую ориентацию прослушивания. Чтобы создавать пространственно преобразованные аудиоданные, сферические гармоники, например, вычисляются для модифицированных положений виртуальных громкоговорителей вместо исходных положений виртуальных громкоговорителей. Модифицированные положения виртуальных громкоговорителей обнаруживаются посредством перемещения опорного положения S прослушивания, как проиллюстрировано, например, на фиг. 7c или, согласно видеопроекции.

Вариант осуществления 4a. Второе пространственное преобразование (1050) для амбиофонического вывода (фиг. 13a)

Этот вариант осуществления описывает реализацию второго пространственного преобразования (1050) для вычисления выходных аудиосигналов в амбиофонической области.

Для вычисления требуемых выходных сигналов можно преобразовать (фильтрованные) сигналы S'(φj,υj) виртуальных громкоговорителей с использованием сферического гармонического разложения 1052 (SHD), которое вычисляется в качестве взвешенной суммы по всем J сигналов виртуальных громкоговорителей согласно [FourierAcoust]:

.

Здесь, являются сопряженно-комплексными сферическими гармониками уровня (порядка) l и режима m. Сферические гармоники оцениваются в модифицированных положениях виртуальных громкоговорителей вместо исходных положений виртуальных громкоговорителей. Это гарантирует, что выходные аудиосигналы создаются из перспективы требуемого положения прослушивания с требуемой ориентацией прослушивания. Безусловно, выходные сигналы могут вычисляться вплоть до произвольного определяемого пользователем уровня (порядка) L'.

Выходные сигналы в этом варианте осуществления также могут вычисляться в качестве одного матричного умножения из (фильтрованных) сигналов виртуальных громкоговорителей, т.е.:

,

где:

содержит сферические гармоники, оцененные в модифицированных положениях виртуальных громкоговорителей, и:

содержит выходные сигналы вплоть до требуемого амбиофонического уровня (порядка) L'.

Вариант осуществления 4b. Второе пространственное преобразование (1050) для вывода громкоговорителя (фиг. 13b)

Этот вариант осуществления описывает реализацию второго пространственного преобразования (1050) для вычисления выходных аудиосигналов в области громкоговорителей. В этом случае предпочтительно преобразовать J (фильтрованных) сигналов S'(φj,υj) виртуальных громкоговорителей в сигналы громкоговорителей требуемой выходной конфигурации громкоговорителей с учетом модифицированных положений виртуальных громкоговорителей. В общем, требуемая выходная конфигурация громкоговорителей может задаваться произвольно. Широко используемые выходные конфигурации громкоговорителей, например, представляют собой 2.0 (стерео), 5.1, 7.1, 11.1 или 22.2. Ниже по тексту, число выходных громкоговорителей обозначается посредством L, и положения выходных громкоговорителей задаются посредством углов .

Для преобразования 1053 (фильтрованных) сигналов виртуальных громкоговорителей в требуемый формат громкоговорителей, предпочтительно использовать тот же подход, что и в варианте осуществления 1b, т.е. следует применять матрицу статического преобразования для громкоговорителей. В этом случае, сигналы громкоговорителей требуемого вывода вычисляются с помощью:

,

где s'(k, n) содержит (фильтрованные) сигналы виртуальных громкоговорителей, a'(k, n) содержит L выходных сигналов громкоговорителей, и C представляет собой матрицу преобразования формата. Матрица преобразования формата вычисляется с использованием углов выходной конфигурации громкоговорителей, а также модифицированных положений виртуальных громкоговорителей. Это гарантирует, что выходные аудиосигналы создаются из перспективы требуемого положения прослушивания с требуемой ориентацией прослушивания. Матрица C преобразования может вычисляться так, как пояснено в [FormatConv], посредством использования, например, схемы панорамирования VBAP [Vbap].

Вариант осуществления 4c. Второе пространственное преобразование (1050) для бинаурального вывода (фиг. 13c или фиг. 13d)

Второе пространственное преобразование (1050) может создавать выходные сигналы в бинауральной области для бинаурального воспроизведения звука. Один способ состоит в умножении 1054 J (фильтрованных) сигналов S'(φj,υj) виртуальных громкоговорителей на соответствующую передаточную функцию восприятия звука человеком (HRTF) и суммировании результирующих сигналов, т.е.:

,

,

где и являются бинауральными выходными сигналами для левого и правого уха, соответственно, и и являются соответствующими HRTF для j-ого виртуального громкоговорителя. Следует отметить, что используются HRTF для модифицированных направлений виртуальных громкоговорителей. Это гарантирует, что бинауральные выходные сигналы создаются из перспективы требуемого положения прослушивания с требуемой ориентацией прослушивания.

Альтернативный способ создавать бинауральные выходные сигналы состоит в этом, чтобы выполнять первое или прямое преобразование 1055 сигналов виртуальных громкоговорителей в область громкоговорителей, как описано в варианте осуществления 4b, например, в промежуточный формат громкоговорителей. Впоследствии, выходные сигналы громкоговорителей из промежуточного формата громкоговорителей могут бинаурализироваться посредством применения 1056 HRTFT для левого и правого уха, согласно положениям выходной конфигурации громкоговорителей.

Бинауральные выходные сигналы также могут вычисляться с применением матричного умножения к (фильтрованным) сигналам виртуальных громкоговорителей, т.е.:

,

где:

содержит HRTF для модифицированных положений виртуальных громкоговорителей J для левого и правого уха, соответственно, и вектор:

содержит два бинауральных аудиосигнала.

Вариант 5 осуществления. Варианты осуществления с использованием матричного умножения

Из предыдущих вариантов осуществления очевидно, что выходные сигналы a'(k, n) могут вычисляться из входных сигналов a(k, n) посредством применения одного матричного умножения, т.е.:

,

где матрица T(φ'_1...J,υ'_1...J) преобразования может вычисляться следующим образом:

.

Здесь, C(φ_1...J,υ_1...J) является матрицей для первого пространственного преобразования, которая может вычисляться так, как описано в вариантах 1(a-d) осуществления, w(p, l) является факультативным пространственным фильтром, описанным в варианте 2 осуществления, обозначает оператор, который преобразует вектор в диагональную матрицу, причем вектор представляет собой главную диагональ, и D(φ'_1...J,υ'_{1... J}) является матрицей для второго пространственного преобразования в зависимости от требуемого положению и ориентации прослушивания, которая может вычисляться так, как описано в вариантах 4(a-c) осуществления. В варианте осуществления, можно предварительно вычислять матрицу T(φ'_1...J,υ'_1...J) для требуемых положений и ориентаций прослушивания (например, для дискретной сетки положений и ориентаций), чтобы снижать вычислительную сложность. В случае аудиообъекта с введенными варьирующимися во времени положениями, только время-независимые части вышеприведенного вычисления T(φ'_1...J,υ'_1...J) могут предварительно вычисляться, чтобы снижать вычислительную сложность.

Далее проиллюстрирована предпочтительная реализация обработки звукового поля, выполняемой посредством процессора 1000 звукового поля. На этапе 901 или 1010, два или более входных аудиосигналов принимаются во временной области или в частотно-временной области, при этом, в случае приема сигнала в частотно-временной области, гребенка аналитических фильтров использована для получения частотно-временного представления.

На этапе 1020, первое пространственное преобразование выполняется для получения набора сигналов виртуальных громкоговорителей. На этапе 1030, факультативная пространственная фильтрация выполняется посредством применения пространственного фильтра к сигналам виртуальных громкоговорителей. В случае неприменения этапа 1030 на фиг. 14, пространственная фильтрация вообще не выполняется, и модификация положений виртуальных громкоговорителей в зависимости от положения и ориентации прослушивания, т.е. в зависимости от целевого положения прослушивания и/или целевой ориентации выполняется так, как указано, например, на 1040b. На этапе 1050, второе пространственное преобразование выполняется в зависимости от модифицированных положений виртуальных громкоговорителей для получения выходных аудиосигналов. На этапе 1060, факультативный вариант применения гребенки синтезирующих фильтров выполняется для получения выходных сигналов во временной области.

Таким образом, фиг. 14 иллюстрирует явное вычисление сигналов виртуальных громкоговорителей, факультативную явную фильтрацию сигналов виртуальных громкоговорителей и факультативную обработку сигналов виртуальных громкоговорителей или фильтрованных сигналов виртуальных громкоговорителей для вычисления выходных аудиосигналов представления обработанного звукового поля.

Фиг. 15 иллюстрирует другой вариант осуществления, в котором правило первого пространственного преобразования, такое как матрица первого пространственного преобразования, вычисляется в зависимости от требуемого формата входного аудиосигнала, в котором предполагается набор положений виртуальных громкоговорителей, проиллюстрированный на 1021. На этапе 1031, учитывается факультативный вариант применения пространственного фильтра, который зависит от требуемого положения и/или ориентации прослушивания, и пространственный фильтр, например, применяется к матрице первого пространственного преобразования посредством поэлементного умножения вообще без явного вычисления и обработки сигналов виртуальных громкоговорителей. На этапе 1040b, положения виртуальных громкоговорителей модифицируются в зависимости от положения и/или ориентации прослушивания, т.е. в зависимости от целевого положения и/или ориентации. На этапе 1051, матрица второго пространственного преобразования или, в общем, правило второго или обратного пространственного преобразования вычисляется в зависимости от модифицированных положений виртуальных громкоговорителей и требуемого формата выходного аудиосигнала. На этапе 1090, вычисленные матрицы в блоках 1031, 1021 и 1051 могут комбинироваться между собой и затем умножаются на входные аудиосигналы в форме одной матрицы. В качестве альтернативы, отдельные матрицы могут отдельно применяться к соответствующим данным, либо по меньшей мере две матрицы могут комбинироваться между собой для получения комбинированного определения преобразования, как поясняется относительно отдельных четырех случаев, проиллюстрированных относительно фиг. 10a-10d.

Хотя некоторые аспекты описаны в контексте устройства, очевидно, что эти аспекты также представляют описание соответствующего способа, при этом блок или устройство соответствует этапу способа либо признаку этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента, или признака соответствующего устройства.

В зависимости от определенных требований к реализации, варианты осуществления изобретения могут быть реализованы в аппаратных средствах или в программном обеспечении. Реализация может выполняться с использованием цифрового носителя хранения данных, например, гибкого диска, DVD, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего сохраненные считываемые электронными средствами управляющие сигналы, которые взаимодействуют (или допускают взаимодействие) с программируемой компьютерной системой таким образом, что осуществляется соответствующий способ.

Некоторые варианты осуществления согласно изобретению содержат носитель данных, имеющий считываемые электронными средствами управляющие сигналы, которые допускают взаимодействие с программируемой компьютерной системой таким образом, что осуществляется один из способов, описанных в данном документе.

В общем, варианты осуществления настоящего изобретения могут быть реализованы в виде компьютерного программного продукта с программным кодом, при этом программный код выполнен с возможностью осуществления одного из способов, когда компьютерный программный продукт выполняется на компьютере. Программный код может сохраняться, например, на машиночитаемом носителе.

Другие варианты осуществления содержат компьютерную программу для осуществления одного из способов, описанных в данном документе, сохраненную на машиночитаемом носителе или на постоянном носителе хранения данных.

Другими словами, вариант осуществления изобретаемого способа в силу этого представляет собой компьютерную программу, имеющую программный код для осуществления одного из способов, описанных в данном документе, когда компьютерная программа работает на компьютере.

Следовательно, дополнительный вариант осуществления изобретаемых способов представляет собой носитель хранения данных (цифровой носитель хранения данных или машиночитаемый носитель), содержащий записанную компьютерную программу для осуществления одного из способов, описанных в данном документе.

Следовательно, дополнительный вариант осуществления изобретаемого способа представляет собой поток данных или последовательность сигналов, представляющих компьютерную программу для осуществления одного из способов, описанных в данном документе. Поток данных или последовательность сигналов, например, может быть выполнена с возможностью передачи через соединение для передачи данных, например, через Интернет.

Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью осуществления одного из способов, описанных в данном документе.

Дополнительный вариант осуществления содержит компьютер, имеющий установленную компьютерную программу для осуществления одного из способов, описанных в данном документе.

В некоторых вариантах осуществления, программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения части или всех из функциональностей способов, описанных в данном документе. В некоторых вариантах осуществления, программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для осуществления одного из способов, описанных в данном документе. В общем, способы предпочтительно осуществляются посредством любого аппаратного устройства.

Вышеописанные варианты осуществления являются лишь иллюстративными в отношении принципов настоящего изобретения. Следует понимать, что специалистам в данной области техники должны быть очевидны модификации и изменения конфигураций и подробностей, описанных в данном документе. Следовательно, подразумевается ограничение лишь объемом нижеприведенной формулы изобретения, а не конкретными подробностями, представленными в качестве описания и пояснения вариантов осуществления в данном документе.

Список источников

[AmbiTrans] Kronlachner и Zotter "Spatial transformations for the enhancement of Ambisonics recordings", ICSA, 2014 год.

[FormatConv] M. M. Goodwin и J.-M. Jot "Multichannel surround format conversion and generalized upmix", AES 30^th International Conference, 2007 год.

[FourierAcoust] E.G. Williams "Fourier Acoustics: Sound Radiation and Nearfield Acoustical Holography", Academic Press, 1999 год.

[WolframProj1] http://mathworld.wolfram.com/StereographicProjection.html.

[WolframProj2] http://mathworld.wolfram.com/GnomonicProjection.html.

[RotMat] http://mathworld.wolfram.com/RotationMatrix.html.

[Vbap] V. Pulkki "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", J. Audio Eng. Soc, этом 45 (6), 1997 год.

[VirtualMic] O. Thiergart, G. Del Galdo, M. Taseska, E.A.P. Habets, Geometry-based Spatial Sound Acquisition Using Distributed Microphone Arrays", Audio, Speech and Language Processing, IEEE Transactions on, этом 21 (12), 2013 год.