Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО ДЛЯ ВОСПРОИЗВЕДЕНИЯ ТРЕХМЕРНОГО ЗВУКА

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[1] Способы и устройства в соответствии с примерными вариантами осуществления изобретения относятся к воспроизведению трехмерного (3D) звука, и более конкретно - к локализации виртуальных источников звука на заданной высоте.

УРОВЕНЬ ТЕХНИКИ

[2] Вследствие развития технологий обработки видео и звука в настоящее время предоставляется контент, имеющий высокое качество изображения и звука. Пользователи, нуждающиеся в контенте с высоким качеством изображения и звука, теперь требуют реалистичного изображения и звука, и, соответственно, в настоящее время активно проводятся исследования в области трехмерного изображения и звука.

[3] 3D звук генерируется путем обеспечения множества динамиков, находящихся в разных положениях на поверхности уровня, и вывода звуковых сигналов, которые одинаковы или отличаются друг от друга в соответствии с динамиками, так что пользователь может ощутить пространственный эффект. Однако в действительности звук может генерироваться и с различных точек на поверхности уровня, и с различных высот. Таким образом, необходима технология для эффективного воспроизведения звуковых сигналов, которые генерируются на разных высотах друг от друга.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

РЕШЕНИЕ ЗАДАЧИ

[4] Настоящее изобретение обеспечивает способ воспроизведения трехмерного звука и соответствующее устройство для локализации виртуальных источников звука на заданной высоте.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[5] Согласно настоящему варианту осуществления можно обеспечить трехмерный (3D) эффект. Также в соответствии с настоящим вариантом осуществления можно эффективно локализовать виртуальный источник звука на заданной высоте.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[6] Вышеперечисленные и другие особенности и преимущества настоящего изобретения станут более очевидными из подробного описания иллюстративных вариантов его осуществления со ссылкой на прилагаемые чертежи, на которых:

[7] Фиг. 1 изображает блок-схему устройства воспроизведения трехмерного звука в соответствии с иллюстративным вариантом осуществления;

[8] Фиг. 2А представляет собой блок-схему устройства воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте с помощью 5-канальных сигналов;

[9] Фиг. 2В представляет собой блок-схему устройства воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте с помощью звукового сигнала в соответствии с другим вариантом осуществления;

[10] Фиг. 3 представляет собой блок-схему устройства воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте с помощью 5-канального сигнала в соответствии с другим вариантом осуществления;

[11] Фиг. 4 представляет собой диаграмму, показывающую пример устройства воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте посредством вывода 7-канальных сигналов через 7 динамиков в соответствии с иллюстративным вариантом осуществления;

[12] Фиг. 5 изображает диаграмму, показывающую пример устройства воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте посредством вывода 5-канальных сигналов через 7 динамиков в соответствии с иллюстративным вариантом осуществления;

[13] Фиг. 6 представляет собой диаграмму, показывающую пример устройства воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте посредством вывода 7-канальных сигналов через 5 колонок в соответствии с иллюстративным вариантом осуществления;

[14] Фиг. 7 изображает схему акустической системы для локализации виртуальных источников звука на заданной высоте в соответствии с иллюстративным вариантом осуществления, и

[15] Фиг. 8 представляет собой блок-схему, иллюстрирующую способ воспроизведения трехмерного звука в соответствии с иллюстративным вариантом осуществления.

НАИЛУЧШИЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[16] Иллюстративные варианты осуществления изобретения обеспечивают способ и устройство для воспроизведения трехмерного звука, и, в частности, способ и устройство для локализации виртуальных источников звука на заданной высоте.

[17] Согласно одному аспекту иллюстративного варианта осуществления, предлагается способ воспроизведения трехмерного звука, включающий в себя: пропускание звукового сигнала через заданный фильтр, генерирующий трехмерный звук, соответствующий первой высоте; реплицирование отфильтрованного звукового сигнала для генерирования множества звуковых сигналов; выполнение по меньшей мере одного из усиления, ослабления и задержки над каждым из реплицированных звуковых сигналов на основе по меньшей мере одного из значения коэффициента усиления и значения задержки, соответствующего каждому из множества динамиков, через которые должны быть выведены реплицированные звуковые сигналы; и вывод звуковых сигналов, прошедших по меньшей мере один из процессов усиления, ослабления и задержки, через соответствующие динамики.

[18] Заданный фильтр может включать в себя связанный с головой передаточный фильтр (head related transfer filter, HRTF).

[19] Пропускание звуковых сигналов через HRTF может включать в себя пропускание по меньшей мере одного из сигнала левого верхнего канала, представляющего звуковой сигнал, генерируемый с левой стороны второй высоты, и сигнала правого верхнего канала, представляющего звуковой сигнал, генерируемый с правой стороны второй высоты, через HRTF.

[20] Способ может дополнительно включать в себя генерацию сигнала левого верхнего канала и сигнала правого верхнего канала путем смешивания с увеличением звукового сигнала, когда звуковой сигнал не включает в себя сигнал левого верхнего канала и сигнал правого верхнего канала.

[21] Пропускание звукового сигнала через HRTF может включать в себя пропускание по меньшей мере одного из сигнала переднего левого канала, представляющего звуковой сигнал, генерируемый с левой стороны и сигнала переднего правого канала, представляющего звуковой сигнал, генерируемый с правой стороны через HRTF, когда звуковой сигнал не включает в себя сигнал левого верхнего канала, представляющий звуковой сигнал, генерируемый с левой стороны второй высоты, и сигнал правого верхнего канала, представляющий звуковой сигнал, генерируемый с правой стороны второй высоты.

[22] HRTF может быть сгенерирован путем деления первого HRTF, включающего в себя информацию о пути от первой высоты до ушей пользователя, на второй HRTF, включающий в себя информацию о пути от местонахождения динамика, через который будет выводиться звуковой сигнал, до ушей пользователя.

[23] Вывод звукового сигнала может включать в себя: генерирование первого звукового сигнала путем смешивания звукового сигнала, который получен путем усиления отфильтрованного сигнала левого верхнего канала в соответствии с первым значением коэффициента усиления, со звуковым сигналом, который получен путем усиления отфильтрованного сигнала правого верхнего канала в соответствии со вторым значением коэффициента усиления; генерирование второго звукового сигнала путем смешивания звукового сигнала, который получен путем усиления сигнала левого верхнего канала в соответствии со вторым значением коэффициента усиления, со звуковым сигналом, который получен путем усиления отфильтрованного сигнала правого верхнего канала в соответствии с первым значением коэффициента усиления; и вывод первого звукового сигнала через динамик, расположенный на левой стороне и вывод второго звукового сигнала через динамик, расположенный на правой стороне.

[24] Вывод звуковых сигналов может включать в себя: генерирование третьего звукового сигнала путем смешивания звукового сигнала, который получен путем усиления заднего левого сигнала, представляющего звуковой сигнал, генерируемый с задней левой стороны, в соответствии с третьим значением коэффициента усиления, с первым звуковым сигналом; генерирование четвертого звукового сигнала путем смешивания звукового сигнала, который получен путем усиления заднего правого сигнала, представляющего звуковой сигнал, генерируемый с задней правой стороны, в соответствии с третьим значением коэффициента усиления, со вторым звуковым сигналом; и вывод третьего звукового сигнала через левый задний динамик и четвертого звукового сигнала через правый задний динамик.

[25] Вывод звуковых сигналов может дополнительно включать в себя приглушение по меньшей мере одного из первого звукового сигнала и второго звукового сигнала в соответствии с положением на первой высоте, где должен быть локализован виртуальный источник звука.

[26] Пропускание звукового сигнала через HRTF может включать в себя: получение информации о местоположении, где должен быть локализован виртуальный источник звука; и определение HRTF, через который пропускается звуковой сигнал, на основе информации о местоположении.

[27] Выполнение по меньшей мере одного из процессов усиления, ослабления и задержки может включать в себя определение по меньшей мере одного из значения усиления и значения задержки, которые будут применяться к каждому из реплицированных звуковых сигналов на основе по меньшей мере одного из расположения фактического динамика, местоположения слушателя и местоположения виртуального источника звука.

[28] Определение по меньшей мере одного из значения коэффициента усиления и коэффициента задержки может включать в себя по меньшей мере одного из определение значений коэффициента усиления и задержки по отношению к каждому из реплицированных звуковых сигналов в виде определенного значения, когда информация о расположении слушателя не получена.

[29] Определение по меньшей мере одного из значения коэффициента усиления и значения задержки может включать в себя по меньшей мере одного из определение значений коэффициента усиления и задержки по отношению к каждому из реплицированных звуковых сигналов в виде одинаковых значений, когда информация о расположении слушателя не получена.

[30] Согласно одному аспекту другого иллюстративного варианта, предлагается устройство воспроизведения трехмерного звука, включающее в себя: фильтрующий блок, пропускающий звуковой сигнал через HRTF, соответствующий первой высоте; блок репликации, генерирующий множество звуковых сигналов путем репликации отфильтрованного звукового сигнала; блок усиления/задержки, выполняющий по меньшей мере одно из процессов усиления, ослабления и задержки по отношению к каждому из реплицированных звуковых сигналов на основании значения коэффициента усиления и значения задержки, соответствующих каждому из множества динамиков, через которые должны быть выведены реплицированные звуковые сигналы; и блок вывода, выводящий звуковые сигналы, прошедшие по меньшей мере одно из процессов усиления, ослабления и задержки, через соответствующие динамики.

[31] Заданный фильтр является связанным с головой передаточным фильтром (HRTF).

[32] Фильтрующий блок может пропускать через HRTF по меньшей мере одно из сигнал левого верхнего канала, представляющий звуковой сигнал, генерируемый с левой стороны второй высоты, и сигнал правого верхнего канала, представляющий звуковой сигнал, генерируемый с правой стороны второй высоты.

[33] Устройство воспроизведения трехмерного звука может дополнительно содержать: блок смешивания с увеличением, который генерирует сигнал левого верхнего канала и сигнал правого верхнего канала, когда звуковой сигнал не включает в себя сигнал левого верхнего канала и сигнал правого верхнего канала.

[34] Фильтрующий блок может пропускать через HRTF по меньшей мере одно из сигнал переднего левого канала, представляющего звуковой сигнал, генерируемый с передней левой стороны, и сигнал переднего правого канала, представляющего звуковой сигнал, генерируемый с передней правой стороны, когда звуковой сигнал не включает в себя сигнал левого верхнего канала, представляющий звуковой сигнал, генерируемый с левой стороны второй высоты, и сигнал правого верхнего канала, представляющего звуковой сигнал, генерируемый с правой стороны второй высоты.

[35] HRTF генерируется путем деления первого HRTF, включающего в себя информацию о пути от первой высоты до ушей пользователя, на второй HRTF, включающий в себя информацию о пути от местонахождения динамика, через который будет выводиться звуковой сигнал, до ушей пользователя.

[36] Блок вывода содержит: первый микширующий блок, который генерирует первый звуковой сигнал путем смешивания звукового сигнала, который получен путем усиления отфильтрованного сигнала левого верхнего канала в соответствии с первым значением коэффициента усиления, со звуковым сигналом, который получен путем усиления отфильтрованного сигнала правого верхнего канала в соответствии со вторым значением коэффициента усиления;

[37] второй микширующий блок, который генерирует второй звуковой сигнал путем смешивания звукового сигнала, который получен путем усиления отфильтрованного сигнала левого верхнего канала в соответствии со вторым значением коэффициента усиления, со звуковым сигналом, который получен путем усиления отфильтрованного сигнала правого верхнего канала в соответствии с первым значением коэффициента усиления; и

[38] воспроизводящий блок, который выводит первый звуковой сигнал через динамик, расположенный слева, и выводит второй звуковой сигнал через динамик, расположенный справа.

[39] Блок вывода содержит:

[40] третий микширующий блок, который генерирует третий звуковой сигнал путем смешивания звукового сигнала, который получен путем усиления заднего левого сигнала, представляющего звуковой сигнал, генерируемый с задней левой стороны, в соответствии с третьим значением коэффициента усиления, с первым звуковым сигналом; и

[41] четвертый микширующий блок, который генерирует четвертый звуковой сигнал путем смешивания звукового сигнала, который получен путем усиления заднего правого сигнала, представляющего звуковой сигнал, генерируемый с задней правой стороны, в соответствии с третьим значением коэффициента усиления, со вторым звуковым сигналом;

[42] причем воспроизводящий блок выводит третий звуковой сигнал через левый задний динамик и четвертый звуковой сигнал через правый задний динамик.

[43] Воспроизводящий блок содержит контроллер, который подавляет по меньшей мере один из первого и второго звуковых сигналов в соответствии с тем местоположением на первой высоте, где должен быть локализован виртуальный источник звука.

ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[44] Данная заявка испрашивает приоритет предварительной заявки США №61/362,014, поданной 7 июля 2010 г. в ведомство США по патентам и товарным знакам, корейской патентной заявки №10-2010-0137232, поданной 28 декабря 2010 г., и корейской патентной заявки №10-2011-0034415, поданной 13 апреля 2011 г. в Корейское ведомство интеллектуальной собственности, раскрытие которых включено в данный документ в полном объеме посредством ссылки.

[45] В дальнейшем будут подробно описаны иллюстративные варианты со ссылкой на прилагаемые чертежи. В этом описании термин «блок» означает аппаратный компонент и/или программный компонент, который выполняется аппаратным компонентом, таким как процессор.

[46] Фиг. 1 изображает блок-схему устройства 100 воспроизведения трехмерного звука в соответствии с иллюстративным вариантом.

[47] Устройство 100 воспроизведения трехмерного звука включает в себя фильтрующий блок 110, блок 120 репликации, усилитель 130 и блок 140 вывода.

[48] Фильтрующий блок 110 пропускает звуковой сигнал через заданный фильтр, генерируя трехмерный звук, соответствующий заданной высоте. Фильтрующий блок 110 может пропускать звуковой сигнал через связанный с головой передаточный фильтр (HRTF), соответствующий заданной высоте. HRTF включает в себя информацию о пути от пространственного положения источника звука до обоих ушей пользователя, то есть частотную характеристику передачи. HRTF позволяет пользователю распознать трехмерный звук посредством явления, при котором комплексные характеристики прохождения, такие как дифракция на коже головы человека и отражение ушными раковинами, а также простые различия в прохождении, такие как разница в уровне сигнала между ушами (inter-aural level difference, ILD) и разница во времени прихода между ушами (inter-aural time difference, ITD), меняются в соответствии с направлением прихода звука. Поскольку в каждом направлении в пространстве существует только один HRTF, трехмерный звук может быть сгенерирован за счет вышеуказанных характеристик.

[49] Фильтрующий блок 110 использует HRTF для моделирования звука, генерированного с положения на высоте, которая выше, чем высота фактических динамиков, которые расположены на поверхности уровня. Уравнение 1, приведенное ниже, является примером HRTF, используемого в фильтрующем блоке 110.

[50] HRTF=HRTF₂/HRTF₁ (1)

[51] HRTF₂ - это HRTF, представляющий информацию о прохождении от положения виртуального источника звука до ушей пользователя, а HRTF₁ - это HRTF, представляющий информацию о прохождении от положения фактического динамика до ушей пользователя. Поскольку звуковой сигнал выводится из фактического динамика, для того, чтобы пользователь распознал, что звуковой сигнал исходит из виртуального динамика, HRTF2, соответствующий заданной высоте, делится на HRTF₁, соответствующий поверхности уровня (или высоте фактического динамика).

[52] Оптимальный HRTF, соответствующий заданной высоте, зависит от конкретного человека, так же, как отпечатки пальцев. Однако, невозможно вычислить HRTF для каждого пользователя и применять вычисленный HRTF для каждого пользователя. Таким образом, HRTF рассчитывается для некоторых пользователей из группы пользователей, которые имеют сходные характеристики (например, физические характеристики, такие как возраст и рост, или наклонности, такие как любимая полоса частот и любимая музыка), а затем показательное значение (например, среднее значение) может быть определено как HRTF, применяемый ко всем пользователям, входящим в соответствующую группу пользователей.

[53] Уравнение 2, приведенное ниже, является результатом фильтрации звукового сигнала с помощью HRTF, определенного в вышеприведенной формуле 1.

[54] Y₂(f)=Y₁(f)*HRTF (2)

[55] Y1(f) является значением, преобразованным в диапазон частот из выходного звукового сигнала, который пользователь слышит из фактического динамика, а Y2(f) является значением, преобразованным в диапазон частот из выводного звукового сигнала, который пользователь слышит из виртуального динамика.

[56] Фильтрующий блок 110 может фильтровать только некоторые сигналы каналов из множества сигналов каналов, включенных в звуковой сигнал.

[57] Звуковой сигнал может включать в себя звуковые сигналы, соответствующие множеству каналов. В дальнейшем для удобства описания определяется 7-канальный сигнал. Тем не менее, 7-канальный сигнал является примером, и звуковой сигнал может включать в себя сигнал канала, представляющий звуковой сигнал, сгенерированный с направлений, отличных от семи направлений, которые будут описаны.

[58] Сигнал центрального канала является звуковым сигналом, сгенерированным с передней центральной части, и выводится через центральный динамик.

[59] Сигнал переднего правого канала является звуковым сигналом, сгенерированным с правой стороны передней части, и выводится через передний правый динамик.

[60] Сигнал переднего левого канала является звуковым сигналом, сгенерированным с левой стороны передней части, и выводится через передний левый динамик.

[61] Сигнал заднего правого канала является звуковым сигналом, сгенерированным с правой стороны задней части, и выводится через задний правый динамик.

[62] Сигнал заднего левого канала является звуковым сигналом, сгенерированным с левой стороны задней части, и выводится через задний левый динамик.

[63] Сигнал правого верхнего канала является звуковым сигналом, сгенерированным с верхней правой части, и выводится через правый верхний динамик.

[64] Сигнал левого верхнего канала является звуковым сигналом, сгенерированным с верхней левой части, и выводится через левый верхний динамик.

[65] Когда звуковой сигнал включает в себя сигнал правого верхнего канала и сигнал левого верхнего канала, фильтрующий блок 110 фильтрует сигнал правого верхнего канала и сигнал левого верхнего канала. Отфильтрованные правый верхний сигнал и левый верхний сигнал затем используются для моделирования виртуальных источников звука, которые генерируется с желаемой высоты.

[66] Когда звуковой сигнал не включает в себя сигнал правого верхнего канала и сигнал левого верхнего канала, фильтрующий блок 110 фильтрует сигнал переднего правого канала и сигнал переднего левого канала. Сигнал переднего правого канала и сигнал переднего левого канала затем используются для моделирования виртуальных источников звука, которые генерируется с желаемой высоты.

[67] В некоторых иллюстративных вариантах осуществления звуковой сигнал, который не включает в себя сигнал правого верхнего канала и сигнал левого верхнего канала (например, 2.1-канальный или 5.1-канальный сигнал), смешивается с увеличением для генерирования сигнала правого верхнего канала и сигнала левого верхнего канала. После этого смешанные сигнал правого верхнего канала и сигнал левого верхнего канала могут быть отфильтрованы.

[68] Блок 120 репликации реплицирует отфильтрованный сигнал канала на множество сигналов. Блок 120 репликации реплицирует отфильтрованный сигнал канала столько раз, сколько имеется динамиков, через которые будут выводиться отфильтрованные сигналы канала. Например, когда отфильтрованный звуковой сигнал выводится как сигнал правого верхнего канала, сигнал левого верхнего канала, сигнал правого заднего канала и сигнал левого заднего канала, блок 120 репликации делает четыре реплики отфильтрованного сигнала канала. Количество реплик, производимых блоком 120 репликации, может варьироваться в зависимости от иллюстративных вариантов осуществления, однако желательно, чтобы две или более реплик генерировались таким образом, чтобы отфильтрованный сигнал канала мог быть выведен по меньшей мере как сигнал правого заднего канала и сигнал левого заднего канала.

[69] Динамики, через которые будут воспроизведены сигнал правого верхнего канала и сигнал левого верхнего канала, расположены на поверхности уровня. В качестве примера, динамики могут быть прикреплены прямо над передним динамиком, который воспроизводит сигнал переднего правого канала.

[70] Усилитель 130 усиливает (или ослабляет) отфильтрованный звуковой сигнал в соответствии с заданным значением коэффициента усиления. Значение коэффициента усиления может изменяться в зависимости от вида отфильтрованного звукового сигнала.

[71] Например, сигнал правого верхнего канала, выводимый через правый верхний динамик, усиливается в соответствии с первым значением коэффициента усиления, а сигнал правого верхнего канала, выводимый через левый верхний динамик, усиливается в соответствии со вторым значением коэффициента усиления. Здесь первое значение коэффициента усиления может быть больше, чем второе значение коэффициента усиления. Дополнительно, сигнал левого верхнего канала, выводимый через правый верхний динамик, усиливается в соответствии со вторым значением коэффициента усиления, а сигнал левого верхнего канала, выводимый через левый верхний динамик, усиливается в соответствии с первым значением коэффициента усиления, так что могут быть выведены сигналы канала, соответствующие левому и правому динамикам.

[72] В данной области техники для того, чтобы создать виртуальный источник звука в требуемом положении, в основном используется способ ITD. Способ ITD является способом локализации виртуальных источников звука в нужном положении путем вывода одного и того же звукового сигнала из множества динамиков с разницей во времени. Способ ITD подходит для локализации виртуальных источников звука в той же плоскости, на которой расположены фактические динамики. Тем не менее, способ ITD не является подходящим способом для локализации виртуальных источников звука в положении, которое расположено выше, чем высота фактического динамика.

[73] В иллюстративных вариантах осуществления один и тот же звуковой сигнал выводится из множества динамиков с различными значениями коэффициента усиления. Таким образом, в соответствии с иллюстративным вариантом осуществления виртуальный источник звука может быть легко локализован на высоте, расположенной выше, чем высота фактического динамика, или на определенной высоте независимо от высоты фактического динамика.

[74] Блок 140 вывода выводит один или несколько усиленных канальных сигналов через соответствующие динамики. Блок 140 вывода может включать в себя смеситель (не показан) и воспроизводящий блок (не показан).

[75] Смеситель смешивает один или более канальных сигналов.

[76] Смеситель смешивает сигнал левого верхнего канала, который усиливается в соответствии с первым значением коэффициента усиления, с сигналом правого верхнего канала, который усиливается в соответствии со вторым значением коэффициента усиления, для генерирования первого звукового компонента, и смешивает сигнал левого верхнего канала, который усиливается в соответствии со вторым значением коэффициента усиления, и сигнал правого верхнего канала, который усиливается в соответствии с первым значением коэффициента усиления, для генерирования второго звукового компонента.

[77] Кроме того, смеситель смешивает сигнал заднего левого канала, который усиливается в соответствии с третьим значением коэффициента усиления, с первым звуковым компонентом для генерирования третьего звукового компонента, и смешивает сигнал заднего правого канала, который усиливается в соответствии с третьим значением коэффициента усиления, со вторым звуковым компонентом для генерирования четвертого звукового компонента.

[78] Воспроизводящий блок воспроизводит смешанные или несмешанные звуковые компоненты и выводит их в соответствующие динамики.

[79] Воспроизводящий блок выводит первый звуковой компонент в левый верхний динамик, и выводит второй звуковой компонент в правый верхний динамик. Если нет левого верхнего динамика или правого верхнего динамика, воспроизводящий блок может выводить первый звуковой компонент на передний левый динамик, а второй звуковой компонент - на передний правый динамик.

[80] Дополнительно воспроизводящий блок выводит третий звуковой компонент на задний левый динамик, а четвертый звуковой компонент - на задний правый динамик.

[81] Операции блока 120 репликации, усилителя 130 и блока 140 вывода могут варьироваться в зависимости от числа канальных сигналов, включенных в звуковой сигнал, и количества динамиков. Примеры операций устройства воспроизведения трехмерного звука в соответствии с количеством канальных сигналов и динамиков будут описаны ниже со ссылкой на Фиг. 4-6.

[82] Фиг. 2А представляет собой блок-схему устройства 100 воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте с помощью 5-канальных сигналов в соответствии с иллюстративным вариантом осуществления.

[83] Увеличивающий смеситель 210 смешивает с увеличением 5-канальные сигналы 201 для генерирования 7-канальных сигналов, включающих в себя сигнал левого верхнего канала 202 и сигнал правого верхнего канала 203.

[84] Сигнал 202 левого верхнего канала является входом в первый HRTF 111, а 203 сигнал правого верхнего канала является входом во второй HRTF 112.

[85] Первый HRTF 111 включает в себя информацию о прохождении от левого виртуального источника звука до ушей пользователя, а второй HRTF 112 включает в себя информацию о прохождении от правого виртуального источника звука до ушей пользователя. Первый HRTF 111 и второй HRTF 112 являются фильтрами для моделирования виртуальных источников звука на заданной высоте, находящейся выше, чем высота фактических динамиков.

[86] Сигнал левого верхнего канала и сигнал правого верхнего канала, проходящие через первый HRTF 111 и второй HRTF 112, являются входом в блоки 121 и 122 репликации.

[87] Каждый из блоков 121 и 122 репликации делает две реплики каждого из сигнала левого верхнего канала и сигнала правого верхнего канала, которые пропускаются через фильтры HRTF 111 и 112. Реплицированные сигнал левого верхнего канала и сигнал правого верхнего канала передаются на три (с первого по третий) усилителя 131, 132, и 133.

[88] Первый усилитель 131 и второй усилитель 132 усиливают реплицированные левый верхний сигнал и правый верхний сигнал в соответствии с динамиком, выводящим сигнал, и типом канальных сигналов. Дополнительно, третий усилитель 133 усиливает по меньшей мере один канальный сигнал, включенный в 5-канальные сигналы 201.

[89] В некоторых иллюстративных вариантах осуществления устройство 100 воспроизведения трехмерного звука может включать в себя первый блок задержки (не показан) и второй блок задержки (не показан) вместо первого и второго усилителей 131 и 132, или может включать в себя как первый и второй усилители 131 и 132, так и первый и второй блоки задержки. Это объясняется тем, что тот же результат, что происходит от изменения коэффициента усиления, может быть получен, если значения задержки отфильтрованных звуковых сигналов изменяются в зависимости от динамика.

[90] Блок 140 вывода смешивает усиленный сигнал левого верхнего канала, сигнал правого верхнего канала и 5-канальный сигнал 201 для вывода смешанных сигналов как 7-канальных сигналов 205. 7-канальные сигналы 205 выводятся на каждый из динамиков.

[91] В другом иллюстративном варианте осуществления, когда входными являются 7-канальные сигналы, увеличивающий смеситель 210 может быть опущен.

[92] В другом иллюстративном варианте осуществления устройство 100 воспроизведения трехмерного звука может включать в себя блок определения фильтра (не показан) и блок определения коэффициента усиления/задержки (не показан).

[93] Блок определения фильтра выбирает подходящий HRTF в соответствии с положением, в котором будет локализован виртуальный источник звука (то есть, угол возвышения и горизонтальный угол). Блок определения фильтра может выбрать HRTF, соответствующий виртуальному источнику звука с помощью информации о соответствии между расположением виртуального источника звука и HRTF. Информация о местоположении виртуального источника звука может быть получена через другие модули, такие как приложения (программные или аппаратные), или может быть введена пользователем. Например, в игровом приложении место, где локализуется виртуальный источник звука, может меняться в зависимости от времени, и блок определения фильтра может изменять HRTF в соответствии с изменением расположения виртуального источника звука.

[94] Блок определения коэффициента усиления/задержки может определять по меньшей мере одно из коэффициента усиления (или ослабления) и коэффициента задержки реплицированного звукового сигнала на основе по меньшей мере одного из расположения фактических динамиков, расположения виртуального источника звука и расположения слушателя. Если блок определения коэффициента усиления/задержки не распознает информацию о местоположении слушателя заранее, блок определения коэффициента усиления/задержки может выбрать по меньшей мере один из заранее заданных коэффициента усиления и коэффициента задержки.

[95] Фиг. 2В является блок-схемой устройства 100 воспроизведения трехмерного звука для локализации виртуального источника звука на заданной высоте с помощью звукового сигнала в соответствии с другим иллюстративным вариантом осуществления.

[96] На Фиг. 2В для удобства описания будет описан первый канальный сигнал, который включен в звуковой сигнал. Однако настоящий иллюстративный вариант осуществления может быть применен к другим канальным сигналам, входящим в звуковой сигнал.

[97] Устройство 100 воспроизведения трехмерного звука может включать в себя первый HRTF 211, блок 221 репликации и блок 231 усиления/задержки.

[98] Первый HRTF 211 выбирается на основе информации о местоположении виртуального источника звука, и первый канальный сигнал пропускается через первый HRTF 211. Информация о местоположении виртуального источника звука может включать в себя информацию об угле возвышения и информацию о горизонтальном угле.

[99] Блок 221 репликации реплицирует первый канальный сигнал после фильтрации на один или несколько звуковых сигналов. На Фиг. 2В предполагается, что блок 221 репликации реплицирует первый канальный сигнал столько раз, каково количество фактических динамиков.

[100] Блок 231 усиления/задержки определяет коэффициенты усиления/задержки реплицированных первых канальных сигналов в соответствии с динамиками, на основе по меньшей мере одного из информации о местоположении фактического динамика, информации о местоположении слушателя и информации о местоположении виртуального источника звука. Блок 231 усиления/задержки усиливает/ослабляет реплицированные первые канальные сигналы на основе определенного коэффициента усиления (или ослабления), или задерживает реплицированный первый канальный сигнал на основе коэффициента задержки. В иллюстративном варианте осуществления блок 231 усиления/задержки может одновременно выполнять усиление (или ослабление) и задержку реплицированных первых канальных сигналов на основе определенных коэффициентов усиления (или ослабления) и коэффициентов задержки.

[101] Блок 231 усиления/задержки обычно определяет коэффициенты усиления/задержки реплицированного первого канального сигнала для каждого из динамиков, однако, когда информация о расположении слушателя не получена, блок 231 усиления/задержки может определить коэффициенты усиления/задержки динамиков равными друг другу, и таким образом через динамики могут быть выведены первые канальные сигналы, которые равны друг другу. В частности, когда блок 231 усиления/задержки не получает информацию о местоположении слушателя, блок 231 усиления/задержки может определить коэффициент усиления/задержки для каждого из динамиков как заранее заданное значение (или произвольное значение).

[102] Фиг. 3 является блок-схемой устройства 100 воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте с помощью 5-канальных сигналов в соответствии с другим иллюстративным вариантом осуществления. Блок распределения сигнала 310 извлекает сигнал 302переднего правого канала и сигнал 303 переднего левого канала из 5-канального сигнала и передает извлеченные сигналы на первый HRTF 111 и второй HRTF 112.

[103] Устройство 100 воспроизведения трехмерного звука согласно настоящему иллюстративному варианту осуществления является тем же самым, что описано со ссылкой на Фиг. 2, за тем исключением, что звуковые компоненты, примененные к фильтрующим блокам 111 и 112, блокам 121 и 122 репликации и усилителям 131, 132 и 133, являются сигналом 302 переднего правого канала и сигналом 303 переднего левого канала. Таким образом, подробные описания устройства 100 воспроизведения трехмерного звука по настоящему иллюстративному варианту осуществления здесь представлены не будут.

[104] Фиг. 4 показывает пример устройства 100 воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте посредством вывода 7-канальных сигналов через 7 динамиков в соответствии с другим иллюстративным вариантом осуществления.

[105] Фиг. 4 будет описана на основе входных звуковых сигналов, а затем описана на основе звуковых сигналов, выводимых через динамики.

[106] Звуковые сигналы, в том числе сигнал переднего левого канала, сигнал левого верхнего канала, сигнал левого заднего канала, сигнал центрального канала, сигнал правого заднего канала, сигнал правого верхнего канала и сигнал переднего правого канала, подаются в устройство 100 воспроизведения трехмерного звука.

[107] Сигнал переднего левого канала смешивается с сигналом центрального канала, ослабленным коэффициентом B, а затем передается на передний левый динамик.

[108] Сигнал левого верхнего канала проходит через HRTF, соответствующий высоте, которая на 30(выше, чем высота левого верхнего динамика, и реплицируется на четыре канальных сигнала.

[109] Два сигнала левого верхнего канала усиливаются коэффициентом А, а затем смешиваются с сигналом правого верхнего канала. В некоторых иллюстративных вариантах осуществления после смешивания сигнала левого верхнего канала, который усилен коэффициентом А, с сигналом правого верхнего канала, смешанный сигнал может быть реплицирован на два сигнала. Один из смешанных сигналов усиливается коэффициентом D, а затем смешивается с сигналом левого заднего канала и выводится через задний левый динамик. Другой смешанный сигнал усиливается коэффициентом E, а затем выводится через верхний левый динамик.

[110] Два оставшихся сигнала левого верхнего канала смешиваются с сигналом правого верхнего канала, который усилен коэффициентом A. Один из смешанных сигналов усиливается коэффициентом D, а затем смешивается с сигналом правого заднего канала и выводится через задний правый динамик. Другой смешанный сигнал усиливается коэффициентом E и выводится через правый верхний динамик.

[111] Сигнал левого заднего канала смешивается с сигналом правого верхнего канала, который усилен коэффициентом D, и сигналом левого верхнего канала, который усилен коэффициентом D(A, и выводится через задний левый динамик.

[112] Сигнал центрального канала реплицируется на три сигнала. Один из реплицированных сигналов центрального канала ослабляется коэффициентом B, а затем смешивается с сигналом переднего левого канала и выводится через передний левый динамик. Другой реплицированный сигнал центрального канала ослабляется коэффициентом B, и после этого смешивается с сигналом переднего правого канала и выводится через передний правый динамик. Другой реплицированный сигнал центрального канала ослабляется коэффициентом C, а затем выводится через центральный динамик.

[113] Сигнал правого заднего канала смешивается с сигналом левого верхнего канала, который усилен коэффициентом D, и сигналом правого верхнего канала, который усилен коэффициентом D*A, а затем выводится через задний правый динамик.

[114] Правый верхний сигнал проходит через HRTF, соответствующий высоте, которая на 30⁰ выше, чем высота правого верхнего динамика, а затем реплицируется на четыре сигнала.

[115] Два сигнала правого верхнего канала смешиваются с сигналом левого верхнего канала, который усилен коэффициентом A. Один из смешанных сигналов усиливается коэффициентом D и смешивается с сигналом левого заднего канала, после чего выводится через задний левый динамик. Другой смешанный сигнал усиливается коэффициентом E и выводится через верхний левый динамик.

[116] Два реплицированных сигнала правого верхнего канала усиливаются коэффициентом А и смешиваются с сигналами левого верхнего канала. Один из смешанных сигналов усиливается коэффициентом D и смешивается с сигналом правого заднего канала, после чего выводится через задний правый динамик. Другой смешанный сигнал усиливается коэффициентом E и выводится через правый верхний динамик.

[117] Сигнал переднего правого канала смешивается с сигналом центрального канала, который ослаблен коэффициентом B, и выводится через передний правый динамик.

[118] Далее, звуковыми сигналами, которые окончательно выведены на динамики после вышеописанных процессов, являются следующие:

[119] (сигнал переднего левого канала + сигнал центрального канала *B) выводится через передний левый динамик;

[120] (сигнал левого заднего канала + D*(сигнал левого верхнего канала*A + сигнал правого верхнего канала)) выводится через задний левый динамик;

[121] (E*(сигнал левого верхнего канала*A + сигнал правого верхнего канала)) выводится через верхний левый динамик;

[122] (C*сигнал центрального канала) выводится через центральный динамик;

[123] (E*(сигнал правого верхнего канала*A + сигнал левого верхнего канала)) выводится через верхний правый динамик;

[124] (сигнал правого заднего канала + D*(сигнал правого верхнего канала*A + сигнал левого верхнего канала)) выводится через задний правый динамик; и

[125] (сигнал переднего правого канала + сигнал центрального канала *B) выводится через передний правый динамик.

[126] На Фиг. 4 значения коэффициента усиления, предназначенные для усиления или ослабления канальных сигналов, являются лишь примерами, и могут быть использованы различные значения коэффициента усиления, которые могут сделать выходной сигнал левого динамика и правого динамика соответствующими сигналам канала. Кроме того, в некоторых иллюстративных вариантах осуществления для вывода сигналов канала через левый и правый динамики могут быть использованы значения коэффициента усиления, которые не соответствуют динамикам.

[127] Фиг. 5 показывает пример устройства 100 воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте посредством вывода 5-канальных сигналов через 7 динамиков в соответствии с другим иллюстративным вариантом осуществления.

[128] Устройство воспроизведения трехмерного звука, показанное на Фиг. 5, является таким же, как и то, что показано на Фиг. 4, за исключением того, что звуковые компоненты, входящие в HRTF, являются сигналом переднего левого канала и сигналом переднего правого канала. Таким образом, звуковые сигналы, выводимые через динамики, являются следующими:

[129] (сигнал переднего левого канала + сигнал центрального канала *B) выводится через передний левый динамик;

[130] (сигнал левого заднего канала + D*(сигнал переднего левого канала*A + сигнал переднего правого канала)) выводится через задний левый динамик;

[131] (E*(сигнал переднего левого канала*A + сигнал переднего правого канала)) выводится через верхний левый динамик;

[132] (C*сигнал центрального канала) выводится через центральный динамик;

[133] (E*(сигнал переднего правого канала*A + сигнал переднего левого канала)) выводится через правый верхний динамик;

[134] (сигнал правого заднего канала + D*(сигнал переднего правого канала*A + сигнал переднего левого канала)) выводится через задний правый динамик; и

[135] (сигнал переднего правого канала + сигнал центрального канала *B) выводится через передний правый динамик.

[136] Фиг. 6 показывает пример устройства 100 воспроизведения трехмерного звука для локализации виртуальных источников звука на заданной высоте посредством вывода 7-канальных сигналов через 5 динамиков в соответствии с другим иллюстративным вариантом осуществления.

[137] Устройство воспроизведения трехмерного звука 100, изображенное на Фиг. 6, является таким же, как и то, что показано на Фиг. 4, за исключением того, что выходные сигналы, которые предполагается выводить через левый верхний динамик (динамик для сигнала 413 левого верхнего канала) и правый верхний динамик (динамик для сигнала 415 правого верхнего канала) на Фиг. 4, выводятся через передний левый динамик (динамик для сигнала 611 переднего левого канала) и передний правый динамик (динамик для сигнала 615 переднего правого канала) соответственно. Таким образом, звуковыми сигналами, выводимыми через динамики, являются следующие:

[138] (сигнал переднего левого канала + сигнал центрального канала*B + E*(сигнал переднего левого канала*A + передний правый сигнал)) выводится через передний левый динамик;

[139] (сигнал левого заднего канала + D*(сигнал переднего левого канала*A + сигнал переднего правого канала)) выводится через задний левый динамик;

[140] (C*сигнал центрального канала) выводится через центральный динамик;

[141] (E*(сигнал переднего правого канала*A + сигнал переднего левого канала)) выводится через правый верхний динамик;

[142] (сигнал правого заднего канала + D*(сигнал переднего правого канала*A + сигнал переднего левого канала)) выводится через задний правый динамик; и

[143] (сигнал переднего правого канала + сигнал центрального канала*B + E*(сигнал переднего правого канала*A + сигнал переднего левого канала)) выводится через передний правый динамик.

[144] Фиг. 7 представляет собой схему акустической системы для локализации виртуальных источников звука на заданной высоте в соответствии с иллюстративным вариантом осуществления.

[145] Акустическая система на Фиг. 7 включает в себя центральный динамик 710, передний левый динамик 721, передний правый динамик 722, задний левый динамик 731 и задний правый динамик 732.

[146] Как описано выше со ссылкой на Фиг. 4-6, для локализации виртуальных источников звука на заданной высоте сигнал левого верхнего канала и сигнал правого верхнего канала, которые прошли через фильтр, усиливаются или ослабляются коэффициентами усиления, значения которых отличаются для каждого динамика, а затем выводятся в передний левый динамик 721, передний правый динамик 722, задний левый динамик 731 и задний правый динамик 732.

[147] Хотя это и не показано на Фиг. 7, левый верхний динамик (не показан) и правый верхний динамик (не показан) могут быть расположены над передним левым динамиком 721 и передним правым динамиком 722. В этом случае сигнал левого верхнего канала и сигнал правого верхнего канала, проходящие через фильтр, усиливаются коэффициентами усиления, значения которых отличаются для каждого динамика, а затем выводятся в левый верхний динамик (не показан), правый верхний динамик (не показан), задний левый динамик 731 и задний правый динамик 732.

[148] Пользователь распознает, что виртуальный источник звука локализуется на заданной высоте, когда отфильтрованные сигнал левого верхнего канала и сигнал правого верхнего канала выводятся через один или несколько динамиков в акустической системе. Здесь может быть скорректировано расположение виртуального источника звука в левом и правом направлении, когда отфильтрованный сигнал левого верхнего канала или сигнал правого верхнего канала будет приглушен в одном или нескольких динамиках.

[149] Когда виртуальный источник звука должен быть расположен в центральной части на заданной высоте, передний левый динамик 721, передний правый динамик 722, задний левый динамик 731 и задний правый динамик 732 одновременно выводят отфильтрованные сигналы левого верхнего и правого верхнего каналов, либо только задний левый динамик 731 и задний правый динамик 732 могут выводить отфильтрованные сигналы левого верхнего и правого верхнего каналов. В некоторых иллюстративных вариантах осуществления по меньшей мере один из отфильтрованных сигналов левого верхнего и правого верхнего каналов может выводиться через центральный динамик 710. Однако центральный динамик 710 не вносит вклада в корректировку расположения виртуального источника звука в левом и правом направлении.

[150] Если желательно, чтобы виртуальный источник звука был локализован справа на заданной высоте, передний правый динамик 722, задний левый динамик 731 и задний правый динамик 732 могут выводить отфильтрованные сигналы левого верхнего и правого верхнего каналов.

[151] Если желательно, чтобы виртуальный источник звука был локализован слева на заданной высоте, передний левый динамик 721, задний левый динамик 731 и задний правый динамик 732 могут выводить отфильтрованные сигналы левого верхнего и правого верхнего каналов.

[152] Даже тогда, когда желательно, чтобы виртуальный источник звука был локализован справа или слева на заданной высоте, вывод отфильтрованных сигналов левого верхнего и правого верхнего каналов через задний левый динамик 731 и задний правый динамик 732 не может быть приглушен.

[153] В некоторых иллюстративных вариантах осуществления расположение виртуального источника звука в левом и правом направлении может быть отрегулировано путем регулировки коэффициента усиления для усиления или ослабления сигналов левого верхнего и правого верхнего каналов, без приглушения отфильтрованных сигналов левого верхнего и правого верхнего каналов, выводимых через один или несколько динамиков.

[154] Фиг. 8 изображает блок-схему, иллюстрирующую способ воспроизведения трехмерного звука в соответствии с иллюстративным вариантом осуществления.

[155] На этапе S810 звуковой сигнал пропускается через HRTF, соответствующий заданной высоте.

[156] На этапе S820 отфильтрованный звуковой сигнал реплицируется для генерирования одной или более реплик звукового сигнала.

[157] На этапе S830 один или несколько реплицированных звуковых сигналов усиливаются в соответствии со значением коэффициента усиления, соответствующим динамику, через который будет выводиться звуковой сигнал.

[158] На этапе S840 один или более усиленных звуковых сигналов выводятся через соответствующие динамики.

[159] В предшествующем уровне техники верхний динамик устанавливается на желаемую высоту для того, чтобы выводить звуковой сигнал, генерируемый на этой высоте, однако установить верхний динамик на потолке не так просто. Таким образом, верхний динамик, как правило, располагается над передним динамиком, что может привести к тому, что желаемая высота не будет воспроизведена.

[160] Когда виртуальный источник звука локализуется в нужном месте при помощи HRTF, может быть эффективно выполнена локализация виртуального источника звука в левом и правом направлении на горизонтальной плоскости. Однако локализация с использованием HTRF не подходит для локализации виртуального источника звука на высоте, которая находится выше или ниже высоты фактических динамиков.

[161] В противоположность этому, в соответствии с иллюстративными вариантами осуществления один или несколько канальных сигналов, проходящих через HRTF, усиливаются коэффициентами усиления, которые отличаются друг от друга в соответствии с динамиком, и выводятся через динамики. Таким образом, виртуальный источник звука может быть эффективно локализован на заданной высоте с помощью динамиков, расположенных на горизонтальной плоскости.

[162] Иллюстративные варианты осуществления могут быть записаны в виде компьютерных программ и могут быть реализованы на цифровых компьютерах общего назначения, которые выполняют программы, хранимые на машиночитаемом носителе записи.

[163] Примеры машиночитаемого носителя записи включают в себя магнитные носители (например, ROM (ПЗУ), дискеты, жесткие диски и т.д.) и оптические носители (например, CD-ROM или DVD).

[164] Хотя были конкретно показаны и описаны иллюстративные варианты осуществления, специалистам в данной области техники будет понятно, что могут быть сделаны различные изменения в форме и деталях без отступления от сущности и объема концепции изобретения, определенной в следующей формуле изобретения.