СПОСОБ И УСТРОЙСТВО ДЛЯ ВОСПРОИЗВЕДЕНИЯ ТРЕХМЕРНОГО ЗВУКОВОГО СОПРОВОЖДЕНИЯ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее устройство относится к способу и устройству для воспроизведения стереофонического звукового сопровождения и, в частности, к способу и устройству для воспроизведения стереофонического звукового сопровождения, которое обеспечивает перспективу для звукового объекта.

УРОВЕНЬ ТЕХНИКИ

В результате развития технологии визуализации пользователь может наблюдать 3-мерное стереоскопическое изображение. 3-мерное стереоскопическое изображение показывает данные леворакурсного изображения левому глазу и данные праворакурсного изображения правому глазу с учетом бинокулярной диспаратности. Пользователь может распознавать объект, который представляется реально выступающим из экрана или проникающим вглубь экрана благодаря применению технологии 3-мерных изображений.

С развитием технологии визуализации усилился также интерес пользователя к звуковому сопровождению, и, в частности, заметное развитие получило стереофоническое звуковое сопровождение. В технологии стереофонического звукового сопровождения, вокруг пользователя размещают множество акустических систем таким образом, что пользователь может ощущать местонахождение в разных местах и перспективу. Однако, в технологии стереофонического звукового сопровождения, невозможно эффективно представлять объект изображения, который приближается к пользователю или отдаляется от пользователя, и, поэтому, невозможно обеспечить звуковой эффект, соответствующий 3-мерному изображению.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - блок-схема устройства для воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 2 - блок-схема блока получения информации о глубине звука, показанного на фиг. 1, в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 3 - блок-схема блока получения информации о глубине звука, показанного на фиг. 1, в соответствии с другим вариантом осуществления настоящего изобретения;

Фиг. 4 - график, иллюстрирующий предварительно заданную функцию, используемую для определения значения глубины звука в блоках определения в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 5 - блок-схема блока обеспечения перспективы, который обеспечивает стереофоническое звуковое сопровождение с использованием стереозвукового сигнала в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 6A-6D иллюстрируют обеспечение стереофонического звукового сопровождения в устройстве для воспроизведения стереофонического звукового сопровождения, показанном на фиг. 1, в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 7 - блок-схема последовательности операций иллюстрирующая способ определения местоположения звукового объекта по звуковому сигналу в соответствии с вариантом осуществления настоящего изобретения;

Фиг. 8A-8D иллюстрируют определение местоположения звукового объекта по звуковому сигналу в соответствии с вариантом осуществления настоящего изобретения; и

Фиг. 9 - блок-схема последовательности операций, иллюстрирующая способ воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение предлагает способ и устройство для эффективного воспроизведения стереофонического звукового сопровождения и, в частности, способ и устройство для воспроизведения стереофонического звукового сопровождения, которое эффективно представляет звук, который приближается к пользователю или удаляется от пользователя, посредством обеспечения перспективы для звукового объекта.

В соответствии с аспектом настоящего изобретения предлагается способ воспроизведения стереофонического звукового сопровождения, при этом способ содержит этап получения информации о глубине изображения, указывающей расстояние между, по меньшей мере, одним объектом в сигнале изображения и опорным местоположением; этап получения информации о глубине звука, указывающей расстояние между, по меньшей мере, одним звуковым объектом в звуковом сигнале и опорным местоположением, на основании информации о глубине изображения; и этап обеспечения звуковой перспективы для, по меньшей мере, одного звукового объекта на основании информации о глубине звука.

Этап получения информации о глубине звука содержит получение максимального значения глубины для каждой секции изображения, которая составляет сигнал изображения; и получение значения глубины звука для, по меньшей мере, одного звукового объекта на основании максимального значения глубины.

Получение значения глубины звука содержит определение значения глубины звука как минимального значения, когда максимальное значение глубины меньше, чем первое пороговое значение, и определение значения глубины звука как максимального значения, когда максимальное значение глубины равно или больше, чем второе пороговое значение.

Получение значения глубины звука дополнительно содержит определение значения глубины звука в прямой пропорции от максимального значения глубины, когда максимальное значение глубины равно или больше, чем первое пороговое значение и меньше, чем второе пороговое значение.

Этап получения информации о глубине звука содержит получение информации о местоположении, по меньшей мере, одного объекта изображения в сигнале изображения и информации о местоположении, по меньшей мере, одного звукового объекта в звуковом сигнале; определение, согласуется ли местоположение, по меньшей мере, одного объекта изображения с местоположением, по меньшей мере, одного звукового объекта; и получение информации о глубине звука на основании результата определения.

Этап получения информации о глубине звука содержит получение среднего значения глубины для каждой секции изображения, которая составляет сигнал изображения; и получение значения глубины звука для, по меньшей мере, одного звукового объекта на основании среднего значения глубины.

Получение значения глубины звука содержит определение значения глубины звука как минимального значения, когда среднее значение глубины меньше, чем третье пороговое значение.

Получение значения глубины звука содержит определение значения глубины звука как минимального значения, когда разность между средним значением глубины в предыдущей секции и средним значением глубины в текущей секции меньше, чем четвертое пороговое значение.

Этап обеспечения звуковой перспективы содержит управление мощностью звукового объекта на основании информации о глубине звука.

Этап обеспечения звуковой перспективы содержит управление коэффициентом усиления и временем задержки отраженного сигнала, сформированного таким образом, что звуковой объект отражается на основании информации о глубине звука.

Этап обеспечения звуковой перспективы содержит управление интенсивностью составляющей диапазона низких частот звукового объекта на основании информации о глубине звука.

Этап обеспечения звуковой перспективы содержит управление разностью между фазой звукового объекта, подлежащего выводу первой акустической системой, и фазой звукового объекта, подлежащего выводу второй акустической системой.

Способ дополнительно содержит этап вывода звукового объекта, для которого обеспечивается звуковая перспектива, по меньшей мере, одной из левой боковой акустической системы и правой боковой акустической системы, и левой передней акустической системы и правой передней акустической системы.

Способ дополнительно содержит этап ориентирования фазы наружу от акустических систем путем использования звукового сигнала.

Этап получения информации о глубине звука содержит определение значения глубины звука для, по меньшей мере, одного звукового объекта на основании размера каждого из, по меньшей мере, одного объекта изображения.

Этап получения информации о глубине звука содержит определение значения глубины звука для, по меньшей мере, одного звукового объекта на основании распределения, по меньшей мере, одного объекта изображения.

В соответствии с другим аспектом настоящего изобретения предлагается устройство для воспроизведения стереофонического звукового сопровождения, при этом, устройство содержит блок получения информации о глубине изображения для получения информации о глубине изображения, указывающей расстояние между, по меньшей мере, одним объектом в сигнале изображения и опорным местоположением; блок получения информации о глубине звука для получения информации о глубине звука, указывающей расстояние между, по меньшей мере, одним звуковым объектом в звуковом сигнале и опорным местоположением, на основании информации о глубине изображения; и блок обеспечения перспективы для обеспечения звуковой перспективы для, по меньшей мере, одного звукового объекта на основании информации о глубине звука.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В дальнейшем, по меньшей мере, один вариант осуществления настоящего изобретения поясняется более полно, со ссылкой на прилагаемые чертежи.

Во-первых, для удобства описания, ниже кратко поясняются термины, применяемые в настоящей заявке.

Объект изображения означает объект, содержащийся в сигнале изображения, или такой субъект, как человек, животное, растение и т.п.

Звуковой объект означает звуковую составляющую, содержащуюся в звуковом сигнале. В одном звуковом сигнале могут содержаться различные звуковые объекты. Например, в звуковом сигнале, сформированном записью оркестрового исполнения, содержатся различные звуковые объекты, сформированные различными музыкальными инструментами, например гитарой, скрипкой, гобоем и т.п.

Источник звука является объектом (например, музыкальным инструментом или вокальной группой), который формирует звуковой объект. В настоящем описании, как объект, который фактически формирует звуковой объект, так и объект, который распознает, что пользователь формирует звуковой объект, означает звуковой источник. Например, когда в направлении пользователя бросают бейсбольный мяч от экрана в то время, когда пользователь смотрит кинофильм, в звуковом сигнале может содержаться звук (звуковой объект), формируемый, когда бейсбольный мяч движется. Звуковой объект может быть получен записью звука, фактически формируемого, когда бросают бейсбольный мяч, или может быть ранее записанным звуковым объектом, который просто воспроизводят. Однако, в обоих случаях, пользователь распознает, что бейсбольный мяч формирует звуковой объект и, следовательно, бейсбольный мяч может быть источником звука в соответствии с определением в настоящем описании.

Информация о глубине изображения указывает расстояние между фоном и опорным местоположением и расстояние между объектом и опорным местоположением. Опорное местоположение может быть поверхностью устройства отображения, которое выводит изображение.

Информация о глубине звука указывает расстояние между звуковым объектом и опорным местоположением. В частности, информация о глубине звука указывает расстояние между местоположением (местоположением источника звука), в котором формируется звуковой объект, и опорным местоположением.

Как поясняется выше, когда бейсбольный мяч движется к пользователю от экрана в то время, когда пользователь смотрит кинофильм, расстояние между источником звука и пользователем становится меньше. Чтобы эффективно представить, что бейсбольный мяч приближается, можно представить, что местоположение формирования звукового объекта, который соответствует объекту изображения, постепенно приближается к пользователю, и информация об этом содержится в информации о глубине звука. Опорное местоположение может изменяться соответственно местоположению источника звука, местоположению акустической системы, местоположению пользователя и т.п.

Звуковая перспектива является одним из ощущений, которые испытывает пользователь в отношении звукового объекта. Пользователь наблюдает звуковой объект, и, поэтому, пользователь может распознавать местоположение, в котором формируется звуковой объект, то есть, местоположение источника звука, который формирует звуковой объект. В данном случае, ощущение расстояния между пользователем и источником звука, который распознается пользователем, означает звуковую перспективу.

На фиг. 1 представлена блок-схема устройства 100 для воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

Устройство 100 для воспроизведения стереофонического звукового сопровождения в соответствии с данным вариантом осуществления настоящего изобретения содержит блок 110 получения информации о глубине изображения, блок 120 получения информации о глубине звука и блок 130 обеспечения перспективы.

Блок 110 получения информации о глубине изображения получает информацию о глубине изображения, которая указывает расстояние между, по меньшей мере, одним объектом изображения в сигнале изображения и опорным местоположением. Информация о глубине изображения может быть картой глубин, указывающей значения глубины пикселей, которые составляют объект или фон изображения.

Блок 120 получения информации о глубине звука получает информацию о глубине звука, которая указывает расстояние между звуковым объектом и опорным местоположением, на основании информации о глубине изображения. Возможны различные способы формирования информации о глубине звука, с использованием информации о глубине изображения, и, в дальнейшем, приведено описание двух способов формирования информации о глубине звука. Однако настоящее изобретение не ограничено данными способами.

Например, блок 120 получения информации о глубине звука может получать значения глубины звука для каждого звукового объекта. Блок 120 получения информации о глубине звука получает информацию о местоположении объектов изображения и информацию о местоположении звукового объекта и согласует объекты изображения со звуковыми объектами на основании информации о местоположении. Затем, на основании информации о глубине изображения и информации о согласовании может формироваться информация о глубине звука. Приведенный пример подробно поясняется ниже со ссылкой на фиг. 2.

В другом примере, блок 120 получения информации о глубине звука может получать значения глубины звука в соответствии со звуковыми секциями, которые составляют звуковой сигнал. Звуковой сигнал содержит, по меньшей мере, одну звуковую секцию. В данном случае, звуковой сигнал в одной секции может иметь одно и то же значение глубины звука. То есть, к каждому отличающемуся звуковому объекту можно применить одно и то же значение глубины звука. Блок 120 получения информации о глубине звука получает значения глубины изображения для каждой секции изображения, которая составляет сигнал изображения. Секцию изображения можно получить разбиением сигнала изображения на элементы кадра или элементы сцены. Блок 120 получения информации о глубине звука получает репрезентативное значение глубины (например, максимальное значение глубины, минимальное значение глубины или среднее значение глубины) в каждой секции изображения и определяет значение глубины звука в звуковой секции, которая соответствует секции изображения, посредством использования репрезентативного значения глубины. Приведенный пример подробно поясняется ниже со ссылкой на фиг. 3.

Блок 130 обеспечения перспективы обрабатывает звуковой сигнал так, что пользователь может ощущать звуковую перспективу на основании информации о глубине звука. Блок 130 обеспечения перспективы может обеспечивать звуковую перспективу соответственно каждому звуковому объекту после того, как звуковые объекты соответствующие объектам изображения выделены, обеспечивать звуковую перспективу соответственно каждому каналу, содержащемуся в звуковом сигнале, или обеспечивать звуковую перспективу для всех звуковых сигналов.

Блок 130 обеспечения перспективы выполняет, по меньшей мере, одну из следующих четырех задач i), ii), iii) и iv), чтобы пользователь эффективно ощущал звуковую перспективу. Однако четыре задачи, выполняемые в блоке 130 обеспечения перспективы, являются всего лишь примерами задач, и настоящее изобретение не ограничено данными задачами.

i) Блок 130 обеспечения перспективы регулирует мощность звукового объекта на основании информации о глубине звука. Чем ближе к пользователю сформирован звуковой объект, тем больше мощность звукового объекта.

ii) Блок 130 обеспечения перспективы регулирует коэффициент усиления и время задержки отраженного сигнала на основании информации о глубине звука. Пользователь слышит как прямой звуковой сигнал, который не отражается препятствием, так и отраженный звуковой сигнал, сформированный вследствие отражения препятствием. Отраженный звуковой сигнал имеет интенсивность ниже, чем интенсивность прямого звукового сигнала, и, обычно, приходит к пользователю с задержкой на предварительно заданное время, в сравнении с прямым звуковым сигналом. В частности, когда звуковой объект сформирован вблизи пользователя, отраженный звуковой сигнал приходит поздно в сравнении с прямым звуковым сигналом, и его интенсивность заметно ослаблена.

iii) Блок 130 обеспечения перспективы регулирует составляющую диапазона низких частот звукового объекта на основании информации о глубине звука. Когда звуковой объект сформирован вблизи пользователя, пользователь может отчетливо распознавать составляющую диапазона низких частот.

iv) Блок 130 обеспечения перспективы регулирует фазу звукового объекта на основании информации о глубине звука. По мере того как разность между фазой звукового объекта, подлежащего выводу первой акустической системой, и фазой звукового объекта, подлежащего выводу второй акустической системой, увеличивается, пользователь распознает, что звуковой объект приближается.

Операции блока 130 обеспечения перспективы подробно описаны ниже со ссылкой на фиг. 5.

На фиг. 2 представлена блок-схема блока 120 получения информации о глубине звука, показанного на фиг. 1, в соответствии с вариантом осуществления настоящего изобретения.

Блок 120 получения информации о глубине звука содержит первый блок 210 получения местоположения, второй блок 220 получения местоположения, блок 230 согласования и блок 240 определения.

Первый блок 210 получения местоположения получает информацию о местоположении объекта изображения на основании информации о глубине изображения. Первый блок 210 получения местоположения может получать информацию о местоположении только такого объекта изображения, в котором ощущается перемещение вправо и влево или вперед и назад в сигнале изображения.

Первый блок 210 получения местоположения сравнивает карты глубины последовательных кадров изображения на основании нижеприведенного уравнения 1 и идентифицирует координаты, в которых увеличивается изменение значений глубины.

[Уравнение 1]

.

В уравнении 1 i означает число кадров, и x,y означают координаты. Соответственно, Iⁱ _x,у означает значение глубины i-го кадра в координатах (x,y).

Первый блок 210 получения местоположения производит поиск координат, в которых Diffⁱ _x,y превышает пороговое значение, после того, как Diffⁱ _x,y вычислено для всех координат. Первый блок 210 получения местоположения определяет объект изображения, который соответствует координатам, в которых Diffⁱ _x,y превышает пороговое значение, в качестве объекта изображения, перемещение которого ощущается, и соответствующие координаты определяются как местоположение объекта изображения.

Второй блок 220 получения местоположения получает информацию о местоположении звукового объекта на основании звукового сигнала. Возможны различные способы получения информации о местоположении звукового объекта вторым блоком 220 получения местоположения.

Например, второй блок 220 получения местоположения выделяет основную составляющую и составляющую окружающей среды из звукового сигнала, сравнивает основную составляющую с составляющей окружающей среды и, тем самым, получает информацию о местоположении звукового объекта. Второй блок 220 получения местоположения также сравнивает мощности каждого канала звукового сигнала и, тем самым, получает информацию о местоположении звукового объекта. Данным способом можно идентифицировать левое и правое местоположения звукового объекта.

В другом примере, второй блок 220 получения местоположения разбивает звуковой сигнал на множество секций, вычисляет мощность каждого частотного диапазона в каждой секции и определяет общий частотный диапазон на основании мощности по каждому частотному диапазону. В настоящем описании, термин «общий частотный диапазон» означает общий частотный диапазон, в котором мощность выше предварительно заданного порогового значения в смежных секциях. Например, частотные диапазоны, имеющие мощность выше «A», выбирают в текущей секции, и частотные диапазоны, имеющие мощность выше «A», выбирают в предыдущей секции (или частотные диапазоны, имеющие мощность в пределах высокого пятого ранга в текущей секции, выбирают в текущей секции, и частотные диапазоны, имеющие мощность в пределах высокого пятого ранга в предыдущей секции, выбирают в предыдущей секции). Тогда частотный диапазон, который совместно выбирают в предыдущей секции и текущей секции, определяется как общий частотный диапазон.

Чтобы получить местоположение звукового объекта, имеющего большую интенсивность сигнала, выполняют ограничение частотных диапазонов выше порогового значения. Соответственно, влияние звукового объекта, имеющего небольшую интенсивность сигнала, сводится к минимуму, и влияние основного звукового объекта можно максимально увеличить. После того как найден общий частотный диапазон, можно определить, сформирован ли в текущей секции новый звуковой объект, который не существует в предыдущей секции, или изменяется ли характеристика (например, местоположение формирования) звукового объекта, который существует в предыдущей секции.

Когда местоположение объекта изображения изменяется в направлении глубины устройства отображения, мощность звукового объекта, который соответствует объекту изображения, изменяется. При этом, мощность частотного диапазона, который соответствует звуковому объекту, изменяется и, тем самым, местоположение звукового объекта в направлении глубины можно идентифицировать исследованием изменения мощности в каждом частотном диапазоне.

Блок 230 согласования определяет взаимосвязь между объектом изображения и звуковым объектом на основании информации о местоположении объекта изображения и информации о местоположении звукового объекта. Блок 230 согласования определяет, что объект изображения согласуется со звуковым объектом, когда разность между координатами объекта изображения и координатами звукового объекта находится в пределах порогового значения. С другой стороны, блок 230 согласования определяет, что объект изображения не согласуется со звуковым объектом, когда разность между координатами объекта изображения и координатами звукового объекта превышает пороговое значение.

Блок 240 определения определяет значение глубины звука для звукового объекта на основании определения, выполненного блоком 230 согласования. Например, в звуковом объекте, для которого установлено согласование с объектом изображения, значение глубины звука определяют в соответствии со значением глубины объекта изображения. В звуковом объекте, для которого установлено отсутствие согласования с объектом изображения, значение глубины звука определяют как минимальное значение. Когда значение глубины звука определяют как минимальное значение, блок 130 обеспечения перспективы не обеспечивает звуковой перспективы для звукового объекта.

Когда местоположения объекта изображения и звукового объекта не согласуются между собой, блок 240 определения не может обеспечить звуковую перспективу для звукового объекта в предварительно заданных исключительных обстоятельствах.

Например, когда размер объекта изображения меньше порогового значения, блок 240 определения не может обеспечить звуковую перспективу для звукового объекта, который соответствует объекту изображения. Так как объект изображения, имеющий очень малый размер, незначительно влияет на восприятие пользователем 3-мерного эффекта, то блок 240 определения не может обеспечить звуковую перспективу для соответствующего звукового объекта.

На фиг. 3 представлена блок-схема блока 120 получения информации о глубине звука, показанного на фиг. 1, в соответствии с другим вариантом осуществления настоящего изобретения.

Блок 120 получения информации о глубине звука в соответствии с данным вариантом осуществления настоящего изобретения содержит блок 310 получения информации о глубине секции и блок 320 определения.

Блок 310 получения информации о глубине секции получает информацию о глубине для каждой секции изображения на основании информации о глубине изображения. Сигнал изображения можно разбить на множество секций. Например, сигнал изображения можно разбить на элементы сцены, по которым преобразуется сцена, на элементы кадров изображения или элементы GOP (групп изображений).

Блок 310 получения информации о глубине секции получает значения глубины изображения, соответствующие каждой секции. Блок 310 получения информации о глубине секции может получать значения глубины изображения, соответствующие каждой секции, на основании нижеприведенного уравнения 2.

[Уравнение 2]

.

В уравнении 2, Iⁱ _x,у означает значение глубины i-го кадра в координатах (x,y), Depthⁱ означает значение глубины изображения, соответствующее i-му кадру, и определяется усреднением значений глубины всех пикселей в i-том кадре.

Уравнение 2 является только примером, и в качестве репрезентативного значения глубины секции можно определять максимальное значение глубины, минимальное значение глубины или значение глубины пикселя, в котором изменение относительно предыдущей секции является очень большим.

Блок 320 определения определяет значение глубины звука для звуковой секции, которая соответствует секции изображения, по репрезентативному значению глубины каждой секции. Блок 320 определения определяет значение глубины звука в соответствии с предварительно заданной функцией, для которой входным значением является репрезентативное значение глубины каждой секции. В качестве предварительно заданной функции, блок 320 определения может использовать функцию, в которой входное значение и выходное значение постоянно являются пропорциональными одно другому, и функцию, в которой выходное значение экспоненциально возрастает в зависимости от входного значения. В другом варианте осуществления настоящего изобретения, в качестве предварительно заданной функции можно применить функции, которые различаются между собой в соответствии с диапазоном входных значений. Примеры предварительно заданной функции, применяемой блоком 320 определения для определения значения глубины звука, поясняются в дальнейшем со ссылкой на фиг. 4.

Когда блок 320 определения определяет, что для звуковой секции не обязательно обеспечивать звуковую перспективу, значение глубины звука в соответствующей звуковой секции можно определять как минимальное значение.

Блок 320 определения может получать разность значений глубины между i-тым кадром изображения и i+1-ым кадром изображения, которые соседствуют между собой, в соответствии с нижеприведенным уравнением 3.

[Уравнение 3]

Diff_Depth ⁱ =Depth ⁱ -Depth ⁱ⁺¹.

Diff_Depthⁱ означает разность между средним значением глубины изображения в i-том кадре и средним значением глубины изображения в i+1-ом кадре.

Блок 320 определения определяет, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру, из нижеприведенного уравнения 4.

[Уравнение 4]

.

R_Flagⁱ является флагом, указывающим, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру. Когда R_Flagⁱ имеет значение 0, для соответствующей звуковой секции обеспечивают звуковую перспективу, и когда R_Flagⁱ имеет значение 1, для соответствующей звуковой секции не обеспечивают звуковую перспективу.

Когда разность между средним значением глубины изображения в предыдущем кадре и средним значением глубины изображения в следующем кадре является значительной, то можно определить, что существует высокая вероятность того, что объект изображения, который выступает из экрана, существует в следующем кадре. Соответственно, блок 320 определения может определить, что звуковая перспектива обеспечивается для звуковой секции, которая соответствует кадру изображения только в том случае, когда Diff_Depthⁱ превышает пороговое значение.

Блок 320 определения определяет, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру, из нижеприведенного уравнения 5.

[Уравнение 5]

.

R_Flagⁱ является флагом, указывающим, следует ли обеспечивать звуковую перспективу для звуковой секции, которая соответствует i-му кадру. Когда R_Flagⁱ имеет значение 0, для соответствующей звуковой секции обеспечивают звуковую перспективу, и когда R_Flagⁱ имеет значение 1, для соответствующей звуковой секции не обеспечивают звуковую перспективу.

Даже если разность между средним значением глубины изображения в предыдущем кадре и средним значением глубины изображения в следующем кадре является значительной, когда среднее значение глубины изображения в следующем кадре меньше порогового значения, существует высокая вероятность того, что объект изображения, который представляется выступающим из экрана, не существует в следующем кадре. Соответственно, блок 320 определения может определить, что звуковая перспектива обеспечивается для звуковой секции, которая соответствует кадру изображения только в том случае, когда Depthⁱ превышает пороговое значение (например, 28 на фиг. 4).

На фиг. 4 приведен график, иллюстрирующий предварительно заданную функцию, используемую для определения значения глубины звука в блоках 240 и 320 определения в соответствии с вариантом осуществления настоящего изобретения.

На графике предварительно заданной функции на фиг. 4 горизонтальная ось показывает значение глубины изображения, и вертикальная ось показывает значения глубины звука. Значение глубины изображения может иметь значения в диапазоне 0-255.

Когда значение глубины изображения больше или равно 0 и меньше чем 28, значение глубины звука определяют как минимальное значение. Когда значение глубины звука установлено равным минимальному значению, то для звукового объекта или звуковой секции не обеспечивается звуковая перспектива.

Когда значение глубины изображения больше или равно 28 и меньше чем 124, то величина изменения значения глубины звука в зависимости от величины изменения значения глубины изображения является постоянной (то есть, наклон является постоянным). В соответствии с вариантами осуществления, изменение значения глубины звука в зависимости от значения глубины изображения может быть нелинейным, и, вместо этого, может быть экспоненциальным или логарифмическим.

В другом варианте осуществления, когда значение глубины изображения больше или равно 28 и меньше чем 56, то в качестве значения глубины звука можно определить фиксированное значение глубины звука (например, 58), на котором пользователь может слышать естественный стереофонический звук.

Когда значение глубины изображения больше или равно 124, значение глубины звука определяют как максимальное значение. В соответствии с вариантом осуществления, для удобства вычисления можно регулировать и применять максимальное значение значения глубины звука.

На фиг. 5 представлена блок-схема блока 500 обеспечения перспективы, соответствующего блоку 130 обеспечения перспективы, который обеспечивает стереофоническое звуковое сопровождение с использованием стереозвукового сигнала в соответствии с вариантом осуществления настоящего изобретения.

Когда входной сигнал является многоканальным звуковым сигналом, настоящее изобретение можно применять после понижающего микширования входного сигнала в стереосигнал.

Блок 510 быстрого преобразования Фурье (FFT) выполняет быстрое преобразование Фурье входного сигнала.

Блок 520 обратного быстрого преобразования Фурье (IFFT) выполняет обратное преобразование Фурье сигнала после преобразования Фурье.

Блок 530 выделения центрального сигнала выделяет центральный сигнал, который является сигналом, соответствующим центральному каналу, из стереосигнала. Блок 530 выделения центрального сигнала выделяет сигнал, имеющий сильную корреляционную связь в стереосигнале, в качестве сигнала центрального канала. На фиг. 5 предполагается, что звуковая перспектива обеспечивается для сигнала центрального канала. Однако, звуковая перспектива может обеспечиваться для сигналов других каналов, которые не являются сигналами центрального канала, например, по меньшей мере, одного из сигналов левого и правого передних каналов и сигналов левого и правого боковых каналов, специального звукового объекта или всего звукового сигнала.

Блок 550 расширения звуковой сцены расширяет звуковую сцену. Блок 550 расширения звуковой сцены ориентирует звуковую сцену наружу от акустической системы посредством искусственного введения разности времен или разности фаз в стереосигнал.

Блок 560 получения информации о глубине звука получает информацию о глубине звука на основании информации о глубине изображения.

Блок 570 вычисления параметров определяет значение параметра управления, необходимое для обеспечения звуковой перспективы для звукового объекта на основании информации о глубине звука.

Контроллер 571 уровня управляет интенсивностью входного сигнала.

Контроллер 572 фазы управляет фазой входного сигнала.

Блок 573 обеспечения эффекта отражения моделирует отраженный сигнал, формируемый таким образом, чтобы входной сигнал отражался световой поверхностью на стене.

Блок 574 обеспечения эффекта ближнего поля моделирует звуковой сигнал, генерируемый вблизи пользователя.

Микшер 580 микширует, по меньшей мере, один сигнал и выдает микшированный сигнал в акустическую систему.

Работа блока 500 обеспечения перспективы для воспроизведения стереофонического звукового сопровождения поясняется в дальнейшем в соответствии с временным упорядочением.

Во-первых, когда вводится многоканальный звуковой сигнал, многоканальный звуковой сигнал преобразуется в стереосигнал посредством понижающим микшером (не показан).

Блок 510 FFT выполняет быстрое преобразование Фурье стереосигналов и затем выдает преобразованные сигналы в блок 530 выделения центрального сигнала.

Блок 530 выделения центрального сигнала сравнивает преобразованные стереосигналы между собой и выдает сигнал, имеющий сильную корреляцию в качестве сигнала центрального канала.

Блок 560 получения информации о глубине звука получает информацию о глубине звука на основании информации о глубине изображения. Получение информации о глубине звука блоком 560 сбора информации о глубине звука описано выше со ссылкой на фиг. 2 и 3. В частности, блок 560 получения информации о глубине звука сравнивает местоположение звукового объекта с местоположением объекта изображения и, тем самым, получает информацию о глубине звука или использует информацию о глубине каждой секции в сигнале изображения и, тем самым, получает информацию о глубине звука.

Блок 570 вычисления параметров вычисляет параметры, подлежащие применению к модулях, применяемых для обеспечения звуковой перспективы, на основании заданных значений.

Контроллер 572 фазы воспроизводит два сигнала из сигнала центрального канала и управляет фазами, по меньшей мере, одного из воспроизводимых двух сигналов, воспроизводимых в соответствии с параметрами, вычисленными блоком 570 вычисления параметров. Когда звуковой сигнал, имеющий разные фазы, воспроизводится левой акустической системой и правой акустической системой, формируется явление размывания. Когда явление размывания усиливается, пользователю трудно точно распознать местоположение, в котором формируется звуковой объект. При этом, когда способ управления фазой применяют вместе с другим способом обеспечения перспективы, возможно максимальное усиление эффекта обеспечения перспективы.

Когда местоположение, в котором формируется звуковой объект приближается к пользователю (или когда местоположение быстро приближается к пользователю), контроллер 572 фазы устанавливает большую разность фаз воспроизводимых сигналов. Воспроизводимые сигналы, фазами которых управляют, передаются в блок 573 обеспечения эффекта отражения через блок 520 IFFT.

Блок 573 обеспечения эффекта отражения моделирует отраженный сигнал. Когда звуковой объект формируется на большом расстоянии от пользователя, прямой звук, который распространяется прямо к пользователю, без отражения световой поверхностью на стене, подобен отраженному звуку, сформированному отражением световой поверхностью на стене, и разность времен прихода прямого звука и отраженного звука отсутствует. Однако, когда звуковой объект формируется вблизи пользователя, интенсивности прямого звука и отраженного звука различаются между собой, и разность времен прихода прямого звука и отраженного звука является значительной. Соответственно, когда звуковой объект формируется вблизи пользователя, блок 573 обеспечения эффекта отражения заметно снижает значение коэффициента усиления отраженного сигнала, увеличивает время задержки или относительно повышает интенсивность прямого звука. Блок 573 обеспечения эффекта отражения передает сигнал центрального канала, в котором рассматривается отраженный сигнал, в блок 574 обеспечения эффекта ближнего поля.

Блок 574 обеспечения эффекта ближнего поля моделирует звуковой объект, формируемый вблизи пользователя, на основании параметров, вычисленных в блоке 570 вычисления параметров. Когда звуковой объект формируется вблизи пользователя, составляющая диапазона низких частот усиливается. Блок 574 обеспечения эффекта ближнего поля усиливает составляющую диапазона низких частот центрального сигнала, когда местоположение, в котором формируется звуковой объект, находится близко от пользователя.

Блок 550 расширения звуковой сцены, который получает входной стереосигнал, обрабатывает стереосигнал таким образом, что фаза звука ориентирована наружу от акустической системы. Когда местоположения акустических систем достаточно удалены одна от другой, пользователь может реально слышать стереофонический звук.

Блок 550 расширения звуковой сцены преобразует стереосигнал в расширяющий стереосигнал. Блок 550 расширения звуковой сцены может содержать расширяющий фильтр, который выполняет свертку левого/правого бинаурального синтеза с подавителем перекрестных помех, и один панорамный фильтр, который выполняет свертку расширяющего фильтра и левого/правого прямого фильтра. В данном случае, расширяющий фильтр составляет стереосигнал от виртуального источника звука для произвольного местоположения на основании передаточной функции головы (HRTF), измеренной в предварительно заданном местоположении, и подавляет перекрестные помехи виртуального источника звука на основе коэффициента фильтрации, в который отражается передаточная функция головы (HRTF). Левый/правый прямой фильтр управляет характеристикой сигнала, например, коэффициентом усиления и задержкой между исходным стереосигналом и виртуальным источником звука с подавленными перекрестными помехами.

Контроллер 571 уровня управляет интенсивностью мощности звукового объекта на основании значения глубины звука, вычисленного в блоке 570 вычисления параметров. Когда звуковой объект формируют вблизи пользователя, контроллер 571 уровня может увеличить размер звукового объекта.

Микшер 580 микширует стереосигнал, передаваемый из контроллера 571 уровня, с центральным сигналом, передаваемым из блока 574 обеспечения эффекта ближнего поля, чтобы выдавать микшированный сигнал в акустическую систему.

На фиг. 6A-6D поясняется обеспечение стереофонического звукового сопровождения в устройстве 100 для воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

На фиг. 6A стереофонический звуковой объект в соответствии с вариантом осуществления настоящего изобретения не работает.

Пользователь слышит звуковой объект при использовании, по меньшей мере, одной акустической системы. Когда пользователь воспроизводит моносигнал посредством использования одной акустической системы, пользователь не может испытывать стереоскопическое ощущение, и, когда пользователь воспроизводит стереосигнал посредством использования, по меньшей мере, двух акустических систем, пользователь может испытывать стереоскопическое ощущение.

На фиг. 6B показано воспроизведение звукового объекта, имеющего значение «0» глубины звука. На фиг. 4 предполагается, что значение глубины звука составляет от «0» до «1». В звуковом объекте, который представляется сформированным вблизи пользователя, значение глубины звука повышается.

Поскольку значение глубины звука звукового объекта равно «0», то задача обеспечения перспективы для звукового объекта не выполняется. Однако, когда фаза звука ориентирована наружу от акустической системы, пользователь может испытывать стереоскопическое ощущение от стереосигнала. В соответствии с вариантами осуществления, технологию, посредством которой фазу звука ориентируют наружу от акустической системы, называют технологией «расширения».

В общем, для воспроизведения стереосигнала требуются звуковые сигналы множества каналов. Соответственно, когда на вход подается моносигнал, звуковые сигналы, соответствующие, по меньшей мере, двум каналам, формируются посредством повышающего микширования.

В стереосигнале, звуковой сигнал первого канала воспроизводится левой акустической системой, и звуковой сигнал второго канала воспроизводится правой акустической системой. Пользователь может испытывать стереоскопическое ощущение, при прослушивании, по меньшей мере, двух звуковых сигналов, формируемых, каждый, из отличающегося местоположения.

Однако, когда левая акустическая система и правая акустическая система находятся слишком близко одна к другой, пользователь может определить, что звук формируется в одном и том же месте и, следовательно, не может испытывать стереоскопического ощущения. При этом звуковой сигнал обрабатывается так, чтобы пользователь мог определять, что звук формируется снаружи акустической системы, а не реальной акустической системой.

На фиг. 6C показано воспроизведение звукового объекта, имеющего значение «0,3» глубины звука.

Поскольку значение глубины звука звукового объекта больше чем «0», то для звукового объекта обеспечивается перспектива, соответствующая значению «0,3» глубины звука, вместе с технологией расширения. Соответственно, пользователь может определять, что звуковой объект формируется вблизи пользователя, по сравнению с фиг. 6B.

Например, предполагается, что пользователь просматривает данные 3-мерного изображения, и объект изображения представляется наблюдателю выступающим из экрана. На фиг. 6C, для звукового объекта, который соответствует объекту изображения, перспектива обеспечивается так, что звуковой объект обрабатывается по мере того, как он приближается к пользователю. Пользователь ощутимо воспринимает, что объект изображения выступает, и звуковой объект приближается к пользователю, с созданием реального стереоскопического ощущения.

На фиг. 6D показано воспроизведение звукового объекта, имеющего значение «1» глубины звука.

Поскольку значение глубины звука звукового объекта больше, чем «0», то для звукового объекта обеспечивается перспектива, соответствующая значению «1» глубины звука, вместе с технологией расширения. Поскольку значение глубины звука звукового объекта на фиг. 6D больше, чем значение глубины звука звукового объекта на фиг. 6C, то пользователь определяет, что звуковой объект формируется ближе к пользователю, чем на фиг. 6C.

На фиг. 7 представлена блок-схема последовательности операций способа определения местоположения звукового объекта по звуковому сигналу в соответствии с вариантом осуществления настоящего изобретения.

Во время операции S710 вычисляют мощность каждого частотного диапазона для каждой из множества секций, которые составляют звуковой сигнал.

Во время операции S720 определяют общий частотный диапазон на основании мощности каждого частотного диапазона.

Общий частотный диапазон означает частотный диапазон, в котором мощность в предыдущих секциях и мощность в текущей секции превышают предварительно заданное пороговое значение. В данном случае, частотный диапазон, имеющий небольшую мощность, может соответствовать не имеющему смысла звуковому объекту, например, шуму, и, следовательно, частотный диапазон, имеющий небольшую мощность, можно исключить из общего частотного диапазона. Например, после того, как предварительно заданное число частотных диапазонов последовательно выбрано соответственно наибольшей мощности, из выбранного частотного диапазона можно определить общий частотный диапазон.

Во время операции S730, мощность общего частотного диапазона в предыдущих секциях сравнивают с мощностью общего частотного диапазона в текущей секции, и значение глубины изображения определяют на основании результата сравнения. Когда мощность общего частотного диапазона в текущей секции больше, чем мощность общего частотного диапазона в предыдущих секциях, выполняется определение, что звуковой объект, соответствующий общему частотному диапазону, формируется ближе к пользователю. Кроме того, когда мощность общего частотного диапазона в предыдущих секциях аналогична мощности общего частотного диапазона в текущей секции, выполняется определение, что звуковой объект не подходит близко к пользователю.

На фиг. 8A-8D поясняется определение местоположения звукового объекта по звуковому сигналу в соответствии с вариантом осуществления настоящего изобретения.

На фиг. 8A показано разбиение звукового сигнала на множество секций вдоль оси времени.

На фиг. 8B-8D показаны мощности каждого частотного диапазона в первой, второй и третьей секциях 801, 802 и 803. На фиг. 8B-8D, первая и вторая секции 801 и 802 являются предыдущими секциями, и третья секция 803 является текущей секцией.

Как показано на фиг. 8B и 8C, когда предполагается, что мощности частотных диапазонов 3000-4000 Гц, 4000-5000 Гц и 5000-6000 Гц превышают пороговое значение в секциях с первой по третью, частотные диапазоны 3000-4000 Гц, 4000-5000 Гц и 5000-6000 Гц определяются как общий частотный диапазон.

Как показано на фиг. 8C и 8D, мощности частотных диапазонов 3000-4000 Гц и 4000-5000 Гц во второй секции 802 аналогичны мощностям частотных диапазонов 3000-4000 Гц и 4000-5000 Гц в третьей секции 803. Соответственно, значение глубины звука звукового объекта, который соответствует частотным диапазонам 3000-4000 Гц и 4000-5000 Гц, определяется равным «0».

Однако, мощность частотного диапазона 5000-6000 Гц в третьей секции 803 заметно выше в сравнении с мощностью частотного диапазона 5000-6000 Гц во второй секции 802. Соответственно, значение глубины звука звукового объекта, который соответствует частотному диапазону 5000-6000 Гц, определяется равным «0». В соответствии с вариантами осуществления, чтобы точно определить значение глубины звука звукового объекта, можно обратиться к карте глубин изображения.

Например, мощность частотного диапазона 5000-6000 Гц в третьей секции 803 заметно выше в сравнении с мощностью частотного диапазона 5000-6000 Гц во второй секции 802. В некоторых случаях, местоположение, в котором формируется звуковой объект, который соответствует частотному диапазону 5000-6000 Гц, не находится вблизи пользователя, и, взамен, повышается только мощность в том же местоположении. При этом, когда объект изображения, который выступает из экрана, присутствует в кадре изображения, который соответствует третьей секции 803, при обращении к карте глубин изображения, высока вероятность того, что звуковой объект, который соответствует частотному диапазону 5000-6000 Гц, соответствует объекту изображения. В данном случае, возможно, было бы целесообразно, чтобы местоположение, в котором формируется звуковой объект, постепенно приближалось к пользователю, и, следовательно, значение глубины звука звукового объекта было установлено равным «0» или больше. Когда объект изображения, который выступает из экрана, не существует в кадре изображения, который соответствует третьей секции 803, повышается только мощность звукового объекта в том же местоположении, и, следовательно, значение глубины звука звукового объекта можно установить равным «0».

На фиг. 9 представлена блок-схема последовательности операций способа воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

На фиг. 9 представлена блок-схема последовательности операций способа воспроизведения стереофонического звукового сопровождения в соответствии с вариантом осуществления настоящего изобретения.

Во время операции S910 получают информацию о глубине изображения. Информация о глубине изображения указывает расстояние между, по меньшей мере, одним объектом изображения и фоном в сигнале стереоскопического изображения и опорной точкой.

Во время операции S920 получают информацию о глубине звука. Информация о глубине звука указывает расстояние между, по меньшей мере, одним звуковым объектом в звуковом сигнале и опорной точкой.

Во время операции S930 обеспечивают звуковую перспективу для, по меньшей мере, одного звукового объекта на основании информации о глубине звука.

Варианты осуществления настоящего изобретения могут быть записаны в виде компьютерных программ и могут быть реализованы в универсальных цифровых компьютерах, которые исполняют программы с использованием компьютерно-считываемого носителя записи.

Примеры компьютерно-считываемого носителя записи содержат магнитные носители данных (например, ROM (постоянное запоминающее устройство), гибкие диски, жесткие диски и т.п.), оптические носители записи (например, CD-ROM (постоянное запоминающее устройство на компакт-диске) или DVD (универсальные цифровые диски)) и носители данных, например, несущие волновые сигналы (например, передачи по сети Интернет).

Выше настоящее изобретение представлено и подробно описано со ссылкой на его примерные варианты осуществления, однако, специалистам со средним уровнем компетентности в данной области техники будет очевидно, что в приведенные варианты можно вносить по форме и в деталях различные изменения, не выходящие за пределы существа и объема настоящего изобретения, определяемых нижеприведенной формулой изобретения.