Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ОБЪЕКТНО-ОРИЕНТИРОВАННОГО ЗВУКОВОГО СИГНАЛА

Область техники, к которой относится изобретение

Настоящее изобретение относится к способам и устройствам, предназначенным для кодирования и декодирования звукового сигнала, и более конкретно, к способам и устройствам для кодирования и декодирования звукового сигнала, которые могут локализовать звуковой образ в требуемом положении в пространстве для каждого звукового сигнала объекта.

Уровень техники

В общем, согласно обычному способу кодирования объектно-ориентированного звукового сигнала устройство кодирования объектов генерирует сигнал сведения фонограммы посредством сведения фонограммы из множества звуковых сигналов объектов и генерирует информацию о параметрах, включающую в себя множество порций информации, выделяемой из звуковых сигналов объектов. Согласно обычному способу декодирования объектно-ориентированного звукового сигнала устройство декодирования объектов восстанавливает множество звуковых сигналов объектов посредством декодирования принимаемого сигнала сведения фонограммы с использованием информации о параметрах объектов, а устройство рендеринга (в контексте настоящей заявки под рендерингом подразумевается создание эффекта «трехмерности» звукового сигнала) синтезирует звуковые сигналы объектов в 2-канальный сигнал или многоканальный сигнал, используя управляющие данные, которые необходимы для обозначения положений восстанавливаемых звуковых сигналов объектов.

Однако управляющие данные представляют собой всего лишь межуровневую информацию, и существует четкое ограничение в создании 3D эффектов путем локализации звукового образа посредством простого использования информации об уровнях громкости.

Раскрытие изобретения

Настоящее изобретение обеспечивает способы и устройства, предназначенные для кодирования и декодирования звукового сигнала, которые могут локализировать звуковой образ в требуемом положении в пространстве для каждого звукового сигнала объекта.

В соответствии с аспектом настоящего изобретения, предусмотрен способ декодирования звукового сигнала. Способ включает в себя выделение сигнала сведения фонограммы и информации о параметрах объектов из входного звукового сигнала, генерирование звукового сигнала объектов с использованием сигнала сведения фонограммы и информации о параметрах объектов и генерирование звукового сигнала объектов с трехмерными (3D) эффектами посредством применения 3D информации к звуковому сигналу объектов.

В соответствии с другим аспектом настоящего изобретения, предусмотрено устройство для декодирования звукового сигнала. Устройство включает в себя демультиплексор, который выделяет сигнал сведения фонограммы и информацию о параметрах объектов из входного звукового сигнала, устройство декодирования объектов, которое генерирует звуковой сигнал объектов с использованием сигнала сведения фонограммы и информации о параметрах объектов, и устройство рендеринга, которое генерирует трехмерный звуковой сигнал объектов с 3D эффектами посредством применения 3D информации к звуковому сигналу объектов.

В соответствии с другим аспектом настоящего изобретения, предусмотрен способ декодирования звукового сигнала. Способ включает в себя выделение сигнала сведения фонограммы и информации о параметрах объектов из входного звукового сигнала, генерирование информации о параметрах каналов посредством преобразования информации о параметрах объектов, генерирование звукового сигнала с использованием сигнала сведения фонограммы и информации о параметрах объектов и генерирование звукового сигнала с 3D эффектами посредством применения 3D информации к звуковому сигналу.

В соответствии с другим аспектом настоящего изобретения, предусмотрено устройство для декодирования звукового сигнала. Устройство включает в себя демультиплексор, который выделяет сигнал сведения фонограммы и информацию о параметрах объектов из входного звукового сигнала, устройство рендеринга, которое извлекает 3D информацию с использованием индексных данных и выводит 3D информацию, транскодер, который генерирует информацию о параметрах каналов с использованием информации о параметрах объектов и 3D информации, и многоканальное устройство декодирования, которое генерирует звуковой сигнал с использованием сигнала сведения фонограммы и информации о параметрах каналов и генерирует звуковой сигнал с 3D эффектами посредством применения 3D информации к звуковому сигналу.

В соответствии с другим аспектом настоящего изобретения, предусмотрено устройство для декодирования звукового сигнала. Устройство включает в себя демультиплексор, который выделяет сигнал сведения фонограммы и информацию о параметрах объектов из входного звукового сигнала, устройство рендеринга, которое извлекает 3D информацию с использованием входных индексных данных и выводит 3D информацию, транскодер, который преобразовывает информацию о параметрах объектов в информацию о параметрах каналов, преобразовывает 3D информацию в 3D информацию о каналах и выводит информацию о параметрах каналов и 3D информацию о каналах, и многоканальное устройство декодирования, которое генерирует звуковой сигнал с использованием сигнала сведения фонограммы и информации о параметрах каналов и генерирует звуковой сигнал с 3D эффектами посредством применения к звуковому сигналу 3D информации о каналах.

В соответствии с другим аспектом настоящего изобретения, предусмотрен способ кодирования звукового сигнала. Способ включает в себя генерирование сигнала сведения фонограммы посредством сведения фонограммы звукового сигнала объектов, выделение информации относительно звукового сигнала объектов и генерирование информации о параметрах объектов, основанной на выделяемой информации, и введение индексных данных в информацию о параметрах объектов, причем индексные данные являются необходимыми для поиска 3D информации, которая используется для создания 3D эффектов для звукового сигнала объектов.

В соответствии с другим аспектом настоящего изобретения, предусмотрен машиночитаемый носитель, на котором записана программа для выполнения одного из вышеупомянутых способов.

Как описано выше, в соответствии с настоящим изобретением, можно обеспечить более отчетливый эффект присутствия, чем при обычных способах кодирования и декодирования объектно-ориентированного звукового сигнала во время воспроизведения звуковых сигналов объектов посредством локализирования звукового образа для каждого из звуковых сигналов объектов, в то же время максимально используя обычные способы кодирования и декодирования объектно-ориентированного звукового сигнала. Кроме того, можно создавать высококачественную виртуальную реальность путем применения настоящего изобретения в интерактивных играх, в которых часто изменяется информация о расположении игровых персонажей, управляемых игроками через сеть.

Краткое описание чертежей

Фиг. 1 представляет собой блок-схему обычного устройства кодирования объектно-ориентированного звукового сигнала;

фиг. 2 представляет собой блок-схему устройства для декодирования звукового сигнала в соответствии с вариантом выполнения настоящего изобретения;

фиг. 3 представляет собой блок-схему процесса, иллюстрирующую функционирование устройства, показанного на фиг. 2;

фиг. 4 представляет собой блок-схему устройства для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения;

фиг. 5 представляет собой блок-схему процесса, иллюстрирующую функционирование устройства, показанного на фиг. 4;

фиг. 6 представляет собой блок-схему устройства для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения;

фиг. 7 иллюстрирует применение трехмерной (3D) информации к кадрам с помощью устройства, иллюстрируемого на фиг. 6;

фиг. 8 представляет собой блок-схему устройства для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения; и

фиг. 9 представляет собой блок-схему устройства для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения.

Осуществление изобретения

Настоящее изобретение в дальнейшем будет описано более подробно со ссылкой на сопровождающие чертежи, на которых показаны примерные варианты выполнения изобретения.

Способы и устройства, предназначенные для кодирования и декодирования звукового сигнала в соответствии с настоящим изобретением, можно применять к процессам кодирования и декодирования объектно-ориентированного звукового сигнала, но не ограничиваясь этим. Другими словами, способы и устройства, предназначенные для кодирования и декодирования звукового сигнала в соответствии с настоящим изобретением, также можно применять к различным операциям обработки сигналов, отличающимся от тех, что были сформулированы в данном описании, до тех пор, пока операции обработки сигналов удовлетворяют нескольким условиям. Способы и устройства для кодирования и декодирования звукового сигнала в соответствии с настоящим изобретением могут локализировать звуковые образы звуковых сигналов объектов в требуемых положениях в пространстве посредством применения трехмерной (3D) информации, такой как функция моделирования восприятия звука (HRTF), к звуковым сигналам объектов.

Фиг. 1 иллюстрирует обычное устройство кодирования объектно-ориентированного звукового сигнала. Что касается фиг. 1, то на ней устройство кодирования объектно-ориентированного звукового сигнала включает в себя устройство 110 кодирования объектов и генератор 120 битового потока.

Устройство 110 кодирования объектов принимает N звуковых сигналов объектов и генерирует объектно-ориентированный сигнал сведения фонограммы и информацию о параметрах объектов, включающую в себя множество порций информации, выделяемых из N звуковых сигналов объектов. Множество порций информации могут быть значениями разности и корреляции энергии.

Генератор 120 битового потока генерирует битовый поток, объединяя объектно-ориентированный сигнал сведения фонограммы и информацию о параметрах объектов, генерируемую устройством 110 кодирования объектов. Битовый поток, генерируемый генератором 120 битового потока, может включать в себя стандартные значения параметров смешивания, необходимые для стандартной настройки для декодирующего устройства. Стандартные значения параметров смешивания могут включать в себя индексные данные, необходимые для поиска 3D информации, такой как HRTF, которая может использоваться для создания 3D эффектов.

Фиг. 2 иллюстрирует устройство, предназначенное для декодирования звукового сигнала в соответствии с вариантом выполнения настоящего изобретения. Устройство, иллюстрируемое на фиг. 2, может быть разработано посредством объединения концепции, основанной на HRTF стереофонической 3D локализации с обычным способом объектно-ориентированного кодирования. HRTF представляет собой функцию преобразования, которая описывает передачу звуковых волн между источником звука в произвольном положении и барабанной перепонкой, и возвращает значение, которое изменяется в соответствии с направлением и выстой источника звука. Если сигнал без направленности фильтруется с использованием HRTF, сигнал можно слышать, как будто он воспроизводится с некоторого направления.

Рассмотрим фиг. 2, на которой устройство включает в себя демультиплексор 130, устройство 140 декодирования объектов, устройство 150 визуализации и базу 160 данных 3D информации.

Демультиплексор 130 выделяет сигнал сведения фонограммы и информацию о параметрах объектов из входного битового потока. Устройство 140 декодирования объектов генерирует звуковой сигнал объектов на основании сигнала сведения фонограммы и информации о параметрах объектов. База 160 данных 3D информации представляет собой базу данных, которая хранит 3D информацию, такую как HRTF, и ищет и выводит 3D информацию, соответствующую входным индексным данным. Устройство 150 рендеринга генерирует 3D сигнал с использованием звукового сигнала объектов, генерируемого устройством 140 декодирования объектов, и 3D информации, выводимой базой 160 данных 3D информации.

Фиг. 3 иллюстрирует функционирование устройства, иллюстрируемого на фиг. 2. Рассмотрим фиг. 2 и 3, на которых, когда принимается (S170) битовый поток, передаваемый устройством для кодирования звукового сигнала, из этого битового потока демультиплексор 130 выделяет (S172) сигнал сведения фонограммы и информацию о параметрах объектов. Устройство 140 декодирования объектов генерирует (S174) звуковой сигнал объектов, используя сигнал сведения фонограммы и информацию о параметрах объектов.

Устройство 150 рендеринга извлекает (S176) 3D информацию из базы 160 данных 3D информации, используя индексные данные, включенные в управляющие данные, которые необходимы для обозначения расположений звуковых сигналов объектов. Устройство 150 рендеринга генерирует 3D сигнал с 3D эффектами, выполняя (S178) операцию 3D рендеринга с использованием звукового сигнала объектов, обеспечиваемого устройством 140 декодирования объектов, и 3D информации, обеспечиваемой базой 160 данных 3D информации.

3D сигнал, генерируемый устройством 150 рендеринга, может быть 2-канальным сигналом с тремя или более направленностями, и таким образом может быть воспроизведен как 3D стереофонический звук с помощью 2-канальных динамиков, таких как наушники. Другими словами, 3D сигнал, генерируемый устройством 150 рендеринга, может быть воспроизведен 2-канальными динамиками так, что пользователь может ощущать, что 3D сигнал сведения фонограммы будто бы воспроизводится из источника звука с тремя или более каналами. Направление источника звука может быть определено на основании по меньшей мере одного из: различия между интенсивностями двух звуковых сигналов, соответственно вводимых в оба уха, интервала времени между двумя звуковыми сигналами и различия между фазами двух звуковых сигналов. Поэтому 3D устройство 150 рендеринга может генерировать 3D сигнал на основании того, как люди могут определять положение источника звука в трехмерном пространстве с помощью слуха.

Устройство для кодирования звукового сигнала может включать в себя индексные данные, необходимые для извлечения 3D информации в информации о стандартных значениях параметров смешивания для стандартной настройки. В этом случае, устройство 150 рендеринга может извлекать 3D информацию из базы 160 данных 3D информации, используя индексные данные, включенные в информацию о стандартных значениях параметров смешивания.

Устройство для кодирования звукового сигнала может включать в управляющие данные индексные данные, которые необходимы для поиска 3D информации, такой как HRTF, которая может использоваться для создания 3D эффектов для сигнала объекта. Другими словами, информация о параметрах смешивания, включенная в управляющие данные, используемые устройством для кодирования звукового сигнала, может включать в себя не только информацию об уровнях громкости, но также и индексные данные, необходимые для поиска 3D информации. Информация о параметрах смешивания может быть информацией о времени, такой как информация о временной разнице между каналами, информацией о расположении, или сочетанием информации об уровнях громкости и информации о синхронизации.

Если имеется множество звуковых сигналов объектов, и 3D эффекты должны быть добавлены к одному или более из множества звуковых сигналов объектов, 3D информация, соответствующая заданным индексным данным, разыскивается и извлекается из базы 160 данных 3D информации, которая хранит 3D информацию, определяющую заданные положения звуковых сигналов объектов, к которым должны быть добавлены 3D эффекты. Затем 3D устройство 150 рендеринга выполняет операцию 3D рендеринга с использованием извлеченной 3D информации так, чтобы можно было создавать 3D эффекты. 3D информация относительно всех сигналов объектов может использоваться как информация о параметрах смешивания. Если 3D информация применяется только к нескольким сигналам объектов, информация об уровнях громкости и информация о времени относительно сигналов объектов, отличающихся от этих нескольких сигналов объектов, также может использоваться в качестве информации о параметрах смешивания.

Фиг. 4 иллюстрирует устройство для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения. Что касается фиг. 4, то на ней устройство включает в себя вместо устройства декодирования объектов многоканальное устройство 270 декодирования.

Более конкретно, устройство включает в себя демультиплексор 230, транскодер 240, устройство 250 рендеринга, базу 260 данных 3D информации и многоканальное устройство 270 декодирования.

Демультиплексор 230 выделяет сигнал сведения фонограммы и информацию о параметрах объектов из входного битового потока. Устройство 250 рендеринга определяет положение каждого сигнала объектов в трехмерном пространстве с использованием 3D информации, соответствующей индексным данным, включенным в управляющие данные. Транскодер 230 генерирует информацию о параметрах каналов посредством синтезирования информации о параметрах объектов и 3D информации о положении каждого звукового сигнала объектов, обеспечиваемых устройством 250 рендеринга. Многоканальное устройство 270 декодирования генерирует 3D сигнал с использованием сигнала сведения фонограммы, обеспечиваемого демультиплексором 230, и информации о параметрах каналов, обеспечиваемой транскодером 230.

Фиг. 5 иллюстрирует функционирование устройства, иллюстрируемого на фиг. 4. Что касается фиг. 4 и 5, то на них устройство принимает (S280) битовый поток. Демультиплексор 230 выделяет (S282) объектно-ориентированный сигнал сведения фонограммы и информацию о параметрах объектов из принимаемого битового потока. Устройство 250 рендеринга выделяет индексные данные, включенные в управляющие данные, которые используются для определения положений звуковых сигналов объектов, и извлекает (S284) 3D информацию, соответствующую индексным данным, из базы 260 данных 3D информации. Положения звуковых сигналов объектов, исходно определенные информацией о стандартных параметрах смешивания, могут быть изменены посредством определения 3D информации, соответствующей требуемым положениям звуковых сигналов объектов, используя управляющие данные смешивания.

Транскодер 230 генерирует (S286) информацию о параметрах каналов относительно М каналов, синтезируя информацию о параметрах объектов относительно сигналов N объектов, которые передаются устройством для кодирования звукового сигнала, и 3D информацию о расположении каждого из сигналов объектов, который получен с использованием 3D информации, такой как HRTF, с помощью устройства 250 рендеринга.

Многоканальное устройство 270 декодирования генерирует звуковой сигнал с использованием объектно-ориентированного сигнала сведения фонограммы, обеспечиваемого демультиплексором 230, и информации о параметрах каналов, обеспечиваемой транскодером 230, и генерирует многоканальный сигнал посредством выполнения (S290) операции 3D рендеринга на звуковом сигнале с использованием 3D информации, включенной в информацию о параметрах каналов.

Фиг. 6 иллюстрирует устройство для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения. Устройство, иллюстрируемое на фиг. 6, отличается от устройства, иллюстрируемого на фиг. 4, тем, что транскодер 440 каналов отдельно передает в многоканальный декодер 470 информацию о параметрах каналов и 3D информацию. Другими словами, транскодер 440, в отличие от транскодера 240, иллюстрируемого на фиг. 4, передает информацию о параметрах каналов относительно М каналов, которая получена с использованием информации о параметрах объектов относительно сигналов N объектов, и 3D информацию, которая применяется к каждому из сигналов N объектов, в многоканальный декодер 470, вместо передачи информации о параметрах каналов, включающей в себя 3D информацию.

Рассмотрим фиг. 7, на которой информация о параметрах каналов и 3D информация имеют свои собственные данные индексов кадров. Таким образом, многоканальное устройство 470 декодирования может применять 3D информацию к заданному кадру битового потока посредством синхронизирования информации о параметрах каналов и 3D информации с использованием индексов кадров информации о параметрах каналов и 3D информации. Например, что касается фиг. 7, то на ней 3D информация, соответствующая индексу 2, может применяться к началу кадра 2, имеющего индекс 2.

Даже если 3D информация обновляется с течением времени, возможно определить, где в информации о параметрах каналов следует применять 3D информацию, ссылаясь на индекс кадра 3D информации. Другими словами, транскодер 440 может вводить информацию об индексе кадра в информацию о параметрах каналов и 3D информацию, соответственно, для того, чтобы многоканальное устройство 470 декодирования синхронизировало во времени информацию о параметрах каналов и 3D информацию.

Фиг. 8 иллюстрирует устройство для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения. Устройство, иллюстрируемое на фиг. 8, отличается от устройства, иллюстрируемого на фиг. 6, тем, что иллюстрируемое на фиг. 8 устройство дополнительно включает в себя устройство 543 предварительной обработки и устройство 580 обработки эффектов в дополнение к демультиплексору 530, транскодеру 547, устройству 550 рендеринга и базе 560 данных 3D информации, и тем, что база 560 данных 3D информации включена в устройство 550 рендеринга.

Более конкретно, структура и функции демультиплексора 530, транскодера 547, устройства 550 рендеринга, базы 560 данных 3D информации и многоканального устройства 570 декодирования являются такими же, как структура и функции их соответствующих аналогов, иллюстрируемых на фиг. 6. Что касается фиг. 8, то на ней устройство 580 обработки эффектов может добавлять заданный эффект к сигналу сведения фонограммы. Устройство 543 предварительной обработки может выполнять действие предварительной обработки, например, на стереофоническом сигнале сведения фонограммы, таким образом, чтобы положение стереофонического сигнала сведения фонограммы можно было регулировать. База 560 данных 3D информации может быть включена в устройство 550 рендеринга.

Фиг. 9 иллюстрирует устройство для декодирования звукового сигнала в соответствии с другим вариантом выполнения настоящего изобретения. Устройство, иллюстрируемое на фиг. 9, отличается от устройства, иллюстрируемого на фиг. 8, тем, что модуль 680 генерирования 3D сигнала разделен на многоканальное устройство 670 декодирования и запоминающее устройство 675. Что касается фиг. 9, то на ней многоканальное устройство 670 декодирования копирует 3D информацию, которая хранится в пассивном запоминающем устройстве многоканального декодера 670, в запоминающее устройство 675, и запоминающее устройство 675 осуществляет операцию 3D рендеринга с использованием этой 3D информации. 3D информация, скопированная в запоминающее устройство 675, может обновляться с помощью 3D информации, выводимой транскодером 647. Поэтому можно генерировать 3D сигнал с использованием требуемой 3D информации без каких-либо модификаций в структуре многоканального устройства 670 декодирования.

Настоящее изобретение может быть осуществлено в виде машиночитаемого кода, записанного на машиночитаемом носителе. Машиночитаемым носителем может быть запоминающее устройство любого типа, в котором данные хранятся в машиночитаемой форме. Примеры машиночитаемого носителя включают в себя ПЗУ (постоянное запоминающее устройство), ОЗУ (оперативное запоминающее устройство), CD-ROM (неперезаписываемый компакт-диск), магнитную ленту, гибкий диск, оптическое запоминающее устройство для данных и несущую волну (например, передачу данных через Интернет). Машиночитаемый носитель можно распределять через множество связанных с сетью компьютерных систем так, чтобы записывать в них машиночитаемый код и выполнять его на них в децентрализованном виде. Функциональные программы, код и сегменты кода, необходимые для осуществления настоящего изобретения, могут быть легко истолкованы специалистами в данной области техники.

Другие варианты осуществления находятся в пределах объема последующей формулы изобретения.

Промышленная применимость

Настоящее изобретение можно применять к различным процессам декодирования объектно-ориентированных звуковых сигналов, и оно может обеспечивать отчетливый эффект присутствия во время воспроизведения звуковых сигналов объектов посредством локализирования звукового образа для каждого из объектно-ориентированных звуковых сигналов.