ВСТРАИВАНИЕ И ИЗВЛЕЧЕНИЕ СЛУЖЕБНЫХ ДАННЫХ

Область техники, к которой относится изобретение

Изобретение относится к встраиванию служебных данных. Изобретение также относится к извлечению служебных данных.

Уровень техники

Объемное звучание MPEG, как указанно в ISO/IEC 23003-1:2007, "MPEG Surround", является схемой многоканального кодирования аудио, использующей параметрическое представление пространственного изображения. Вследствие своей высокой эффективности кодирования объемное звучание MPEG может использоваться для того, чтобы обратно совместимым способом расширять моно/стереокодер до многоканального режима, требующего только низкой дополнительной скорости передачи битов. Данные объемного звучания MPEG могут сохраняться или передаваться в качестве отдельного потока или встраиваться в часть служебных данных для данных понижающего микширования. Чтобы транспортировать данные объемного звучания MPEG в качестве части потока битов базового кодера, базовый кодер должен поддерживать встраивание служебных данных. Тем не менее существует много кодеров понижающего микширования, таких как, например, по схеме подполосного кодирования (SBC), которые являются обязательными для потоковой передачи высококачественного аудио по Bluetooth A2DP, которые не имеют возможности сохранять служебные данные в потоке битов. Технические требования объемного звучания MPEG в разделе 7.3 указывают, как технология, называемая "скрытыми данными", может использоваться для того, чтобы транспортировать данные объемного звучания MPEG в потоке битов. Тем не менее эта технология может применяться только к понижающему микшированию, кодированному как PCM. Технология основывается на допущении, что биты в потоке битов совместно используются между данными PCM и данными объемного звучания MPEG. Выделение большего числа битов для данных объемного звучания MPEG приводит к более низкому качеству звучания, поскольку меньшее число битов доступно для кодирования аудиосигнала. Технология "скрытых данных" имеет в качестве недостатка то, что она не может использоваться для сжатого аудиосигнала.

Раскрытие изобретения

Цель настоящего изобретения заключается в том, чтобы обеспечить встраивание служебных данных в сжатый аудиосигнал и извлечение служебных данных из сжатого аудиосигнала. Изобретение задается посредством независимых пунктов формулы изобретения. Зависимые пункты формулы изобретения задают преимущественные варианты осуществления.

Один аспект изобретения предлагает способ встраивания служебных данных в сжатый аудиосигнал. Это достигается посредством замены младших битов (LSB), по меньшей мере, в одной подполосе частот сжатого аудиосигнала на служебные данные.

При замене LSB-битов сжатых подполосных сигналов на служебные данные подполосный сигнал эффективно модифицируется, приводя к другому декодированному выходному сигналу. Заменяемые LSB-биты, соответствующие служебным данным, передаются в качестве части потока битов и могут быть легко извлечены в декодере. Таким образом, декодер получает служебные данные, которые могут использоваться для улучшенного звуковоспроизведения в декодере. Само сжатое аудио поддерживает хорошее качество звучания несмотря на замену LSB-битов подполосы частот, поскольку LSB-биты меньше всего способствуют потенциальным слышимым артефактам.

В варианте осуществления LSB-биты, которые должны заменяться на служебные данные, определяются на основе психоакустического критерия. Субъективное влияние, вызываемое посредством отличия в выходном сигнале в результате модификации LSB, минимизируется посредством применения психоакустического критерия, управляющего как местоположением, так и числом LSB-битов, которые могут модифицироваться. Само сжатое аудио в таком случае поддерживает хорошее качество звучания несмотря на замену LSB-битов подполосы частот, поскольку эти выбранные LSB-биты не способствуют слышимым артефактам. Выделение LSB-битов определяется неявно в декодере посредством использования критерия, идентичного критерию, используемому в кодере. Подобие выделения LSB-битов на стороне декодера может быть оценено в кодере заранее. Следовательно, дополнительная информация индикатора для выделения LSB-битов не требуется либо требуется только ограниченная дополнительная информация индикатора в случае отличий между выделением, используемым в кодере, и ожидаемым выделением в декодере, чтобы указывать эти отличия.

В дополнительном варианте осуществления выделение LSB-битов, которые должны заменяться на служебные данные, указывается посредством информации индикатора, встраиваемой в LSB-биты. На стороне декодера требуется информация индикатора, чтобы идентифицировать местоположение и число LSB-битов, которые составляют служебные данные. Фиксированное число LSB-битов, которое выделяется по умолчанию конкретным подполосам частот, используется для того, чтобы передавать эту информацию индикатора. Эти биты выделяются для каждого кадра.

В дополнительном варианте осуществления сжатый аудиосигнал получается с использованием SBC-кодирования. SBC-кодирование не имеет внутренней поддержки служебных данных. SBC-кодирование может модифицироваться, чтобы принимать служебные данные, которые должны быть переданы в LSB-битах одного или более подполосных сигналов. Другими словами, замена LSB-битов на служебные данные становится частью сжатия аудио. Таким образом, SBC-кодер может создавать поток битов, который хранит служебные данные. Выделение LSB-битов может варьироваться со временем, чтобы эффективно использовать подполосы частот так, что выделенные LSB-биты не способствуют потенциальным слышимым артефактам. Альтернативно, замена LSB-битов на служебные данные может выполняться в качестве этапа постобработки после кодирования. Должно быть очевидным, что результирующие потоки SBC-битов являются совместимыми с существующими SBC-декодерами.

В дополнительном предпочтительном варианте осуществления служебные данные содержат данные, которые должны использоваться для обработки декодированного сжатого аудиосигнала. Это дает возможность дополнительной обработки, к примеру, постобработки декодированного сжатого аудиосигнала, чтобы изменять характеристики аудиосигнала, например, обработки виртуализации с параметрическим управлением.

В дополнительном варианте осуществления служебные данные содержат данные объемного звучания MPEG.

Понижающее микширование на основе объемного звучания MPEG кодируется с использованием, например, SBC-кодера. Данные объемного звучания MPEG также вводятся в SBC-кодер и передаются в LSB-битах одного или более подполосных сигналов SBC-кодированного сигнала понижающего микширования. После передачи и/или сохранения результирующего потока битов SBC-декодер декодирует стереофоническое понижающее микширование и извлекает данные объемного звучания MPEG. Декодер на основе объемного звучания MPEG комбинирует стереофоническое понижающее микширование и данные объемного звучания MPEG в многоканальный аудиосигнал.

Другой аспект изобретения предоставляет способ извлечения служебных данных из входного сжатого аудиосигнала. Следует понимать, что признаки, преимущества, комментарии и т.д., описанные выше, в равной степени применимы к этому аспекту изобретения.

Изобретение дополнительно предоставляет устройство встраивания и устройство извлечения, а также декодер, содержащий устройство извлечения согласно изобретению.

Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.

Краткое описание чертежей

Фиг.1 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал согласно изобретению;

фиг.2 показывает пример замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные;

фиг.3 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал, модифицированный так, что он указывает выделение LSB-битов, которые должны заменяться на служебные данные, посредством информации индикатора, встраиваемой в LSB-биты;

фиг.4 схематично показывает пример устройства встраивания для встраивания служебных данных в сжатый аудиосигнал согласно изобретению;

фиг.5 схематично показывает пример устройства извлечения для извлечения служебных данных из входного сжатого аудиосигнала;

фиг.6 показывает пример декодера для декодирования входного сжатого аудиосигнала, содержащего устройство извлечения согласно изобретению.

Осуществление изобретения

Фиг.1 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал согласно изобретению. Способ содержит этап 101 замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные. Сжатый аудиосигнал может получаться посредством SBC-, AAC-, MP3- или HE-AAC-кодеров. Сжатый аудиосигнал содержит, по меньшей мере, одну подполосу частот. Здесь, подполоса частот относится как к представлению по подполосам частот для гребенки фильтров в соответствии, например, с SBC, так и к представлению по преобразованию в соответствии, например, с AAC. Зачастую подполосы частот из подполосного фильтра упоминаются как субсигналы, в то время как подполосы частот из преобразования упоминаются как частотные коэффициенты. Следует отметить, что LSB-биты в обоих случаях означают биты квантованных спектральных коэффициентов. Служебные данные могут иметь любой тип. Тем не менее предпочтительно они должны содержать данные, связанные с пространственной аудиоинформацией, которая может использоваться для того, чтобы повышать качество пространственного звучания сжатого аудио. Примером таких служебных данных являются, например, данные объемного звучания MPEG, форматированные в структуру данных, аналогичную указываемой в разделе 7.3.2 ISO/IEC 23003-1:2007, "MPEG Surround". Альтернативно, служебные данные могут содержать, например, данные репликации полос спектра, параметрические стереоданные, метаданные, к примеру информацию синхронизации или уровни громкости либо данные кодирования пространственных аудиообъектов, предоставляя возможность интерактивного микширования на стороне декодирования.

Фиг.2 показывает пример замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные. На фиг.2 проиллюстрирован пример сжатого аудиосигнала. Такой сжатый аудиосигнал может получаться посредством SBC-кодера со следующими конфигурационными параметрами: частота дискретизации в 48 кГц, стереоканальный режим, 8 подполос частот и длина блока, равная 4. График 110 соответствует аудио для левого канала, в то время как график 120 соответствует аудио для правого канала. Для каждого из каналов шесть подполос частот проиллюстрированы как 111-116 и 121-126 для левого канала и правого канала, соответственно. Только эти шесть подполос частот проиллюстрированы (вместо восьми предписанных подполос частот) по причинам понятности представления, поскольку в настоящем примере не выделены биты оставшимся подполосам частот. Сжатый аудиосигнал для первой подполосы 111 частот аудио 110 для левого канала требует предписанной длины блока в 4 бита и ширины блока в 5 битов, приводя к 20 битам. Следует отметить, что длина блока соответствует числу подполосных выборок в подполосе частот. Подполоса 112 частот требует предписанной длины блока в 4 бита и ширины блока в 4 бита, приводя к 16 битам. При этом 12 битов, 8 битов и 8 битов требуются для подполос 113, 114 и 115 частот, соответственно. Аналогично, для правого аудиоканала 120, 16 битов, 16 битов, 8 битов, 8 битов и 8 битов требуются для подполос 121, 122, 123, 124, 125 частот, соответственно. Как установлено посредством изобретения, LSB-биты некоторых подполос частот могут использоваться для встраивания служебных данных. Эти биты отмечаются серым цветом на фиг.2. Следовательно, восемь LSB-битов в подполосе частот 111, четыре LSB-бита в подполосе 112 частот, четыре LSB-бита в подполосе 113 частот и четыре LSB-бита в подполосе 114 частот используются для встраивания служебных данных. Встраивание служебных данных означает здесь замену указываемых LSB-битов на служебные данные. Несмотря на то, что выделение LSB-битов, которые должны заменяться на служебные данные, варьируется в подполосах частот, также можно использовать фиксированное выделение LSB-битов. Преимущество варьирования выделения LSB-битов состоит в том, что выделение битов может быть приспособлено к фактическому аудиосодержимому в сжатом аудио, чтобы не ухудшать качество звучания. Посредством варьирования выделения LSB-битов по подполосам частот может управляться искажение, созданное посредством заменяемых LSB-битов в подполосах частот. Управление выделением LSB-битов дает возможность формирования искажения в спектральной области так, что искажение остается маскированным.

В варианте осуществления LSB-биты, которые должны заменяться на служебные данные, определяются на основе психоакустического критерия. Этот психоакустический критерий имеет в качестве цели выбор подполос частот и LSB-битов для замены на служебные данные, для которых ожидается наименьшее влияние на восприятие. Психоакустический критерий, например, может быть реализован посредством определения кривой маскирования исходного аудиосигнала на сетке представления по подполосам частот. Такая кривая маскирования указывает, сколько шума может добавляться в каждой полосе частот. Полосы частот, в которых может добавляться большая часть шума, например, выбираются для встраивания служебных данных. Альтернативно, этот критерий может быть дополнительно улучшен посредством сравнения искажения сжатого аудиосигнала, кодированного с использованием, например, SBC-кодирования, с определенной кривой маскирования. Следовательно, LSB-биты, которые должны заменяться на служебные данные, могут выбираться так, что полное искажение (содержащее как квантование посредством SBC-кодирования, так и встраивание служебных данных в LSB-биты подполос частот) приблизительно равно по всем подполосам частот по сравнению с кривой маскирования. Комбинирование SBC-кодирования со встраиванием служебных данных является преимущественным, поскольку оно дает возможность минимизации влияния встраивания служебных данных на воспринимаемое качество звучания. Если сжатый аудиосигнал является предварительно кодированным сигналом, например потоком SBC-битов, более высокие частоты уже приблизительно квантованы, оставляя мало пространства для встраивания служебных данных. Тем не менее, если встраивание служебных данных комбинируется со сжатием аудиосигнала с использованием, например, SBC-кодирования, существует пространство для встраивания служебных данных, которое предпочтительно управляется посредством параметров кодирования и встраивания.

Фиг.3 показывает блок-схему последовательности операций варианта осуществления способа встраивания служебных данных в сжатый аудиосигнал, модифицированный так, что он указывает выделение LSB-битов, которые должны заменяться на служебные данные, посредством информации индикатора, встраиваемой в LSB-биты. Способ содержит этап 101 замены LSB-битов, по меньшей мере, в одной подполосе частот сжатого аудио на служебные данные. Этап 102 содержит встраивание информации индикатора, чтобы указывать выделение LSB-битов, которые должны заменяться на служебные данные в сжатом аудиосигнале. Эта информация индикатора является аналогичной служебным данным, встраиваемым в LSB-биты сжатого аудиосигнала. Несмотря на то, что этап 102 следует после этапа 101, последовательность этих двух этапов может переставляться.

Информация индикатора может содержаться в предварительно определенном фиксированном местоположении, например, в предварительно определенном числе, к примеру, 16 битах, из LSB-битов первой подполосы частот в кадре. Альтернативно, способ, описанный в разделе 7.3.2 ISO/IEC 23003-1:2007, "MPEG Surround", может приспосабливаться, чтобы указывать информацию индикатора в потоке битов, содержащем сжатый аудиосигнал со встроенными служебными данными.

В дополнительном варианте осуществления сжатое аудио получается с использованием SBC-кодирования. SBC-кодирование предлагает возможность относительной высокой скорости передачи битов, тем самым предоставляя больше пространства для встраивания служебных данных. Кроме того, для SBC-кодирования меньше внимание следует уделять для того, чтобы удостоверяться, что слышимые артефакты не возникают (например, упрощенная психоакустическая модель может использоваться). SBC также становится все более и более популярным в качестве кодека связи между различными устройствами связи (например, телефонами или автомобильными радиоприемниками).

Тем не менее, помимо SBC-кодирования, любое другое преобразование или подполосное кодирование могут использоваться. В частности, технологии кодирования, принадлежащие этому классу, которые не поддерживают служебные данные, могут извлекать выгоду из встраивания служебных данных согласно изобретению.

Служебные данные содержат данные, которые должны использоваться для обработки декодированного сжатого аудиосигнала. Как указано выше, служебные данные предпочтительно должны содержать данные, связанные с пространственной аудиоинформацией, которая может использоваться для того, чтобы повышать качество пространственного звучания сжатого аудио. Примером таких служебных данных являются, например, данные объемного звучания MPEG, форматированные в структуру данных, аналогичную указываемой в разделе 7.3.2 ISO/IEC 23003-1:2007, "MPEG Surround". Раздел 6 этих технических требований описывает, как данные объемного звучания MPEG используются для того, чтобы создавать многоканальный или бинауральный аудиосигнал из сигнала монофонического или стереофонического понижающего микширования и данных объемного звучания MPEG.

В случае встраивания служебных данных, содержащих данные объемного звучания MPEG, в сжатый аудиосигнал, содержащий SBC-кодированные PCM-аудиовыборки, определенное число SBC-кадров требуется для встраивания данных объемного звучания MPEG, содержащихся в одном кадре объемного звучания MPEG. Допустим, что используется конфигурация SBC, как описано для фиг.2, за исключением того, что длина блока равняется теперь 16. Это приводит к длине SBC-кадра 8х16 (=128) подполосных выборок, где 8 - это число подполос частот, а 16 - это длина блока. Длина кадра данных объемного звучания MPEG составляет 1024 PCM-выборок, что соответствует 1024 подполосным выборкам SBC-кадров. Допустим, что 1024 PCM-кадра, кодированные согласно стандарту объемного звучания MPEG, приводят к 888 битам. Кроме того, допустим, что 72 бита требуются для кодирования информации индикатора. Следовательно, 8 SBC-кадров необходимы, чтобы приспосабливать 888 битов служебных данных и 72 бита информации индикатора. Чтобы эффективно использовать доступные биты, эти 8 SBC-кадров группируются в 4 группы из 2 SBC-кадров. Для каждой группы из 2 кадров используется информация индикатора. Следовательно, для двух каналов и 4 групп для каждого из каналов используется всего 8 единиц информации индикатора. Для подполос частот, имеющих меньшее число доступных битов для подполосных выборок, чем число, указываемое в информации индикатора, минимум из этих двух значений используется для фактического встраивания служебных данных в подполосе частот. Допустим, что подполосные выборки, как проиллюстрировано на фиг.2, используются для этих 8 SBC-кадров для каждого из каналов. Дополнительно, допустим, что выделение 2, 1, 0 и 1 битов используется для левого канала и выделение 1, 0, 1 и 0 битов используется для правого канала. Выделение 2 битов для левого канала означает, что для первой группы из двух SBC-кадров 2 бита в расчете на каждую подполосу частот выделяются служебным данным. Это приводит к 2 (для 2 SBC-кадров)х5 (для 5 подполос частот)х16 (для длины блока)х2 (для выделенных битов в каждой из подполос частот)=320 битам, доступным для служебных данных. Затем выделение 1 бита в расчете на один канал приводит к 160 битам, доступным для служебных данных.

Это, в свою очередь, для выделения 2, 1, 0, 1 битов для левого канала и выделения 1, 0, 1, 0 битов для правого канала приводит всего к 960 битам, что достаточно для того, чтобы приспосабливать фактически требуемые 888 битов служебных данных.

Фиг.4 схематично показывает пример устройства 200 встраивания для встраивания служебных данных 202 в сжатый аудиосигнал 201 согласно изобретению. Устройство 200 встраивания содержит схему 210 выделения для определения выделения LSB-битов для замены на служебные данные на основе психоакустического критерия 203, предоставленного в схему 210. Примером такого критерия 203 является минимизация энергии встроенных данных относительно порогового значения маскирования по всем подполосам частот. Устройство 200 встраивания дополнительно содержит схему 220 замены, которая заменяет LSB-биты, выделяемые посредством схемы 210 выделения в сжатом аудиосигнале 201, на служебные данные 202, приводя к выходному сжатому аудиосигналу 204.

Должно быть очевидным, что когда выделение LSB-битов является фиксированным, схема 210 выделения является избыточной и необязательно должна содержаться в устройстве 200 встраивания. Тем не менее в таком случае это фиксированное выделение LSB-битов должно передаваться на сторону декодера, чтобы предоставлять надлежащее извлечение служебных данных 202 из сжатого аудиосигнала 204 на стороне декодера.

Дополнительный аспект изобретения заключается в способе извлечения служебных данных из входного сжатого аудиосигнала, отличающемся тем, что служебные данные извлекаются из LSB-битов, по меньшей мере, одной подполосы частот входного сжатого аудио. В основном, способ извлечения является обратным способом для способа встраивания. На основе выделения LSB-битов, фиксированного или адаптивного, служебным данным служебные данные обнаруживаются и извлекаются из входного сжатого аудио, в которое служебные данные встроены согласно настоящему изобретению.

Предпочтительные варианты осуществления для способа встраивания служебных данных в сжатый аудиосигнал также являются применимыми к способу извлечения служебных данных из входного сжатого аудиосигнала.

Фиг.5 схематично показывает пример устройства 300 извлечения для извлечения служебных данных 302 из входного сжатого аудиосигнала 304. Входной сжатый аудиосигнал 304 соответствует сжатому аудиосигналу 204, который модифицируется так, что он имеет служебные данные 202, встраиваемые в LSB-биты, по меньшей мере, в одной подполосе частот сжатого аудиосигнала 201. Устройство 300 извлечения содержит схему 310 извлечения выделения для извлечения выделения LSB-битов служебным данным 302. Выделение, определенное посредством схемы 310 извлечения выделения, предоставляется в схему 320 извлечения, которая извлекает на основе этого выделения служебные данные 302 из входного сжатого аудиосигнала 304.

Должно быть очевидным, что когда выделение LSB-битов является фиксированным, схема 310 извлечения выделения является избыточной и необязательно должна содержаться в устройстве 300 извлечения. Тем не менее в таком случае это фиксированное выделение LSB-битов должно передаваться на сторону устройства извлечения, чтобы предоставлять надлежащее извлечение служебных данных 302 из входного сжатого аудиосигнала 304.

Фиг.6 показывает пример декодера 700 для декодирования входного сжатого аудиосигнала 304, содержащего устройство извлечения согласно изобретению. Декодер 700 содержит устройство 300 извлечения для извлечения служебных данных. Дополнительно, декодер 700 содержит первый декодер 400 для декодирования входного сжатого аудиосигнала и схему 500 обработки для комбинирования выходного сигнала 301 первого декодера 400 и служебных данных 302. В частности, схема 500 обработки может содержать второй декодер, который декодирует выходной сигнал 301 первого декодера 400 и служебные данные 302 в многоканальный аудиосигнал, бинауральный аудиосигнал или любой другой подходящий аудиосигнал. Примером первого декодера 400 является SBC-декодер. Примером второго декодера 500 является декодер на основе объемного звучания MPEG. Второй декодер принимает моно- или стереосигнал 301 и данные 302 объемного звучания MPEG. Он затем подготавливает посредством рендеринга моно- или стереосигнал 301 в многоканальный сигнал 620 или бинауральный аудиосигнал 610, как установлено посредством данных объемного звучания MPEG. Данные объемного звучания MPEG предпочтительно рандомизируются перед встраиванием в качестве служебных данных в сжатый аудиосигнал. Рандомизация данных объемного звучания MPEG предписывается в разделе 7.3.4.2 ISO/IEC 23003-1:2007, "MPEG Surround".

Настоящее изобретение также может применяться к транскодированию, например, транскодированию из HE-AAC/объемного звучания MPEG, при котором данные объемного звучания MPEG встраиваются в поток битов с использованием так называемого канала служебных данных, в SBC/объемное звучание MPEG, при этом данные объемного звучания MPEG встраиваются с использованием настоящего изобретения.

Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не имеет намерение быть ограниченным конкретной изложенной в данном документе формой. Вместо этого объем настоящего изобретения ограничен только посредством прилагаемой формулы изобретения. Дополнительно, хотя предположительно признак описывается в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретения термин "содержащий" не исключает наличия других элементов или этапов.

Более того, хотя перечислены по отдельности, множество схем, элементов или этапов способа могут быть реализованы посредством, к примеру, одного блока или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть преимущественно комбинированы, и их включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков является невыполнимой и/или преимущественной. Также включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориям пунктов формулы изобретения по мере необходимости. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на "первый", "второй" и т.д. не исключают множественность. Номера ссылок в формуле изобретения предоставлены просто в качестве поясняющего примера и не должны истолковываться как ограничивающие объем формулы изобретения каким-либо образом. Изобретение может быть реализовано посредством схемы аппаратных средств, содержащих несколько различных элементов, и посредством схемы надлежащим образом запрограммированного компьютера или другого программируемого устройства.