СПОСОБ И УСТРОЙСТВО ДЛЯ ОПРЕДЕЛЕНИЯ НАЛИЧИЯ ЭТАЛОННОГО ОБРАЗЦА В ПРИНИМАЕМОМ СИГНАЛЕ, КОТОРЫЙ ВОЗМОЖНО МАРКИРОВАН ВОДЯНЫМ ЗНАКОМ

Область техники

Настоящее изобретение предлагает способ и устройство для определения того, присутствует ли какой-нибудь эталонный образец в принимаемом сигнале, который, возможно, маркирован водяным знаком, с помощью корреляции и выявления пика корреляционных результатов.

Уровень техники

Водяной знак (ВЗ) в аудио- или видеосигнале может быть обнаружен при приеме или декодировании сигнала с помощью корреляции, как описано, например, в патентных документах WO 2007/031423, WO 97/33391 (US 6584138 B1) или US 6061793.

Многие системы маркировки ВЗ используют корреляцию для вычисления показателя обнаружения. Это означает, что на стороне кодера генерируется несколько псевдослучайных последовательностей или эталонных образцов, и один или несколько из них встраиваются в контент (например, аудио- или видеосигнал), в зависимости от сообщения, которое необходимо встроить. На стороне декодера генерируются те же псевдослучайные последовательности. Кодирование и декодирование встроенного сообщения может выполняться с помощью частотного преобразования. Для декодирования встроенного сообщения необходимо определить, какая псевдослучайная последовательность или последовательности была встроена на стороне кодера. В описываемых системах это делается с помощью корреляции известных псевдослучайных последовательностей с контентом, предположительно содержащим ВЗ, причем корреляция может выполняться с контентом, прошедшим предварительную обработку, которая может включать в себя обратное частотное преобразование, формирование спектра и/или отбеливание.

Каждый встроенный эталонный образец может представлять один бит встроенного сообщения. Существуют системы ВЗ-маркировки, в которых каждый встроенный эталонный образец представляет два или более бит встроенного сообщения.

WO 2005/078658 предлагает выполнять оценку кластеров корреляционных результатов, где каждый кластер содержит результаты вблизи некоторого корреляционного пика, превышающие заданный порог обнаружения.

Анализируя величины корреляционных результатов, ВЗ-детектор решает, была ли встроена в сигнал некоторая заданная псевдослучайная последовательность.

В PCT/US2007/014037 описывается усовершенствованный способ принятия решения, в котором вычисление относительных значений корреляционных результатов уменьшает частоту ложного обнаружения (false positive rate), т.е. вероятность принять немаркированный контент за маркированный. Предполагается, что этот способ хорошо работает даже при изменениях ВЗ-маркированного контента, например при использовании перцепционного кодирования, применяемого, в частности, в аудиоформатах mp3, AAC, WMA, AC-3, MPEG.

Сущность изобретения

Однако такой способ принятия решения не дает правильных результатов в случаях, когда, например, маркированный аудиосигнал передается динамиком и затем принимается микрофоном. Это происходит, например, при пиратской записи во время киносеанса или при измерениях аудитории какой-нибудь программы вещания с использованием стационарных или мобильных ВЗ-детекторов. Записанный контент содержит эхо и реверберацию, при которых существующие способы обнаружения маркировки не дают правильных результатов.

Задача, решаемая настоящим изобретением, состоит в увеличении надежности корреляционных систем обнаружения ВЗ-маркировки при наличии эха и реверберации. Способ решения этой задачи раскрыт в пункте 1 формулы настоящего изобретения. В пункте 2 формулы раскрывается устройство, использующее указанный способ.

В соответствии с настоящим изобретением, эхо-сигналы принимаемого сигнала обрабатываются не как шум, а как дополнительный источник информации. Результат обнаружения водяного знака (ВЗ) улучшается с помощью разделения шума и эхо-сигналов и включения корреляционных значений эхо-сигналов в основной пик корреляции. Основной принцип состоит в суммировании значений амплитуды корреляционных результатов, находящихся в заданной окрестности пикового значения амплитуды корреляционного результата и превышающих заданный порог.

В изобретении рассматриваются эталонные образцы r, каждый из которых представляет один бит встроенного сообщения или два или более бит. Эталонные образцы r ортогональны друг другу. Изобретение дает следующие преимущества:

- надежность (обнаружения) встроенного ВЗ увеличивается без уменьшения качества ВЗ-маркированного аудиосигнала;

- известные системы обработки ВЗ могут быть оптимизированы без изменения процесса внедрения ВЗ при кодировании сигнала;

- поскольку изобретение касается только обнаружения ВЗ и не касается его встраивания, существующие системы обработки ВЗ могут быть улучшены без необходимости перемаркировки уже маркированного контента;

- оптимизация в соответствии с данным изобретением может быть применена к любой системе маркировки ВЗ, использующей корреляцию в качестве показателя обнаруживаемости.

По существу, настоящее изобретение предлагает способ определения присутствия или отсутствия эталонного образца в принятом, возможно, ВЗ-маркированном сигнале, причем по меньшей мере один возможный эталонный образец, возможно соответствующий упомянутому эталонному образцу, коррелируется с упомянутым принятым ВЗ-маркированным сигналом и проверяются пики амплитуды результата корреляции, причем способ содержит следующие этапы:

- для текущей части упомянутого принятого сигнала вычисляют корреляцию с каждым из упомянутых эталонных образцов;

- среди значений амплитуды вычисленной корреляции находят такие группы значений, в каждой из которых имеется абсолютное значение для амплитудного значения результатов текущей корреляции, называемое главным пиком, по абсолютной величине превосходящее первый порог и при этом превосходящее абсолютные значения для амплитудных значений результатов корреляции, соседствующих справа и слева с этим главным пиком;

- в заданной окрестности каждого из упомянутых главных пиков находят дополнительные пики, каждый из которых по абсолютному значению амплитуды вычисленной корреляции превосходит второй порог, меньший упомянутого первого порога, и при этом превосходит абсолютные значения, соседствующих справа и слева с этим дополнительным пиком;

- для каждой из упомянутых групп значений комбинируют абсолютные значения упомянутого главного пика и упомянутых дополнительных пиков, получая суммарное значение для данной группы;

- для каждого из упомянутых эталонных образцов определяют максимальное значение среди упомянутых суммарных значений для упомянутых групп, и если наибольшее из этих максимальных значений превосходит некоторый заданный или переменный порог, то эталонный образец считают присутствующим в принятом сигнале.

По существу, настоящее изобретение предлагает устройство для определения присутствия или отсутствия эталонного образца в принятом сигнале, который, возможно, ВЗ-маркирован, причем по меньшей мере один возможный эталонный образец, возможно соответствующий упомянутому эталонному образцу, коррелируется с упомянутым принятым ВЗ-маркированным сигналом и проверяются пики амплитуды результата корреляции, причем устройство содержит:

- средство, способное для текущей части упомянутого принятого сигнала вычислять его корреляцию с каждым из упомянутых эталонных образцов;

- средство, способное находить среди значений амплитуды вычисленной корреляции такие группы значений, в которых имеется абсолютное значение для амплитудного значения результата текущей корреляции, называемое главным пиком, по абсолютной величине превосходящее первый порог, и при этом превосходящее абсолютные значения, соседствующие справа и слева с этим главным пиком;

и, способное находить в заданной окрестности каждого из упомянутых главных пиков дополнительные пики, каждый из которых по абсолютному значению для амплитудного значения результата текущей корреляции превосходит второй порог, меньший упомянутого первого порога, и при этом превосходит абсолютные значения, соседствующих справа и слева с этим дополнительным пиком;

- средство, способное комбинировать для каждой из упомянутых групп значений абсолютные значения упомянутого главного пика и упомянутых дополнительных пиков, получая суммарное значение для данной группы;

- средство, способное находить для каждого из упомянутых эталонных образцов максимальное значение среди суммарных значений для упомянутой группы, и если наибольшее из этих максимальных значений превосходит заданный или переменный порог, то определять, что соответствующий эталонный образец присутствует в принятом сигнале.

Дополнительные преимущества настоящего изобретения, описанные в соответствующих вариантах его реализации, раскрыты в соответствующих зависимых пунктах формулы настоящего изобретения.

Краткое описание чертежей

Примеры вариантов реализации настоящего изобретения описаны со ссылками на прилагаемые чертежи, на которых:

Фиг.1 показывает значения корреляции, вычисленные на стороне декодера для принятого сигнала с мягко поврежденным контентом.

Фиг.2 показывает значения корреляции, вычисленные на стороне декодера для принятого сигнала, переданного динамиком и принятого микрофоном.

Фиг.3 показывает блок-схему выполнения способа согласно настоящему изобретению.

Фиг.4 показывает блок-схему вычисления максимума пиковых суммарных значений.

Фиг.5 показывает распределение амплитуд значений корреляции во временной области согласно способу настоящего изобретения.

Примеры вариантов реализации

Как указывалось выше, многие системы ВЗ-маркировки используют корреляцию на основе обнаружения, согласно которому на стороне кодера генерируется, или выбирается в памяти, некоторое количество псевдослучайных последовательностей, представляющих значение длиной в один бит или слово, и одна или более из этих последовательностей встраивается в контент или сигнал (например, аудио- или видеосигнал) в зависимости от сообщения, которое необходимо встроить (например, битов водяного знака). Те же псевдослучайные последовательности генерируются или выбираются в памяти на стороне декодера. Для декодирования встроенного сообщения требуется определить, какие псевдослучайные последовательности были встроены в принятый контент или сигнал. Это делается при помощи корреляции известных псевдослучайных последовательностей с принятым контентом или сигналом, возможно прошедшим предварительную обработку. В зависимости от величин амплитуды значений корреляции, декодер или детектор приемника решает, была ли встроена данная последовательность.

Сигнал или последовательность x длины N будем обозначать как x=(x(1), x(2), x(3),…, x(N)), где x(n) есть n-е значение сигнала или последовательности x. Если сигнал x и псевдослучайный эталонный образец r уже синхронизированы, то нормализованное значение C корреляции может быть получено как

где Sum_(i=1..N) обозначает сумму по всем i от 1 до N, N есть длина сигнала x и последовательности r, i есть номер значения, и ||..|| обозначает эвклидову норму. Эвклидова норма определяется как

Чем больше абсолютное значение C, тем выше вероятность того, что текущий эталонный образец r встроен в сигнал x. Отрицательное значение C означает, что эталонный образец r между этапом ее внедрения в x и этапом извлечения из x поменял знак на противоположный.

Обычно, однако, x и r не синхронизированы. В этом случае нормализованные значения корреляции для различных сдвигов τ = 1,2,3,…,N (иногда называемых «корреляционной задержкой») вычисляются как

Для этого типа вычислений имеются быстрые алгоритмы, использующие FFT (быстрое преобразование Фурье).

Соответствующий сдвиг τ между сигналом x и данной эталонной последовательностью r вычисляется путем нахождения такого сдвига, при котором значение C(τ) максимально.

Фиг.1 показывает значения корреляции C(τ=0), вычисленные на стороне декодера для принятого сигнала x с мягко поврежденным контентом. Горизонтальная ось показывает позиции выборки, а вертикальная - амплитуды значений корреляции. Четко просматривается пик с высокой амплитудой в позиции 0 по горизонтальной оси.

PCT/US2007/014037 предлагает использовать разность или отношение между самым высоким и следующим по величине нормализованным значением корреляции, чтобы сделать обнаружение водяного знака более надежным.

Однако простое нахождение максимального значения C(τ) не работает в случае, если принятый сигнал или контент передавался акустическому каналу; соответствующие результаты корреляции декодера показаны на фиг.2. Пик амплитуды, хорошо видный на фиг.1, здесь гораздо ниже и распределен по времени из-за наличия эха и реверберации. Случается даже, что пик, указывающий на наличие и сдвиг эталонного сигнала r, ниже пика, образованного помехами в принятом сигнале.

Способ настоящего изобретения работает следующим образом, где k есть номер текущего псевдослучайного эталонного образца или последовательности r:

a) для текущей части принятого сигнала x вычисляют, как описано выше, его корреляцию C_k(τ) для каждого эталонного сигнала r_k, возможно после улучшения аудиосигнала или эталонного сигнала соответствующими методами обработки сигналов, например фильтрацией и/или отбеливанием;

b) для каждой коррекции C_k(τ) определяют наибольшее суммарное пиковое значение (среди групп пиков);

c) либо прямо используют найденное суммарное пиковое значение как величину корреляции, либо делят наибольшее суммарное пиковое значение на следующее по величине суммарное пиковое значение и используют полученный результат как меру интенсивности обнаружения, как описано в PCT/US2007/014037;

d) заключают, что водяной знак или эталонный образец присутствует в сигнале, если одно из k суммарных пиковых значений превосходит заданный или переменный порог, и переходят к следующей части принятого сигнала x (расстояния между эталонными образцами на стороне приемника/декодера известны).

Для всех возможных псевдослучайных эталонных последовательностей k суммарное пиковое значение sum_max,k корреляции вычисляется следующим образцам (где m есть номер группы пиков корреляции):

m_k=0.

Для всех амплитудных значений C_k(τ), найти группы значений, удовлетворяющие условию abs(C_k(τ))>thr₁ AND abs(C_k(τ))>abs(C_k(τ-1)) AND abs(C_k(τ))>abs(C_k(τ+1)) (такие амплитудные значения C_k(τ) можно назвать главными пиками),

выполнить

m_k=m_k+1;

sum_k(m)=0.

Для всех значений y в m_k-й группе, таких что (τ_m,k-t₁)≤y≤(τ_m,k+t₂)

выполнить

если abs(C_k(y))>thr₂ AND abs(C_k(y))>abs(C_k(y-1)) AND abs(C_k(y))>abs(C_k(y+1)),

выполнить

sum_k(m)=sum_k(m)+peak_sum_k(y).

Найти максимум sum_max,k=max(1≤n≤m) sum_k(n) значений sum_k(n) по всем группам.

Значение peak_sum_k(y) определяется ниже. Максимальная сумма sum_max,k есть упомянутое выше суммарное пиковое значение для k-го возможного эталонного образца. Для других k-х возможных эталонных образцов могут найтись свои максимальные суммы. Если наибольшая из этих максимальных сумм превышает заданный или переменный порог thr₀, то принимается решение, что соответствующий водяной знак или эталонный образец (или псевдослучайная эталонная последовательность) с соответствующим индексом k присутствует в принятом сигнале. Порог thr₀ больше порога thr₁.

Поскольку каждый встроенный эталонный образец, представляет, например, только один бит встроенного сообщения и расстояния между этими эталонными образцами известны на стороне приемника/декодера, необходимо определить правильную позицию τ (в принимаемом сигнале x) k-й псевдослучайной эталонной последовательности, выбранной на стороне кодера, чтобы определить следующую часть предположительно ВЗ-маркированного контента для декодирования следующих одного или двух или более бит встроенного сообщения.

Для того чтобы еще более четко выделить суммарное пиковое значение из шума, суммарный пик peak_sum_k в точке y можно вычислить следующим образом:

Как показывает распределение амплитуд значений корреляции в области τ, изображенное на фиг.5, порог thr₁ используется для поиска доминирующего или наибольшего пика 51, 54 в каждой группе m. Показаны группы m₁ и m₂ с доминирующим пиком 51 в группе m₁, расположенным в τ₁, и доминирующим пиком 54 в группе m₂, расположенным в τ₂. Порог thr₂ меньше порога thr₁; он используется для поиска меньших, но тем не менее значащих пиков 52, 53, 55, 56 (которые могут образоваться в результате эха) в окрестности доминирующего пика. Пороги thr₃ и thr₄ (не изображены) относятся к уровням шумов. Порог thr₄ представляет сдвиг, вызванный шумом. Если можно произвести оценку уровня шума, порог thr₄ может быть вычислен с большей точностью. Порог thr₃ - это дополнительный порог для различения между пиками и шумом, т.е. для выделения пиков из шума, причем thr₃≥thr₄. В отсутствие шума thr₃=thr₄=0.

Значения C_k(y) в точках интервала y-t₃<y<y+t₃ и близкие к C_k(y) могут с успехом быть использованы для увеличения суммарного пикового значения, чтобы усилить его отличие от «пиков шума».

Пороги thr₁, thr₂, thr₃, thr₄, амплитуды и интервалы t₁, t₂, t₃, t₄ выборки могут подбираться в зависимости от параметров эха и реверберации в конкретном приложении. Симметричный интервал ±t₃ может также быть заменен на несимметричный (-t₃ … +t₄) или (-t₄ … +t₃). Далее, суммировать можно только такие значения C_k(y) в интервале y-t_3или4<y<y+t_3или4, которые по амплитуде меньше амплитуды соответствующего пика не более чем на заданную разницу.

В декодере водяных знаков на фиг.3 принятый кодированный сигнал x принимается на шаге или этапе 31. На шаге или этапе 32 может быть выполнена его предварительная обработка, например формирование спектра или отбеливание. На шаге или этапе 33 вычисляется корреляция результирующего выходного сигнала с одним или несколькими эталонными образцами r. На шаге или этапе 34 вычисляется суммарное пиковое значение, как описано выше. В результате на шаге или этапе 35 определяется, какой из псевдослучайных эталонных образцов была встроен в сигнал x на стороне кодера, и выдается соответствующий символ данных водяного знака.

Фиг.4 иллюстрирует более подробно вычисление максимального суммарного пикового значения на шаге или этапе 34, как описано выше. Первым шагом 41 может быть инициализация поиска пика. В следующем цикле выполняется поиск пиков и вычисление промежуточных суммарных пиковых значений, соответственно на шагах 42 и 43. По завершении цикла на шаге 44 определяется максимальное из всех промежуточных суммарных пиковых значений и выдается как максимальное суммарное пиковое значение sum_max,k.

Перед выдачей окончательного вывода о присутствии соответствующих эталонных образцов в принимаемом сигнале при условии, что наибольшее из максимальных суммарных пиковых значений превышает порог thr₀, несколько декодированных бит встроенного сообщения могут быть пропущены через процедуру корректировки ошибок.

Настоящее изобретение применимо во всех областях техники, где корреляция может быть нарушена чем-то наподобие эха и реверберации, например при декодировании ВЗ-маркированного видеосигнала, который был перцепционно кодирован.