Результат интеллектуальной деятельности: СПОСОБ ОБНАРУЖЕНИЯ ПЕРИОДИЧЕСКИХ ТЕКСТУР

Область техники, к которой относится изобретение

Настоящее изобретение относится к области цифрового видео и обработки изображений и, в частности, к способу обнаружения периодических (повторяющихся) текстур.

Уровень техники

Способы оценки движения, используемые при сжатии, преобразовании частоты кадров, подавлении шума, устранении чересстрочности и преобразовании формата, как правило, основываются на методе сопоставления блоков, в котором для части изображения (как правило, прямоугольного блока) в опорном кадре находят часть такого же размера в целевом кадре таким образом, чтобы обеспечить минимальное различие между пикселями этих частей. Такое соответствие объясняется движением или, иными словами, вектором смещения, выбранным среди нескольких возможных векторов.

В случае нерегулярных текстур на естественном изображении, поверхность ошибки согласования, построенная для всех возможных смещений, имеет один четкий минимум, что делает возможным применение метода сопоставления блоков для оценки движения. Повторяющиеся текстуры, вне зависимости от того, были ли они синтезированы средствами компьютерной графики или имеют естественное происхождение, имеют поверхность ошибки согласования, построенную для всех возможных смещений, которая имеет несколько минимумов. В этом случае алгоритмы оценки движения на основе сопоставления блоков не способны различить между верными векторами движения и векторами движения, кратными периоду текстуры.

В US 8243161 B2 предложен способ обнаружения периодических текстур, основанный на вычислении разностей между опорными пикселями и пикселями, отдаленными от опорных на k пикселей для множества возможных расстояний k. Устройство сравнения на основании вычисленных разностей решает, относится ли определенный пиксель к повторяющейся текстуре. Заявлено, что данный способ может определять горизонтальные и вертикальные полосы. Но он не предназначен для определения двухмерных повторяющихся структур.

US 8223831 B2 раскрывает способ обнаружения периодических текстур, основанный на вычислении преобразования Фурье для пикселей, находящихся внутри определенного окна. Данный способ включает в себя анализ спектра преобразования Фурье для обнаружения максимума. Цель анализа - установить, указывает ли соответствующий максимум на наличие в изображении периодической текстуры. Поиск максимума осуществляется для горизонтального и вертикального спектров мощности. При наличии выраженного максимума анализатор спектра определяет, превышает ли отношение величины этого максимума к общей энергии спектра мощности некое предопределенное пороговое значение. Результатом работы системы обнаружения периодических текстур является логическое значение «истина» или «ложь». Это значение передается блоку интерполяции устройства повышения частоты кадров, которое формирует выходной пиксель, смешивая пиксель из предыдущего кадра и пиксель, полученный при помощи интерполяции с учетом движения. При этом для значения «истина», соответствующего наличию периодической текстуры, вес пикселя из предыдущего кадра увеличивается. Однако у данного способа есть несколько недостатков:

- в случае высокой общей яркости и низко-контрастной периодической текстуры, способ не сможет определить периодическую текстуру в связи с тем, что отношение максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение;

- в случае наличия тренда, т.е. четко просматривающегося направления изменения яркости (например, в случае с постепенным изменением освещенности) способ не сможет определить периодическую текстуру в связи с тем, что отношение максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение;

- в случае наличия более одного доминирующего направления периодичности, энергия делится между несколькими максимумами спектра мощности, что может являться причиной того, что отношение максимального локального максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение, и наличие периодической текстуры не определится;

- в случае неярко выраженных (размытых) пиков, соответствующих периодической текстуре, энергия делится между несколькими соседними точками, и, таким образом, отношение максимального локального максимума спектра мощности, соответствующего периодической текстуре, к общей энергии спектра мощности не превысит пороговое значение, и наличие периодической текстуры не определится.

В US 8253854 B2 представлен механизм обработки изображения, состоящий из системы преобразования частоты кадров, управляемой устройством определения периодических текстур. Обнаружение повторяющейся текстуры выполняется за счет анализа автокорреляционной функции, которая может быть вычислена как скалярное произведение блока пикселей и сдвинутой копии этого блока. Посредством одномерного преобразования Фурье автокорреляционной функции вдоль горизонтальных, вертикальных или диагональных направлений и анализа количества и положения локальных максимумов абсолютной величины результата этого преобразования, получают векторы периодичности, характеризующие период и направление текстуры. В данной публикации рассматриваются только горизонтальные, вертикальные или диагональные возможные направления периодичности. Данное известное решение в основном фокусируется на том, каким образом результаты детектирования могут быть использованы при оценке движения, однако не раскрывает, как именно производится анализ спектра мощности автокорреляционной функции для получения направлений периодичности.

С точки зрения программной реализации, два последних способа довольно дороги по вычислительным затратам, поскольку требуют вычисления преобразования Фурье для каждого блока изображения, даже в случае, если отсутствие периодической текстуры можно легко обнаружить с помощью более простого подхода.

Настоящее изобретение направлено на создание способа обнаружения периодических текстур, преодолевающего по меньшей мере некоторые проблемы вышеописанного предшествующего уровня техники и позволяющего достичь следующих результатов:

- возможность определения периодических текстур низкого контраста;

- возможность определения периодических текстур при наличии градиента освещенности;

- возможность определения периодических текстур, имеющих более одного доминирующего направления;

- возможность обнаружения периодических текстур в случае нечетких максимумов спектра мощности;

- возможность предоставления точной информации о направлениях периодичности и величинах периодов, которая может быть использована для улучшения поля вектора движения, как это описано в US 8253854 B2;

- более низкие вычислительные затраты в случае программной реализации за счет вычисления преобразования Фурье только для предварительно выбранных блоков.

Сущность изобретения

Вышеуказанные результаты достигаются тем, что предложен способ обнаружения периодических текстур на изображении, содержащий этапы предварительной обработки изображения, причем этап предварительной обработки включает в себя: выявление областей с постоянной яркостью (областей, не содержащих текстуры), детектирование малоинформативных областей (т.е. областей, в которых локальные изменения яркости хорошо объясняются линейной регрессией и также не являются текстурой), компенсацию тренда и удаление выявленных областей с постоянной яркостью и малоинформативных областей для получения блоков изображения, потенциально содержащих периодические текстуры; и обнаружения периодических текстур в блоках изображения, потенциально содержащих периодические текстуры, причем этап обнаружения периодических структур в блоках изображения, потенциально содержащих периодические текстуры, включает в себя: нормализацию блоков изображения, вычисление спектра мощности, анализ свойств локальных максимумов спектра мощности, определение наличия периодических или квазипериодических текстур, оценку количества доминирующих направлений, оценку их ориентации и периодов доминирующих направлений для областей, в которых обнаружены периодические или квазипериодические текстуры. Следует отметить, что компенсация тренда и нормализация изображения осуществляются до этапа анализа спектра мощности, что отличает предложенный способ от уже известного уровня техники.

Согласно варианту осуществления, блок нормализуется так, чтобы среднее значение стало равно нулю, а среднеквадратичное отклонение равно единице.

Согласно варианту осуществления, спектр мощности вычисляют как абсолютное значение двумерного преобразования Фурье.

Блоки изображения, которые хорошо аппроксимируются плоскостью, отмечают как малоинформативные, а изображение с удаленным трендом вычисляют как разность между результатами морфологических преобразований «верх шляпы» и «дно шляпы» (смотрите [1-2]).

Согласно варианту осуществления, на этапе обнаружения периодических текстур в блоках изображения, потенциально содержащих периодические текстуры, вычисление спектра мощности и анализ свойств локальных максимумов вычисленного спектра мощности выполняют путем вычисления суммарной энергии спектра мощности, порогового преобразования спектра мощности путем приравнивания нулю спектральных коэффициентов, абсолютная величина которых ниже предварительно заданного порогового значения, выполнения для спектра мощности преобразования «расширенный максимум», при котором локальные максимумы, расстояние между которыми меньше предопределенного порогового значения, объединяются в один, и для центра каждого «объединенного» максимума вычисляют общую мощность и среднеквадратичное отклонение спектральных коэффициентов, относящихся к этому «объединенному» максимуму. При определении наличия периодических или квазипериодических текстур, если «объединенные» максимумы находятся дальше предопределенного порогового значения от начала координат и имеют небольшие среднеквадратичные отклонения спектральных коэффициентов, относящихся к этому максимуму, то упомянутые объединенные максимумы обозначают как потенциально относящиеся к периодическим текстурам, и, если общая энергия спектральных коэффициентов, обозначенных как потенциально относящиеся к повторяющимся текстурам, превышает общую спектральную мощность блока изображения, умноженную на первое заданное пороговое значение, и превышает спектральную мощность блока изображения после порогового преобразования, умноженную на второе заданное пороговое значение, то соответствующий блок изображения обозначают как содержащий периодическую текстуру.

Согласно варианту осуществления, спектр мощности блока изображения, обозначенного как содержащий периодическую текстуру, анализируют сектор за сектором с малым угловым шагом для обнаружения всех направлений повторяющейся текстуры.

Краткое описание чертежей

Вышеуказанные и другие признаки настоящего изобретения станут более понятны при обращении к последующему описанию, формуле изобретения и сопроводительным чертежам, где:

фиг.1 иллюстрирует спектр мощности для повторяющихся текстур с одним доминирующим направлением;

фиг.2 иллюстрирует спектр мощности для повторяющихся текстур с двумя доминирующими направлениями;

фиг.3 иллюстрирует спектр мощности для непериодических текстур;

фиг.4 иллюстрирует одномерные периодические сигналы с трендом и без тренда;

фиг.5 иллюстрирует абсолютное значение преобразования Фурье одномерного периодического сигнала с трендом и без тренда;

фиг.6 является блок-схемой последовательности операций способа обнаружения повторяющихся текстур, соответствующего изобретению;

фиг.7 представляет пример классификации типов текстур изображения;

фиг.8 иллюстрирует удаление тренда морфологическими операциями;

фиг.9 иллюстрирует морфологическую операцию «верх шляпы»;

фиг.10 иллюстрирует морфологическую операцию «дно шляпы»;

фиг.11 представляет собой пример результата удаления тренда;

фиг.12 представляет анализ спектра мощности: исходный блок изображения (а), нормализованный серошкальный блок изображения (b), спектр мощности (с), спектр мощности после порогового преобразования (d), спектр мощности после порогового преобразования и преобразования «расширенный максимум» (e);

фиг.13 представляет собой пример результатов обнаружения периодической текстуры;

фиг.14 представляет собой пример результатов обнаружения периодической текстуры.

Осуществление изобретения

Некоторые варианты осуществления настоящего изобретения будут подробно описаны ниже со ссылкой на сопроводительные чертежи.

Наличие периодических текстур и их ориентацию определяют при помощи анализа спектра мощности. Максимумы спектра мощности могут указывать на наличие периодических текстур. На фиг.1 представлен спектр мощности для периодических текстур с одним доминирующим направлением, на фиг.2 - для периодических текстур с двумя доминирующими направлениями, а на фиг.3 - для непериодических текстур. Количество максимумов зависит от количества доминирующих направлений. Расположение данных максимумов в частотной плоскости зависит от периода текстуры и ориентации ее доминирующих направлений периодичности.

Энергия спектра мощности непериодических текстур сосредоточена в области низких частот, что соответствует медленным изменениям яркости. Спектральные коэффициенты могут также постепенно уменьшаться с ростом частоты, что соответствует шумоподобным текстурам. Максимумы в спектре подобных текстур почти отсутствуют, или их величина относительно низка по сравнению с общей мощностью сигнала.

Периодические текстуры определяются при помощи следующих свойств спектра мощности:

- расстояние от расположения максимума до начала координат превышает заданное пороговое значение;

- площадь максимума (если он размыт) сравнительно небольшая;

- мощность, сосредоточенная во всех выраженных локальных максимумах, сравнительно высока.

Для того чтобы обеспечить точное обнаружение периодических текстур даже в случае очень низкой контрастности, участки с постоянной яркостью и низкой информативностью (малоинформативные) удаляются в ходе предварительной обработки. Это позволяет использовать очень низкие пороговые значения. Более того, в случае программной реализации алгоритма это позволяет снизить вычислительные затраты. Текстуры с плавным изменением яркости, вызванным, например, постепенным изменением освещенности, считаются малоинформативными. Эти текстуры имеют следующие свойства:

- двумерная функция яркости изображения может быть описана плоскостью в пределах окна, размер которого превышает максимальный период обнаруживаемой периодической текстуры;

- угол между данной плоскостью и горизонтальной плоскостью относительно невелик (большие значения соответствуют границам объектов);

- яркость анализируемого фрагмента может быть искажена шумом со среднеквадратичным отклонением в 2-3 градации яркости.

Перед проведением анализа спектра мощности блока также производится удаление тренда. Тренд в яркости изображения может появляться при изменении освещенности. Следствием этого может быть то, что алгоритм оценки движения учитывает изменение освещенности, а не смещение текстуры. На фиг.4 представлен одномерный периодический сигнал с трендом и без тренда, а на фиг.5 изображено абсолютное значение преобразования Фурье данных сигналов. Видно, что наличие тренда затрудняет анализ периодичности сигнала. Период и ориентация текстуры определяются на основе анализа локальных максимумов спектра мощности.

Как показано на фиг.6, в способе обнаружения периодической текстуры, применяемом к входному изображению 12-1, на этапе 12-05 выполняется предварительная обработка, включающая в себя подэтап 12-02 выявления областей с постоянной яркостью, подэтап 12-03 определения малоинформативных областей и подэтап 12-04 компенсации тренда. Затем, на этапе 12-11 выполняется обнаружение периодической текстуры во всех областях изображения, за исключением малоинформативных областей, включающее в себя подэтап 12-06 нормализации изображений, подэтап 12-07 вычисления спектра мощности, подэтап 12-08 анализа свойств локальных максимумов спектра мощности, подэтап 12-09 определения наличия периодических или квазипериодических текстур и подэтап 12-10 оценки количества доминирующих направлений и их ориентации, а также их периодов для областей, в которых обнаружены периодические или квазипериодические текстуры.

В предпочтительном варианте осуществления способа обнаружения периодической текстуры, определение областей с постоянной яркостью (подэтап 12-02 на фиг.6) выполняется следующим образом:

- Локальное среднеквадратичное отклонение D_3×3 вычисляется как

D_3×3(i,j)=(z(i,j)-m_3×3(i,j))²*h_3×3

где

z(i,j) является яркостью пикселя с координатами (i,j),

m_3×3(i,j) является средней яркостью значений пикселей, вычисленной в окрестности 3×3,

h_3×3 является сглаживающим ядром оператора свертки,

и * - оператор свертки.

- Если локальное среднеквадратичное отклонение D_3x3 ниже заранее определенного порогового значения, то пиксель обозначается как принадлежащий области с постоянной яркостью.

- Выполняется анализ связанных компонентов для областей, отмеченных как обладающие постоянной яркостью, при этом небольшие компоненты связности, площадь которых меньше определенного порогового значения, маркируются как не имеющие постоянную яркость. Отверстия внутри областей, отмеченные как имеющие постоянную яркость, площадью меньше определенного порогового значения, обозначаются как имеющие постоянную яркость.

Использование среднеквадратичного отклонения в качестве основной метрики позволяет добиться независимости от конкретного уровня яркости.

В предпочтительном варианте осуществления способа определения периодических текстур, определение малоинформативных областей (подэтап 12-03 на фиг. 6) осуществляется, как представлено ниже. Яркость внутри окна аппроксимируется плоскостью

A⋅i+B⋅j+C⋅z(i,j)+D=0

где z(i,j) является яркостью пикселя с координатами (i,j),

А, В, С - неизвестные коэффициенты, которые находятся при помощи минимизации квадрата функции ошибки:

где , , - средние значения соответствующих значений внутри окна размера N.

Оценка параметра отклонения D вычисляется как

Косинус угла между данной плоскостью и горизонтальной плоскостью может быть найден как

где оценки , , неизвестных коэффициентов А, В, С получены как три элемента собственного вектора матрицы М:

соответствующего минимальному собственному числу. Здесь var(·) обозначает среднеквадратичное отклонение, а cov(·) - ковариационный момент. Погрешность аппроксимации оценивается следующим образом:

Если косинус угла между данной плоскостью и горизонтальной плоскостью большой (близок к единице), и погрешность аппроксимации низкая, то блок относится к текстуре с плавным изменением яркости. На фиг.7 представлен пример определения малоинформативных областей и областей с постоянной яркостью, которые были получены в соответствии с процедурой, представленной выше. Области с постоянной яркостью отмечены ссылочным номером 1, области с низким уровнем контрастности и низким среднеквадратичным отклонением после удаления тренда обозначены ссылочным номером 2, малоинформативные области с плавным изменением яркости обозначены ссылочным номером 3, а области, которые могут содержать периодические текстуры, обозначены ссылочным номером 4.

Следующим этапом обработки является удаление (компенсация) тренда. В предпочтительном варианте осуществления способа определения периодических текстур удаление тренда (подэтап 12-04 на фиг.6) осуществляется по формуле z_TR=z_t-z_b (на фиг.8 представлен одномерный пример), где z_t=z-z₀ представляет морфологические операции «верх шляпы» (на фиг.9 представлен одномерный пример), который равен разности исходного изображения и его морфологического открытия z₀, и z_b=z_c-z представляют морфологическую операцию «дно шляпы» (на фиг.10 представлен одномерный пример), равный разности исходного изображения и его морфологического закрытия z_c. Размер элементов структуры выбирается равным максимальному обнаруженному периоду. Пример результата по удалению тренда представлен на фиг.11.

Для определения периодической текстуры для каждого блока изображения, полученного путем удаления тренда, обозначенного как потенциально содержащий периодические текстуры (фиг.12-a), применяются следующие этапы:

- блок нормализуется так, чтобы среднее значение стало равно нулю, а среднеквадратичное отклонение равно единице (фиг.12-b);

- спектр мощности вычисляется как абсолютное значение двумерного преобразования Фурье (фиг.12-c);

- вычисляется суммарная энергия спектра мощности блока;

- выполняется пороговое преобразование путем приравнивания нулю спектральных коэффициентов, абсолютная величина которых ниже предварительно заданного порогового значения (фиг.12-d);

- спектр мощности подвергается преобразованию «расширенный максимум» (фиг.12-e);

- локальные максимумы, расстояние между которыми меньше предопределенного порогового значения, объединяются в один. Для центра каждого «объединенного» максимума вычисляются общая мощность и среднеквадратичное отклонение S_p спектральных коэффициентов, относящихся к этому «объединенного» максимума;

- «объединенные» максимумы, находящиеся дальше предопределенного порогового значения от начала координат (что означает соответствие высоким частотам изображения) и имеющие небольшие среднеквадратичные отклонения S_p, помечаются как потенциально относящиеся к периодическим текстурам;

- в случае, если общая энергия спектральных коэффициентов, обозначенных как потенциально относящиеся к повторяющимся текстурам, превышает общую спектральную мощность блока изображения, умноженную на первое заданное пороговое значение, и превышает спектральную мощность блока изображения после порогового преобразования, умноженную на второе заданное пороговое значение, то блок помечается как содержащий периодическую текстуру.

Среднеквадратичное отклонение спектральных коэффициентов, относящихся к «объединенному» максимуму, вычисляются как:

где

где интегрирование выполняется по точкам, принадлежащим данному «объединенному» максимуму и f(x,y) является двумерным спектром мощности.

Если блок обозначен как содержащий периодическую текстуру, доминирующие направления текстуры могут быть вычислены на основе следующих правил:

- Текстура имеет одно доминирующее направление, если все максимумы спектра мощности расположены в одном и том же секторе (около ±15° относительно ориентации самого большого локального максимума), ориентация текстуры совпадает с ориентацией самого большого локального максимума спектра мощности относительно начала координат.

- Если не все локальные максимумы спектра мощности расположены в одном и том же секторе, подразумевается, что текстура имеет два (или более) доминирующих направления; их ориентация считается совпадающей с ориентациями двух наибольших локальных максимумов спектра мощности, лежащих в различных секторах, относительно начала координат.

- Оценивается только один период вдоль каждого из доминирующих направлений, который считается обратно пропорциональным расстоянию от соответствующего максимума спектра мощности до начала координат.

На фиг.13-14 представлены примеры результатов обнаружения периодических текстур с обозначением доминирующих направлений.

Настоящее изобретение может быть использовано как часть любого устройства, которое включает в себя системы для оценки движения, например, телевизор, видеокамера, Blu-Ray или DVD плеер, телевизионная приставка и прочее.

Следует отметить, что вышеприведенные варианты осуществления предназначены лишь для описания технических решений настоящего изобретения, а не его ограничения. Хотя настоящее изобретение описано со ссылкой на его примерные варианты осуществления, для специалиста в данной области техники должно быть понятно, что могут выполняться различные модификации и изменения до тех пор, пока они попадают в пределы объема прилагаемой формулы изобретения или ее эквивалентов.

Дополнительная литература

[1] Image Analysis and Mathematical Morphology by Jean Serra, ISBN 0-12-637240-3; 1982

[2] Цифровая обработка изображений, Р. Гонсалес, Р. Вудс, ISBN 5-94836-028-8; 2006 г.