СПОСОБ И СИСТЕМА СВЕРХРАЗРЕШЕНИЯ С ПОМОЩЬЮ КОМБИНИРОВАННОЙ РАЗРЕЖЕННОЙ АППРОКСИМАЦИИ

Область техники

Настоящее изобретение относится к области цифровой обработки изображений и видео для увеличения размера, повышения разрешения и уровня детализации входного изображения, что также называют получением сверхразрешения изображений и видео.

Уровень техники

Важно отметить, что под разрешением изображения понимается детализация изображения для его выбранного размера. Размер изображения определяется количеством точек по каждой из сторон изображения. Разрешение изображения, его детализация определяют качество восприятия изображения. Увеличение размера изображения с помощью простой (например, билинейной) интерполяции не повышает детализацию изображения, в силу чего увеличенное изображение воспринимается как более размытое по сравнению с оригинальным изображением меньшего размера. Сверхразрешение ставит перед собой задачу не только увеличить размер изображения, но и повысить детализацию изображения, четкость его восприятия.

Зачастую для увеличения изображения применяется простейшая интерполяция кадра, однако такой способ обладает рядом недостатков: ухудшение резкости увеличенного изображения, поскольку высокочастотные резкие детали не выделяются. В результате границы объектов выглядят нечеткими, мелкие детали отсутствуют. Предпринимались различные попытки повышения резкости, зачастую в рамках итеративной процедуры.

Известен итеративный способ получения сверхразрешения с использованием нескольких кадров c учетом небольших пространственных сдвигов между кадрами, представленный в M. Irani, S. Peleg, "Super resolution from image sequences", ICPR 2, 115-120 (1990). Здесь первичная инициализация осуществляется путем простого суммирования интерполированных изображений низкого разрешения. Итеративно вычисляются изображения низкого разрешения, сравниваются с исходными изображениями низкого разрешения и вычисляются необходимые поправки. Недостатком данного способа является чрезвычайно низкая скорость сходимости и необходимость хорошего начального приближения.

Улучшение качества сверхразрешения описано в J.-H. Hwang, et al., "High resolution digital zoom using temporal IIR filter", IEEE Trans. Consumer Elect. 42, 760-767 (1996). Здесь предлагается определять смещение на субпиксельном уровне. Для стабилизации изображения применяется фильтр с бесконечной импульсной характеристикой (БИХ фильтрация). Суммирование кадров производится с различными весами. Фильтр не использует область соседних пикселей изображения, что не дает возможности корректировать искажения оптической системы камеры.

В патентной заявке US 20130156345 А1, опубликованной 20.06.2013 и озаглавленной «METHOD FOR PRODUCING SUPER-RESOLUTION IMAGES AND NONLINEAR DIGITAL FILTER FOR IMPLEMENTING SAME» (Способ получения сверхразрешения изображений и нелинейный цифровой фильтр для его осуществления) предложено использовать множество кадров с малым смещением друг относительно друга (высокая частота кадров). После объединения кадров низкого разрешения осуществляется улучшение качества изображения с использованием нелинейного фильтра, реализованного в форме предварительно обученной нейронной сети. Автор предложил использовать этот способ для мобильного приложения. Нейронная сеть обучается для каждой конкретной модели камеры с использованием тестового изображения, включающего в себя радиальные и синусоидальные испытательные таблицы.

В патентной заявке US 20130044965 A1, опубликованной 21.02.2013 и озаглавленной «SUPER RESOLUTION SYSTEM AND METHOD WITH DATABASE-FREE TEXTURE SYNTHESIS» (Система и способ сверхразрешения с синтезом текстуры без базы данных) раскрыты способ и система сверхвысокого разрешения с синтезом текстуры, который не зависит от какой-либо дополнительной обработки или предварительного обучения. Предлагается подчеркивать границы интерполированного изображения с повышением его резкости, игнорируя гладкие участки. Также синтезируется текстура с применением улучшенного и неулучшенного изображений с повышенной дискретизацией в качестве примера. Текстура используется для покрытия гладких областей.

В патенте США US 8655108 B2, 18.02.2014, озаглавленном «Adaptive image up-scaling technique» (Способ адаптивного масштабирования изображения) масштабирование изображения осуществляется с использованием группы фильтров на основании набора данных низкого разрешения и набора данных высокого разрешения. Фильтры имеют форму регрессионных коэффициентов, полученных для подпространств окрестностей точки обучающих изображений, при этом классификация окрестностей выполняется с помощью алгоритма CART (дерево классификации и регрессии) в виде дерева решений, и в качестве предсказателей принимаются нормированные значения пикселей из окрестности 3×3 изображения низкого разрешения. Модель регрессии создается для каждого класса, и окрестность 2×2 изображения высокого разрешение обрабатывается как выход. Однако такая малая окрестность входного изображения в качестве предсказателя недостаточна для получения большого разнообразия фильтров и, следовательно, высокого качества сверхразрешения.

Прототипами настоящего изобретения являются решения, описанные в патентных документах US 6766067 и RU 2014142016. В патенте США US 6766067, опубликованном 20.07.2004, озаглавленном «One-pass super-resolution images» (Сверхразрешение изображений за один проход), изображение низкого разрешения интерполируется, а затем делится на перекрывающиеся патчи (фрагменты). Для каждого патча интерполированного изображения создается масштабированный среднечастотный патч, который применяется для генерации вектора попиксельного поиска. Предварительно собирается набор пар изображений низкого и высокого разрешения. Этот набор пар изображений используется для формирования базы данных соответствия среднечастотных патчей интерполированного изображения патчам изображений высокого разрешения. Вышеуказанный попиксельный поиск осуществляется по базе данных соответствия среднечастотного патча патчу высокого разрешения. Описанный способ имеет высокую чувствительность к точности оценки движения субпикселя и качеству захвата изображения и модели деградации (типа функции рассеяния точки, параметров размытости, вызванной движением, уровня шума), а также, для минимизации блочных артефактов, требуется использовать патчи с большим перекрытием, что ведет к необходимости роста базы данных высокой вычислительной сложности.

В патентной заявке RU 2014142016, озаглавленной «СПОСОБ И СИСТЕМА ДЛЯ ОБРАБОТКИ ИЗОБРАЖЕНИЯ», предлагается хранить обученную базу данных для текстур, что позволяет использовать меньшую базу данных без потери качества. Также разделение на патчи происходит без перекрытия, что повышает скорость работы метода. Однако в таком варианте осуществления сверхразрешения в базе данных не хранятся паттерны границ, что может привести к смазыванию изображения. Также, база данных является единой для всех условий съемки и сцен изображения, что ограничивает ее область применимости.

Другой близкий способ повышения разрешения по одному кадру описан в патенте США US 7187811, опубликованном 06.03.2007, озаглавленном «Method for image resolution enhancement» (Способ улучшения разрешения изображения). Участки исходного изображения классифицируются на две группы: участки изображения, имеющие грани, и участки изображения без граней. Участки изображения без граней интерполируются с помощью обычной билинейной интерполяции. Участки с гранями интерполируются с использованием нейронной сети. Нейронная сеть предварительно обучена с использованием естественных изображений, входными данными для нее помимо значения пикселя служат координаты области, «качество» грани, наклон грани и значение соседних с ним пикселей. Однако, поскольку нейронная сеть обучается распознавать предопределенный набор паттернов, это влечет за собой неправильную интерполяцию изображений, отличных от обучающего набора.

Сущность изобретения

Целью настоящего изобретения является увеличение размера входного изображения и видео, а также повышение разрешения и уровня детализации увеличенных изображений. Формирование изображения высокого разрешения производится путем объединения нескольких изображений относительно низкого разрешения. Основные преимущества настоящего изобретения состоят в получении патчей адаптивно к структуре изображения, а также в адаптивном выборе словарей применительно к контексту и условиям съемки изображений. Формирование изображения высокого разрешения происходит с помощью разреженной аппроксимации с учетом правила объединения изображений.

Предложены способ и система обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, которые обеспечивают повышение разрешения и уровня детализации входных изображений и видео.

Согласно одному из аспектов настоящего изобретения обеспечен способ обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, при этом упомянутый способ содержит: этап (100) приема изображений низкого разрешения; этап (102) определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки; этап (103) вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения; этап (104) вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокой четкости; этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения; этап (106) вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова; этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения; этап (108) вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования; этап (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием; этап (110) обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; этап (111) уточнения матрицы преобразования на основании обновленных изображений низкого разрешения, причем данный способ осуществляет последовательную, итеративную обработку изображений, в которой: если на этапе (106) вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то далее выполняют этапы: (107) разбиения изображения высокого разрешения на пересекающиеся патчи, (108) вычисления разреженной аппроксимации выделенных патчей, (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей; (110) обновления изображений низкого разрешения, (111) уточнения матрицы преобразования, (105) объединения обновленных изображений низкого разрешения с использованием матрицы преобразования, уточненной на этапе (111), и маски семплирования, (106) вычисление значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова в таком порядке; если на этапе (106) вычисленное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то выполняют этап (113) вывода изображения высокого разрешения для сохранения и/или визуализации.

В дополнительном аспекте выбор словаря производится посредством анализа семантических признаков изображений низкого разрешения.

В другом дополнительном аспекте семантические признаки выделяются с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.

В еще одном дополнительном аспекте, если требуется обрабатывать входные Байеровские изображения как цветные изображения, то упомянутый способ дополнительно содержит этап (101) подготовки изображений, на котором выполняют демозаикинг изображений по заданному Байеровскому шаблону для получения цветных изображений.

В еще одном дополнительном аспекте этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения выполняют с применением метода пересечения доверительных интервалов (ICI).

В еще одном дополнительном аспекте этап (108) вычисления разреженной аппроксимации выделенных патчей выполняют посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.

В еще одном дополнительном аспекте способ дополнительно содержит этап предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.

Согласно другому из аспектов настоящего изобретения обеспечена система обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера, при этом упомянутая система содержит: приемник входных изображений, выполненный с возможностью приема изображений низкого разрешения; блок выбора словаря, выполненный с возможностью определения контекста и условий съемки изображений и выбора словаря на основании определенных контекста и условий съемки; блок вычисления матрицы преобразования, выполненный с возможностью вычисления матрицы преобразования изображений низкого разрешения с учетом взаимного смещения, поворота и расфокусировки изображений низкого разрешения; блок вычисления маски семплирования изображений низкого разрешения, отражающей правило вычисления значений интенсивности в различных каналах цветности изображения высокого разрешения; блок объединения изображений, выполненный с возможностью объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения; блок проверки критерия останова, выполненный с возможностью вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением упомянутого критерия останова; блок вывода изображения высокого разрешения, выполненный с возможностью сохранения и визуализации полученного изображения высокого разрешения; блок выделения патчей, выполненный с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения; блок разреженной аппроксимации патчей, выполненный с возможностью вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования; блок формирования разреженной аппроксимации изображения, выполненный с возможностью объединения результатов разреженной аппроксимации патчей с перекрытием для формирования нового изображения высокого разрешения; блок обновления изображений низкого разрешения, выполненный с возможностью обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; причем блок вычисления матрицы преобразования, выполнен с возможностью уточнения матрицы преобразования на основании обновленных изображений низкого разрешения, причем упомянутая система осуществляет последовательную, итеративную обработку изображений, в которой: если блок проверки критерия останова определяет, что вычисленное значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то блок выделения патчей, блок разреженной аппроксимации патчей, блок формирования разреженной аппроксимации изображения, блок обновления изображений низкого разрешения, блок вычисления матрицы преобразования, блок объединения изображений, блок проверки критерия останова выполняют свои операции в таком порядке; если блок проверки критерия останова определяет, что определенное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то изображение высокого разрешения передается в блок вывода изображения высокого разрешения.

В дополнительном аспекте блок выбора словаря выполнен с возможностью выбора словаря посредством анализа семантических признаков изображений низкого разрешения.

В другом дополнительном аспекте блок выбора словаря выполнен с возможностью выделения семантических признаков с помощью глубокой нейронной сети, предварительно обученной на наборе изображений, соответствующих определенным контексту и условиям съемки.

В еще одном дополнительном аспекте, если требуется обрабатывать входные Байеровские изображения как цветные изображения, упомянутая система дополнительно содержит блок подготовки изображений, выполненный с возможностью демозаикинга изображений по заданному Байеровскому шаблону для получения цветных изображений.

В еще одном дополнительном аспекте блок выделения патчей выполнен с возможностью разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения с применением метода пересечения доверительных интервалов (ICI).

В еще одном дополнительном аспекте блок разреженной аппроксимации патчей выполнен с возможностью вычисления разреженной аппроксимации выделенных патчей посредством разреженного разложения патчей на разреженные коды с использованием выбранного словаря и последующей сборки разреженных кодов с использованием упомянутого словаря.

В еще одном дополнительном аспекте блок разреженной аппроксимации патчей дополнительно выполнен с возможностью предварительного обучения словаря с использованием патчей различной формы, выделенных из набора изображений высокого разрешения сходного контекста и условий съемки.

Краткое описание чертежей

Эти и/или другие аспекты изобретения будут очевидны и более понятны из следующего описания вариантов осуществления в совокупности с прилагаемыми чертежами, на которых:

Фиг. 1 иллюстрирует блок-схему последовательности операций первого варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 2 иллюстрирует блок-схему последовательности операций второго варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 3 иллюстрирует блок-схему первого варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 4 иллюстрирует блок-схему второго варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 5 иллюстрирует блок-схему третьего варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Фиг. 6 изображает принцип получения векторизованного патча m_i ∘ y_i для адаптивной анизотропной разреженной аппроксимации: (слева) выделение адаптивных масок m_i; (по центру) пример выделенных патчей с наложенными масками, отмеченными темно-серым цветом; (справа) результат векторизации патчей с учетом масок.

Фиг. 7 иллюстрирует сравнение визуального качества фрагмента картинки, полученной с помощью (слева) бикубической интерполяции одного карда сцены и (справа) предложенного способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера из нескольких кадров сцены.

Фиг. 8 демонстрирует использование предложенного способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера на персональном устройстве (например, смартфоне, планшетном компьютере).

Раскрытие изобретения

Настоящая изобретательcкая концепция учитывает различные изменения и многочисленные варианты осуществления, конкретные примерные варианты осуществления будут иллюстрированы на чертежах и описаны подробно в приведенном ниже описании. Отметим, что данное описание не ограничивает изобретательскую концепцию конкретными вариантами практической реализации в части изменений, эквивалентов и замен, которые не отступают от технической области настоящей изобретательской концепции, охваченных существующей изобретательской концепцией. В описании примерных вариантов осуществления опущены некоторые подробные объяснения уровня техники, когда считается, что они могут излишне затенить сущность одного или более примерных вариантов осуществления.

Далее примерные варианты осуществления будут описаны более подробно со ссылками на сопроводительные чертежи.

Ссылки будут делаться на варианты осуществления представленной общей концепции в соответствии с настоящим изобретением. Примеры иллюстрируются в сопроводительных чертежах, где одинаковые ссылочные позиции относятся к одинаковым элементам. Варианты осуществления описываются ниже для того, чтобы объяснить представленную общую концепцию в соответствии с настоящим изобретением, ссылаясь на чертежи.

Техническим результатом заявленного изобретения является увеличение размера входного изображения, повышение его разрешения и уровня детализации с использованием нескольких наблюдений, то есть получение сверхразрешения. Этот технический результат достигается за счет привлечения априорной информации о детализации объектов изображения, накопленной в словарях, предварительно обученных на изображениях высокого разрешения подобного контекста и условий съемки. Сверхразрешение изображения достигается итеративно, включая разреженную аппроксимацию патчей различной формы, адаптивно к структуре изображения, с помощью словарей, подходящих по контексту изображения и условиям съемки.

На фиг. 1 изображена блок-схема последовательности операций первого варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера. Способ обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера предназначен для повышения разрешения и уровня детализации входного изображения.

На этапе (100) приема изображений низкого разрешения выполняют прием нескольких входных изображений одной сцены, например, путем выполнения съемки изображений сцены фотокамерой или выполнения видеосъемки сцены. Однако прием изображений низкого разрешения не ограничивается только фото или видеосъемкой, изображения также могут быть приняты путем считывания их из запоминающего устройства или могут быть приняты проводным или беспроводным способом от другого устройства формирования изображений или из места хранения изображений по сети.

На этапе (102) определяют контекст и условия съемки изображений сцены и выполняют выбор словаря на основании определенных контекста и условий съемки. Выбор подходящих словарей для разреженной аппроксимации патчей описан ниже. На этапе (103) вычисляют матрицу преобразования изображений низкого разрешения, отражающую взаимное смещение, поворот и расфокусировку изображений низкого разрешения. Правило формирования, вычисления и уточнения матрицы преобразования известно из уровня техники и здесь не описывается, так как это выходит за рамки данного изобретения. На этапе (104) вычисляют маску семплирования изображений низкого разрешения, отражающую правило вычисления значений интенсивности (яркости) в различных каналах цветности изображения высокой четкости. Причем правило вычисления значений интенсивности (яркости) в различных каналах цветности изображения высокой четкости задано уравнением (2), приведенным ниже при описании вычисления маски семплирования. Следует отметить, что этапы (102), (103) и (104) могут быть выполнены одновременно или в любом порядке относительно друг друга.

Далее выполняется этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения. Для этого значения интенсивностей входных изображений низкого разрешения отображаются на сетке изображения высокого разрешения отдельно для каждого канала цветности. Смещение известных значений интенсивностей относительно сетки изображения высокого разрешения, а также изменения значений интенсивностей определяются с помощью матрицы преобразования. Затем для каждой точки сетки изображения высокого разрешения производится вычисление значений интенсивностей для каждого канала цветности в соответствии с правилом маски семплирования. Например, значение интенсивности в точке может быть вычислено как усредненное значение всех значений интенсивностей, попавших в некоторую окрестность этой точки от всех имеющихся изображений относительно низкого разрешения.

Затем, чтобы определить, имеет ли полученное изображение высокого разрешения достаточное качество, например достаточное разрешение и уровень детализации, способ переходит на этап (106), на котором вычисляют значение заранее заданного критерия останова и сравнивают вычисленное значение упомянутого критерия останова с пороговым значением упомянутого критерия останова. Критерий останова и пороговое значение критерия останова заранее устанавливается пользователем исходя из требуемого качества изображения, которое должно быть получено в результате выполнения данного способа. В качестве критерия останова может быть задан любой параметр, относящийся к качеству изображения, например, уровень шума, размытость изображения, или любое сочетание таких и подобных параметров.

Если на этапе (106) вычисленное значение упомянутого критерия останова больше порогового значения или равно пороговому значению упомянутого критерия останова, то принимается решение, что полученное изображение высокого разрешения имеет требуемое качество, заданное пользователем, и способ переходит на этап (113), на котором выводят такое изображение высокого разрешения для его сохранения и/или визуализации.

Если на этапе (106) вычисленное значение упомянутого критерия останова меньше порогового значения, то далее выполняют этап (107) разбиения изображения высокого разрешения на пересекающиеся патчи различной формы адаптивно к структуре изображения; этап (108) вычисления разреженной аппроксимации выделенных патчей с помощью выбранного словаря и вычисленной маски семплирования; этап (109) формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием; этап (110) обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; этап (111) уточнения матрицы преобразования на основании обновленных изображений низкого разрешения и затем снова выполняют этап (105) объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения и этап (106). Описание операций, выполняемых на этапах (107), (108), (109), (110), приведено ниже в соответственных разделах описания.

Данный способ осуществляет последовательную, итеративную обработку изображений путем последовательного выполнения этапов (107), (108), (109), (110), (111) (105), (106) до получения изображения высокого разрешения требуемого качества. В качестве порогового значения также может выступать количество итераций обработки изображений вышеуказанным способом для ограничения работы по времени.

На фиг. 2 изображена блок-схема последовательности операций второго варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера.

Все этапы второго варианта осуществления способа обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера полностью соответствуют этапам первого варианта осуществления упомянутого способа и обозначены теми же ссылочными позициями. Однако второй вариант осуществления упомянутого способа предусматривает обработку входных Байеровских изображений как цветных изображений, для этого упомянутый способ дополнительно содержит после этапа (100) приема изображений низкого разрешения этап (101) подготовки изображений, на котором выполняют демозаикинг изображений по заданному Байеровскому шаблону для получения цветных изображений. Процедура демозаикинга, представляющая собой получение цветных изображений путем их интерполяции по заданному Байеровскому шаблону, известна в уровне техники и поэтому подробно не описывается в данной заявке.

Фиг. 3 иллюстрирует блок-схему первого варианта осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера. Данная система содержит приемник 200 входных изображений, блок 204 вычисления маски семплирования, блок 202 выбора словаря, блок 203 вычисления матрицы преобразования, блок 205 объединения изображений, блок 206 проверки критерия останова, блок 213 вывода изображения высокого разрешения, блок 207 выделения патчей, блок 208 разреженной аппроксимации патчей, блок 209 формирования разреженной аппроксимации изображений и блок 210 обновления изображений низкого разрешения.

Приемник 200 входных изображений принимает набор изображений одной сцены (кадров видеопоследовательности) относительно низкого разрешения. Поскольку, как раскрыто выше, изображения могут быть приняты разными способами, например, путем выполнения фотосъемки, видеосъемки, считывания из запоминающего устройства, могут быть приняты проводным или беспроводным способом от другого устройства формирования изображений или из места хранения изображений по сети, то приемником 200 входных изображений может быть любое устройство, способное выполнять по меньшей мере один из вышеперечисленных способов приема изображения. Изображения из входного набора изображений сцены различаются тем, что они немного размыты и смещены друг относительно друга в силу дрожания, наклона и/или расфокусировки цифровой камеры. На основании контекста (содержимого) входных изображений, параметров оптической системы (например, известной расфокусировки) и условий съемки (например, уровня освещенности и шума) в блоке 202 выбора словаря производится выбор наиболее подходящего словаря, используемого в блоке 208 разреженной аппроксимации патчей. На основании разницы между принятыми изображениями, которая представляет собой попиксельное смещение и расфокусировку принятых изображений, в блоке 203 вычисления матрицы преобразования производится оценка смещения и расфокусировки, результат которой представляется в виде матрицы преобразования. Матрица преобразования используется в блоке 205 объединения изображений низкого разрешения для формирования изображения высокого разрешения, а также в блоке 210 обновления изображений низкого разрешения. В блоке 204 вычисления маски семплирования производится вычисление маски семплирования, отражающей правило формирования интенсивности в различных каналах цветности изображения высокого разрешения. Значения интенсивностей в неизвестных пространственных координатах вычисляются за счет взвешенного суммирования интенсивностей соответствующих цветовых каналов. Маска семплирования применяется в блоке 205 объединения изображений и в блоке 208 разреженной аппроксимации патчей.

Блок 205 объединения изображений выполняет объединение изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения. Затем блок 206 проверки критерия останова определяет значения критерия останова и сравнивает определенное им значение критерия останова с пороговым значением упомянутого критерия останова. Критерий останова и его пороговое значение задаются заранее пользователем. Если блок 206 проверки критерия останова определяет, что определенное значение упомянутого критерия останова больше или равно пороговому значению, то изображение высокого разрешения передается в блок 213 вывода изображения высокого разрешения для сохранения и/или визуализации. Если блок 206 проверки критерия останова определяет, что значение упомянутого критерия останова меньше порогового значения упомянутого критерия останова, то блок 207 выделения патчей, блок 208 разреженной аппроксимации патчей, блок 209 формирования разреженной аппроксимации изображения, блок 210 обновления изображений низкого разрешения, блок 203 вычисления матрицы преобразования, блок 205 объединения изображений, блок 206 проверки критерия останова выполняют свои операции в таком порядке. Критерием останова может быть, например, уровень шума, размытость изображения или количество упомянутых итераций, выполняемых блоками данной системы.

После того как определено, что изображение высокого разрешения не подлежит выводу блоком 213, блок 207 выделения патчей выделяет патчи различной формы адаптивно к структуре изображения. Блок 208 разреженной аппроксимации патчей вычисляет разреженную аппроксимацию выделенных патчей с помощью словаря, выбранного блоком 202 выбора словаря, с учетом масок региона интереса и маски семплирования. В блоке 209 производится сборка нового изображения из результатов разреженной аппроксимации патчей. Блок 210 обновления изображений низкого разрешения восстанавливает исходные значения интенсивностей в известных пространственных координатах различных каналов цветности с помощью матрицы преобразования. Далее в блоке 203 матрица преобразования (значения смещения, поворота и расфокусировки) уточняется на основании обновленных изображений низкого разрешения, а затем в блоке 205 производится объединение обновленных изображения низкого разрешения с использованием маски семплирования и уточненной матрицы преобразования для формирования изображения высокого разрешения.

Важно отметить, что система допускает обработку цветных, Байеровских и в градациях серого изображений и кадров видеопоследовательности различного размера.

Во втором варианте осуществления, изображенном на фиг. 4, система сверхразрешения допускает обработку входных Байеровских изображений как цветных. В этом варианте реализации приемник 200 входных изображений передает входные изображения в дополнительно введенный блок 201 подготовки изображений, в котором может производиться демозаикинг (demosacing) изображений, то есть получение цветных изображений путем их интерполяции по заданному Байеровскому шаблону. Если установлено производить обработку изображений как цветных, а входные изображения определены как Байеровские, то блок 201 осуществляет процедуру демозакинга для получения цветных изображений. В противном случае входные изображения остаются без изменения. Далее полученные изображения передаются в блок 202 для выбора словаря, в блок 203 для вычисления матрицы преобразования, блок 204 для вычисления маски семплирования и блок 205 для начала процедуры сверхразрешения.

Остальные блоки (206), (207), (208), (209), (210), (213) упомянутой системы второго варианта осуществления соответствуют блокам описанной выше системы первого варианта осуществления, которые обозначены теми же ссылочными позициями.

Один из вариантов осуществления системы сверхразрешения изображений или видео изображен на фиг. 5. Данная система состоит из приемника 300 изображений (например, цифровой камеры), блока сверхразрешения 350, и интерфейса 320 (например, сенсорного экрана). Блок сверхразрешения 350 представляет собой процессор 380, в котором программно реализован модуль 390 сверхразрешения, и оперативное запоминающее устройство 360 (ОЗУ), содержащее необходимые данные 370. Модуль 390 сверхразрешения содержит блок вычисления маски семплирования, блок выбора словаря, блок вычисления матрицы преобразования, блок объединения изображений, блок проверки критерия останова, блок выделения патчей, блок разреженной аппроксимации патчей, блок формирования разреженной аппроксимации изображения, блок обновления изображений низкого разрешения. Кроме того, модуль 390 сверхразрешения может необязательно содержать блок подготовки изображения. Все перечисленные блоки, входящие в состав модуль 390 сверхразрешения, аналогичны соответствующим блокам первого и второго вариантов осуществления системы обработки набора цветных, Байеровских или в градациях серого изображений и кадров видеопоследовательности различного размера. Интерфейс 320 содержит дисплей 330, представляющий собой блок вывода изображений высокого разрешения, и систему 340 управления. Пользователь через систему управления 340 (например, жестом растягивания изображения) дает команду блоку 350 на выполнение сверхразрешения всего или части целевого изображения. Необходимые данные 370 (в частности, подходящий словарь для разреженной аппроксимации) загружаются в ОЗУ 360 блока сверхразрешения, и с помощью процессора 380 с программно реализованным модулем 390 сверхразрешения осуществляется процедура сверхразрешения. Результат сверхразрешения отображается на дисплее 330, представляющем собой блок вывода изображения высокого разрешения.

Фиг. 6 иллюстрирует принцип выделения и подготовки патча произвольной формы для адаптивной анизотропной разреженной аппроксимации. Анизотропная окрестность выделена в виде маски темно-серым цветом. Также показано как патчи изображения и соответствующие маски интереса векторизуются по столбцам.

На фиг. 7 приведен пример сравнения визуального качества фрагмента картинки, полученной с помощью (фиг. 7 слева) бикубической интерполяцией одного карда сцены и (фиг. 7 справа) предлагаемого алгоритма сверхразрешения из нескольких кадров сцены. Очевидно, в отличие от бикубической интерполяции, предлагаемый алгоритм не только подавляет шум и артефакты различного рода, но и повышает резкость границ.

На фиг. 8 приведен пример использования алгоритма сверхразрешения на персональном устройстве (например, смартфоне, планшетном компьютере). Пользователь с помощью камеры устройства снимает набор изображений или видео. Необходимое различие между изображениями/кадрами видео может достигаться за счет перемещения, дрожания и/или расфокусировки камеры. Операции сверхразрешения могут быть инициализированы пользователем, например, с помощью жеста растягивания. В соответствии с настройками будет произведена операция сверхразрешения либо желаемого фрагмента объекта/сцены, либо всего изображения. Например, сверхразрешение на мобильных устройствах может найти широкое применение для сканирования популярных QR кодов для быстрого получения ссылок к интересующей пользователя информации, для распознавания (рукописного) текста, в системах видеонаблюдения. Использование сверхразрешения увеличивает добавочную стоимость аппаратуры, а также позволяет сокращать издержки за счет использования более простых и дешевых цифровых камер.

Выделение патчей различной формы адаптивно к структуре изображения

Важная часть предложенного способа сверхразрешения построена на выделении патчей различной формы адаптивно к структуре изображения. Подобный подход появился для адаптивной поточечной оценки зашумленного сигнала с возможными искажениями, раскрытый в V. Katkovnik, K. Egiazarian and J. Astola, Local approximation techniques in signal and image processing. SPIE Press, Monograph PM157 (2006). Для каждой точки изображения формируется некоторая секторальная окрестность с различным числом секторов и длиной дуги сектора. В простейшем случае, окрестность на плоскости разбивается на восемь частей по 45 градусов (, ), соответствующих восьми различным направлениям. Площадь сектора в каждом направлении (то есть длина дуги и радиус круга h) регулируется для достижения баланса между точностью разреженной аппроксимации (малое смещение) и достаточной сглаженностью (низкая дисперсия). Таким образом, адаптивно подстраивается параметр точности (tolerance) приближения (в частности, разреженной аппроксимации) для отдельных участков изображения. Баланс между остаточным шумом и чрезмерным размытием (overblurring) достигается за счет статистического критерия, который известен как пересечение доверительных интервалов (intersection of confidence intervals, ICI), впервые описанный в A. Goldenshluger, A. Nemirovski, On spatial adaptive estimation of non-parametric regression. Math Meth Statistics 6, 135-170 (1997). Баланс, полученный с помощью ICI, определяет оптимальную площадь и форму анизотропной окрестности рассматриваемой точки, оптимально приспособленной к структуре изображения.

Подобная анизотропная окрестность точки успешно применяется для фильтрации [US 20090161756 A1, US 7860167 B2], шумоподавления [US 7652788, EP 1779653 A2] и сжатия изображений с оптимальной потерей качества [US 6473528 B2].

В документе [US 7860167 B2] данный метод используется для оценки шума внутри окрестности и его фильтрации, особенно в областях изображения, близких к граничным. Аналогично, в [US 20090161756 A1] адаптация рабочей окрестности используется для пространственной фильтрации одного кадра видеоряда. В [US 6473528 B2] сжатие изображения производится с помощью вейвлет-разложения. С помощью метода адаптации определяются те окрестности, которые могут остаться незакодированными без существенной потери качества.

Описанные варианты выделения сложных окрестностей адаптивных к структуре изображения применялись для сравнительно простой локальной фильтрации изображения (в рамках одного пространственного изображения или его спектра). В предложенном изобретении патчи выделяются для выполнения нелокальной разреженной аппроксимации патчей, что существенно сложнее, но более эффективно для решения задачи получения сверхразрешения.

Фиг. 6 иллюстрирует принцип подготовки векторизованного патча для адаптивной анизотропной разреженной аппроксимации. Анизотропная окрестность выделена в виде маски темно-серым цветом. Аналогично [A. Foi, V. Katkovnik, K. Egiazarian, Pointwise shape-adaptive DCT for high-quality denoising and deblocking of grayscale and color images. IEEE Trans. Image Process. 16, 1395-1411 (2007)], производится свертка каждого канала цвета (неполного) объединенного изображения {yR, yG, yB} с набором пространственных фильтров { }. Результат обозначим { }, где верхний индекс ^C обозначает канал цвета (красный, зеленый и синий). Пространственные фильтры g определяются площадью выбранных секторов через набор различных радиусов круга {h_i} и набор всевозможных направлений {θ_k}. Оптимальный радиус круга в секторе (для любого направления) для соответствующего цветового канала определяется как наибольшая длина (в пикселах), допускающая непустой доверительный интервал :

(1)

где σ определяет стандартное отклонение в соответствующем канале цветности, параметр Γ определяет порог доверительного интервала. Разделение по цветам важно, так как в общем случае цвета в Байеровском домене для каждого пиксела не определены. Результат представляется для каждого канала цвета в виде бинарной маски региона интереса m_j внутри патча для j-ого пиксела.

Вычисление маски семплирования

Пусть дан набор из N (N натуральное число) смещенных цветных картинок. Значение интенсивности (яркости) в каждом цветовом канале формируемого объединенного изображения с пространственными координатами (x,y) складывается из комбинации интенсивностей всех j=1,..N используемых изображений с учетом их смещения относительно сетки изображения высокого разрешения. Маска семплирования отражает пространственные координаты и цветной канал (x,y,С) с хоть одним известным значением интенсивности из смещенных картинок. Также указываются те пространственные координаты, значения интенсивностей в которых нужно вычислить.

Например, смещение объектов на входных изображениях может привести к тому, что на объединенном изображении известные значение интенсивности будут находиться в некоторой области, тогда, очевидно, образуется значительная пустая область с неизвестными значениями интенсивности в ней. Вот почему объединенное изображение в начале предложенного итеративного алгоритма неполное.

Смещения значений интенсивностей входных изображений относительно сетки изображения высокого разрешения или позиции можно представить как где верхний индекс ^C обозначает канал цвета: красный, зеленый и синий. Тогда маска семплирования s вычисляется как

((2)

где параметр ρ_С означает дистанцию поиска (например, для окрестности вокруг пикселя) для аккумуляции интенсивностей для каждого канала цвета. Пространственные координаты, где маска семплирования s(x,y,С)=1 будем называть «семплированными». Пространственные координаты, где маска семплирования s(x,y,С)=0 будем называть «несемплированными».

Значения интенсивностей усредняется с весом, выраженным с помощью из уравнения (2).

Вычисление смещений , представленных в матрице преобразования, а также уточнение матрицы преобразования выходят за рамки описания настоящего изобретения.

Другими словами, матрица преобразования говорит о том, куда надо поместить каждый пиксел входного j-го изображения низкого разрешения на сетке изображения высокого разрешения, а также как надо изменить значение интенсивности в точке в случае известной расфокусировки. Маска семплирования говорит о том, как нужно вычислять изображение высокого разрешения из полученных интенсивностей N изображений низкого разрешения. В частности, если внутри окрестности точки с координатами (x,y, C) сетки изображения высокого разрешения есть хоть какие-то значения интенсивности, то результирующее значение будет вычислено как комбинация этих интенсивностей. В противном случае, такая точка маркируется как «несемплированная» и значения интенсивности в ней вычисляется с помощью разреженной аппроксимации патчей различной формы адаптивно к структуре изображения.

Анизотропная разреженная аппроксимация

Подобно тому, как это делается в WO 2015/167307, изображение y разбивается на отдельные пересекающиеся прямоугольные патчи {y_j}. Отличием подхода, предложенного в настоящем изобретении, является применение региона интереса (бинарных масок {m_j}) и масок семплирования (участка бинарной маски s_j), адаптивных к структуре изображения. Таким образом достигается выделение патча x_j=s_j ∘ m_j ∘ y_j произвольной формы. Разреженная аппроксимация патча произвольной формы x_j по базисным функциям из предварительно вычисленного словаря D выполняется как решение следующей задачи оптимизации:

(3)

где вектор-столбец разреженного кода z_j является разреженным разложением вектор-столбца x_j по заданному словарю D, ∘ означает поэлементное произведение Адамара. Применение ℓ₀-нормы в задаче оптимизации означает поиск минимального числа ненулевых весовых коэффициентов разреженного кода z_j. Параметр регуляризации δ введен для баланса между точностью аппроксимации и разреженностью представления патча. Данную задачу можно решить c помощью, например, жадного алгоритма поиска ортогонального соответствия (orthogonal matching pursuit).

В данном варианте осуществления изобретения используется метод K-SVD [US 20120177128 A1] для обучения словаря D на большом наборе изображений высокого разрешения соответствующего контекста сцены, условий съемки, масштаба и размера изображения. Подробнее вопрос обучения словарей здесь не описывается, так как эта задача известна из уровня техники и она выходит за рамки данного изобретения.

Важно отметить, что точность аппроксимации в окрестности некоторой j-й точки оценивается только внутри соответствующей анизотропной адаптивной маски m_j и только относительно пространственных координат, представленных участком маски семплирования s_j. Тогда предлагаемый результат адаптивной разреженной регуляризации представлен в виде

(4)

что есть фильтрация патча внутри маски интереса m_j с восстановлением пропущенных значений интенсивности для различных каналов цветности. Обнаружено, что если текстуры внутри m_j подвержены смазыванию (шумоподавление внутри замкнутой области объекта), то на границах масок интереса выделяются высокочастотные компоненты. Учитывая, что маски региона интереса {m_j} зачастую выделяются по границам текстур или границам объектов с помощью ICI, производится адаптивное повышение резкости изображения. На фиг. 7 приведен пример сравнения визуального качества фрагмента картинки, полученной с помощью (фиг. 7 слева) бикубической интерполяцией одного карда сцены и (фиг. 7 справа) алгоритма сверхразрешения из нескольких кадров сцены. Можно видеть, что одновременно со сглаживанием заднего фона и значительным подавлением шума, четко проявились границы корейских иероглифов.

Формирование нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием

Результат анизотропной разреженной аппроксимации патчей служит для формирования нового изображения высокого разрешения. Это новое изображения получают посредством объединения перекрывающихся отфильтрованных патчей с учетом соответствующих масок интереса, в соответствии с уравнением (4). Иными словами, разреженная аппроксимация изображения есть результат замены патчей исходного изображения {y_j} на патчи, отфильтрованные с помощью анизотропной разреженной аппроксимации {}, в их соответствующих масках интереса {m_j}.

Обновление изображений низкого разрешения на основании полученного результата разреженной аппроксимации

Приведенные выше процессы разреженной аппроксимации с учетом маски семплирования и формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием формируют новое изображение с рассчитанными значениями интенсивности во всех пространственных координатах и каналах цветности. Процесс уточнения изображений низкого разрешения восстанавливает исходные значения интенсивности, полученные датчиком (например, цифровой камерой), только в «семплированных» позициях. Это гарантирует неизменность известных данных наблюдения, итеративный процесс вычисляет только недостающие данные. Значения в «несемплированных» пространственных координатах и каналах цветности не меняются и, будучи вычисленными на k-ой итерации, используются в k+1-ой итерации. Это означает, что после первой итерации гарантированное получается полное изображение высокого разрешения. Предложенный итеративный процесс устойчив к неточности нахождения смещения и расфокусировки в матрице преобразования, а также к искажениям и шуму во входных изображениях. Однако может требовать значительное количество итераций для получения результата. Рекомендуемое число итераций существенно более 1 с учетом матрицы преобразования и числа N картинок.

Выбор подходящих словарей для разреженной аппроксимации патчей

Отличительной особенностью предложенного подхода является использование заранее подготовленного набора словарей, соответствующих различным контекстам восстанавливаемого изображения высокого разрешения или различным условиям съемки, то есть получения изображений низкого разрешения. Для восстановления конкретного изображения высокого разрешения на первом этапе выбирается один из словарей на основе предварительного анализа соответствующих входных изображений низкого разрешения. Примерами различных контекстов изображения могут служить различные типы текстур, преобладающие на изображении. Примерами различных условий съемки могу быть условия освещения фотографируемой сцены, настройки фотокамеры (параметры, относящиеся к интенсивности, параметры, связанные с фокусировкой/размытием, и другие параметры). Кроме того, могут существовать и другие критерии для выбора оптимального словаря, подходящего для данного изображения. Ключевым фактором выбора подходящего словаря является ожидаемое наилучшее качество разреженной аппроксимации с точки зрения финального восстановления изображения высокого разрешения. В случае численного представления условий съемки (например, настроек камеры) можно использовать явное табличное отображение, которое будет ставить определенным условиям в соответствие определенный словарь, наиболее подходящий данным условиям. В других случаях, когда необходимо поставить определенный словарь в соответствие контексту изображения (типам текстур и другим признакам изображения), могут применяться методы машинного обучения (классификация и регрессия) для предсказания оптимального словаря по входным изображениям низкого разрешения. В случае классификации заранее обучается дискриминативная архитектура на данных, содержащих пары входных изображений и соответствующих им оптимальных словарей (каждый словарь выступает в роли класса в задаче классификации). В случае регрессии, словарь может параметрически зависеть от входных изображений, и соответствующие параметры могут вычисляться по входным изображениям некой заранее обученной регрессионной архитектурой. Примером дискриминативной или регрессионной архитектуры может являться глубокая нейронная сеть, способная выделять иерархию визуальных признаков и получать высокоуровневое семантическое описание изображения, которому будет ставиться в соответствие некий оптимальный словарь.

Подобная адаптивность нейронных сетей успешно применяется для решения сложно формулируемых задач, например, в телекоммуникации [US 9258607, US 9258644] и цифровой обработке сигнала: распознавании объектов [US 5060278, US 9258481], эмоций [US 9258482], расположения и формы объекта [US 5157733].

Процедура предварительного вычисления и пересчета матрицы преобразования известна в уровне техники и поэтому подробно не описывается в данной заявке.

Процедура демозаикинга, представляющая собой получение цветного изображения из Байеровских изображений, известна в уровне техники и поэтому подробно не описывается в данной заявке.

Настоящее изобретение может применяться в различных устройствах, содержащих процессор или любое другое вычислительное средство. Неограничивающими примерами устройств, в которых может быть применено настоящее изобретения, являются мобильные телефоны, смартфоны, планшетные компьютеры, ноутбуки, настольные компьютеры, фотокамеры, видеокамеры и т.д.