Результат интеллектуальной деятельности: СПОСОБ ГИБРИДНОГО РЕТУШИРОВАНИЯ ФОНА ДЛЯ ПРЕОБРАЗОВАНИЯ 2D В 3D

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится в общем к обработке видеоданных и более конкретно к ретушированию видеоданных, т.е. оценке значений для фона, ранее скрытого содержимым на переднем плане.

УРОВЕНЬ ТЕХНИКИ

Ретуширование видеоданных применяется в общем в различных задачах, таких как стабилизация видео, преобразование с повышением частоты кадров, преобразование двумерного (2D) изображения в трехмерное (3D) и синтез ракурсов. Способ, согласно изобретению, направлен на полную оценку значений пикселей фона для произвольных последовательностей видеоданных, которые сопровождаются информацией об объектах переднего плана для каждого кадра видеоданных.

В общем, большинство способов ретуширования видеоданных в уровне техники использует либо покадровое ретуширование, либо оценку движения камеры с последующим совмещением и наложением кадров.

В US 2006/0257042 A1 описаны общие способы улучшения видеоданных (такого как стабилизация и устранение размытия), основанные на ретушировании движения. В соответствии со способом предлагается распространение векторов движения в отсутствующие области и последующее использование дополненной таким образом карты векторов движения для переноса пиксельной информации в отсутствующие области. Считается, что количество оставшихся пикселей является в общем небольшим, и их предлагается заполнять посредством размытия. В упомянутом документе рассматриваются главным образом артефакты стабилизации видеоизображения, и поэтому отсутствующие области обычно являются не объектами переднего плана, а областями, примыкающими к краям кадра. Поэтому в данном случае пространственное ретуширование не является важным и не рассматривается в этом документе. Таким образом, применение описанного способа будет ограниченным в случае удаления объектов переднего плана из последовательностей видеоданных, имеющих области фона, которые не видны ни на одном кадре.

В US 8243805 B2 процесс ретуширования основан на дополнении карты векторов движения. Сначала оценивается локальное движение пикселей и определяется пространственно-временной пробел в последовательности на основании предоставленных масок (из пользовательского ввода или автоматически). Далее отсутствующие значения векторов движения в пробеле переносят в виде пространственно-временных вставок из известных данных путем использования особым образом реализованной меры подобия. В результате становится доступна полная информация о векторах движения для всей последовательности, которая может быть далее использована для распространения значений пикселей в пространственно-временной пробел. Однако очевидно, что такой подход не всегда позволяет дополнить всю последовательность. Например, сцена с почти статичным объектом перед статичным фоном или сцены с изменением масштаба не могут обеспечить достаточно данных для полного заполнения области объекта.

В US 2013/0182184 A1 представлен другой подход к ретушированию видеоизображения. Он основан на представлении видео из одной сцены в виде мозаичных изображений (мозаичные изображения создают из кадров, совмещенных в определенной системе координат с фиксированным опорным кадром). Описанная система заполняет отсутствующие части путем совмещения кадров по координатам того же опорного кадра (мозаичное представление) и затем ретуширует оставшиеся части мозаики с использованием подходящего способа пространственного ретуширования. Затем мозаичное представление преобразуют обратно в последовательность кадров, в которой все отсутствующие части полностью заполнены одним и тем же образом. Ожидается, что описанная система обеспечит полное дополнение последовательности в случаях простого движения. Для сцен со сложным локальным движением фона совмещение кадров с помощью отслеживания характерных точек может быть недостаточным для описания движения, что может привести к видимым артефактам в получаемой последовательности.

В US 2013/0128121 A1 описано устройство для ретуширования видеоданных на основании отслеживания характерных точек. С использованием двумерного (2D) отслеживания получают траектории редких точек сцены и выделяют часть из них для описания плавного движения сцены. Это движение используют для прогнозирования точек сцены, которые являются невидимыми на целевых кадрах и для переноса содержимого из кадров-источников путем совмещения характерных точек и последующего использования технологий переноса с сохранением содержимого и наложения для заполнения отсутствующих областей. Предложенный способ хорошо работает только для последовательностей с определенными типами движения, которые обеспечивают возможность нахождения источника для каждого целевого пикселя. Этот документ не касается случаев, когда требуются дополнительные технологии пространственного ретуширования для обеспечения ретуширования видеоданных с наименьшим числом видимых артефактов.

US 2012/0162395 A1 описывает синтез ракурсов для трехмерных (3D) видеосистем. В предложенном способе определяют значения глубины в отсутствующей области (например, путем выбора наименьшего значения в определенной области вокруг отсутствующего пикселя) и затем вычисляют значения цвета с использованием полученных значений глубины путем применения особой взвешенной фильтрации для всех отсутствующих пикселей и соседних пикселей. Способ был разработан для заполнения областей открытия для синтеза трехмерных ракурсов и в общем может показать плохие визуальные результаты при больших ретушированных областях. Кроме того, в нем не используется временная информация в видеопоследовательности, поскольку он основан только на информации о глубине и цвете для одного кадра.

US 2013/0128121 A1 и US 2006/0257042 A1 можно рассматривать в качестве ближайших аналогов предлагаемого изобретения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Учитывая вышеописанные проблемы, согласно настоящему изобретению предложен способ ретуширования фона видеоизображения и соответствующая система обработки видеоданных, выполненная с возможностью осуществления такого способа, которые преодолевают по меньшей мере некоторые из недостатков систем обработки видеоданных из уровня техники.

Задача изобретения состоит в создании способа обработки видеоданных для ретуширования фона видеоизображения, работающего с данными пикселей, попиксельными полями векторов движения и указанием отсутствующих областей, т.е. областей, подлежащих восстановлению, в данных пикселей для каждого кадра последовательности видеоданных, например положений объектов переднего плана, причем все упомянутые данные относятся к одной видеопоследовательности. Видеопоследовательность в контексте настоящего документа - это последовательность кадров, которые могли быть сняты одной непрерывной съемкой камеры без перерывов и мгновенных переходов.

В одном аспекте изобретение относится к способу ретуширования фона видеоизображения, работающему с данными пикселей, причем способ содержит этапы, на которых:

a. получают информацию о движении фона из серии кадров видеопоследовательности,

b. для всех кадров с по меньшей мере одной отсутствующей областью:

- распространяют данные пикселей из одного или более предшествующих кадров с использованием информации о движении фона,

- распространяют данные пикселей из одного или более последующих кадров с использованием информации о движении фона, и

- объединяют упомянутые данные с частично восстановленными данными пикселей в одной или более указанных областях на текущем кадре;

c. повторяют до тех пор, пока не восстановлены все отсутствующие области на всех кадрах, этапы, на которых:

- выбирают кадр с по меньшей мере одной оставшейся отсутствующей областью;

- выполняют процедуру пространственного ретуширования на упомянутом кадре для восстановления данных пикселей упомянутой отсутствующей области; и

- распространяют восстановленные данные пикселей из упомянутого выбранного кадра на все кадры последовательности, на которые возможно распространить упомянутые восстановленные данные пикселей, с использованием информации о движении фона.

В варианте выполнения получение информации о движении фона может содержать этапы, на которых оценивают попиксельное движение для полного кадра для определенного кадра и применяют процедуру пространственного заполнения движения для оценки фонового движения в областях, подлежащих восстановлению.

Процедура пространственного заполнения движения может использовать оценку глобального движения внутри отсутствующих областей и обеспечивать плавный переход от попиксельного движения к глобальному движению вблизи границ отсутствующей области.

Распространение данных пикселей с использованием информации о фоновом движении может содержать этап, на котором осуществляют временную интеграцию полнокадровых полей движения между кадрами-источниками и целевыми кадрами и распространяют доступные данные пикселей из кадров-источников в указанные отсутствующие области в целевом кадре.

В другом аспекте предложена система обработки видеоданных, выполненная с возможностью ретуширования фона видеоизображения, работая с данными пикселей, причем система содержит:

по меньшей мере один процессор; и

память для хранения данных, относящихся к обработке видеоданных, а также компьютерные программные инструкции;

причем при исполнении упомянутым по меньшей мере одним процессором компьютерные программные инструкции побуждают процессор:

- получать информацию о движении фона из серии кадров видеопоследовательности;

- для всех кадров с по меньшей мере одной отсутствующей областью:

- распространять данные пикселей из одного или более предшествующих кадров с использованием информации о движении фона,

- распространять данные пикселей из одного или более последующих кадров с использованием информации о движении фона, и

- объединять упомянутые данные с частично восстановленными данными пикселей в одной или более указанных областях на текущем кадре;

- выбирать кадр с по меньшей мере одной оставшейся отсутствующей областью;

- выполнять процедуру пространственного ретуширования на упомянутом кадре для восстановления данных пикселей упомянутой отсутствующей области; и

- распространять данные пикселей из упомянутого выбранного кадра на все кадры последовательности, в которые возможно распространить упомянутые восстановленные данные пикселей, с использованием информации о движении фона.

При исполнении упомянутым по меньшей мере одним процессором компьютерные программные инструкции могут дополнительно побуждать по меньшей мере один процессор оценивать попиксельное движение для полного кадра для определенного кадра и применять процедуру пространственного заполнения движения для оценки движения фона в областях, подлежащих восстановлению. Также компьютерные программные инструкции могут дополнительно побуждать по меньшей мере один процессор использовать оценку глобального движения в отсутствующих областях и обеспечивать плавный переход от попиксельного движения к глобальному движению вблизи границ отсутствующей области. В варианте выполнения компьютерные программные инструкции могут дополнительно побуждать по меньшей мере один процессор осуществлять временную интеграцию полнокадровых полей движения между кадрами-источниками и целевыми кадрами и распространять доступные данные пикселей из кадров-источников в указанные отсутствующие области в целевом кадре.

Еще один аспект изобретения относится к машиночитаемому носителю, на котором сохранена компьютерная программа, которая при исполнении по меньшей мере одним процессором побуждает по меньшей мере один процессор выполнять способ ретуширования фона видеоизображения, работающий с данными пикселей, причем компьютерная программа содержит:

- код для получения информации о движении фона из серии кадров видеопоследовательности,

- код для распространения данных пикселей из одного или более предшествующих кадров с использованием информации о движении фона,

- код для распространения данных пикселей из одного или более последующих кадров с использованием информации о движении фона, и

- код для объединения упомянутых данных с частично восстановленными данными пикселей в одной или более указанных областях на текущем кадре;

- код для выбора кадра с по меньшей мере одной оставшейся отсутствующей областью;

- код для выполнения процедуры пространственного ретуширования на упомянутом кадре для восстановления данных пикселей упомянутой отсутствующей области; и

- код для распространения данных пикселей из упомянутого выбранного кадра на все кадры последовательности, на которые возможно распространить упомянутые восстановленные данные пикселей, с использованием информации о фоновом движении.

При прочтении и понимании нижеприведенного описания специалистам в данной области техники будет понятно, что заявленное изобретение может также принимать и другие формы. Различные этапы способа и компоненты системы могут быть реализованы средствами аппаратного обеспечения, программного обеспечения, микропрограммного обеспечения или любым подходящим их сочетанием.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

После вышеприведенного раскрытия изобретения ниже приведено подробное описание изобретательского замысла в качестве примера и с обращением к сопровождающим чертежам, которые приведены лишь в качестве иллюстрации и не предназначены для ограничения объема заявленного изобретения или определения его существенных признаков. На чертежах:

Фиг. 1 иллюстрирует основные компоненты системы обработки видеоданных согласно изобретению.

На Фиг. 2 показаны основные этапы ретуширования фона видеоизображения в соответствии со способом ретуширования фона видеоизображения согласно изобретению.

На Фиг. 3 показан пример временного интегрирования движения в соответствии со способом согласно изобретению.

Фиг. 4A-B иллюстрирует принципы распространения данных пикселей при распространении на текущий кадр и с него с использованием интегрированного движения в соответствии со способом согласно изобретению.

Фиг. 5 иллюстрирует принципы получения движения фона согласно изобретению.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Настоящее подробное описание приведено, чтобы способствовать пониманию сущности изобретения. Следует отметить, что описание относится к примерным вариантам выполнения изобретения, и при внимательном прочтении описания с обращением к сопровождающим чертежам специалистом в данной области техники могут быть предусмотрены другие модификации, изменения и эквивалентные замены в описанных объектах изобретения. Все такие очевидные модификации, изменения и эквиваленты считаются охваченными объемом заявляемого изобретения. Ссылочные позиции и условные обозначения, приведенные в настоящем подробном описании, а также в прилагаемой формуле изобретения, не предназначены для ограничения или определения объема заявляемого изобретения каким-либо образом.

Заявленное изобретение относится к способу ретуширования фона видеоизображения, работающего с данными пикселей, попиксельными полями векторов движения и указанием отсутствующих областей (т.е. областей, подлежащих восстановлению) в данных пикселей для каждого кадра последовательности видеоданных, например положений объектов переднего плана, причем все упомянутые данные относятся к одной видеопоследовательности. Видеопоследовательность в контексте настоящего документа - это последовательность кадров, которые могли быть сняты одной непрерывной съемкой камеры без перерывов и мгновенных переходов. Способ согласно изобретению содержит следующие этапы, на которых:

a. получают информацию о движении фона из серии кадров видеопоследовательности,

b. для всех кадров с по меньшей мере одной отсутствующей областью:

- распространяют данные пикселей из одного или более предшествующих кадров с использованием информации о движении фона,

- распространяют данные пикселей из одного или более последующих кадров с использованием информации о движении фона, и

- объединяют упомянутые данные с частично восстановленными данными пикселей в одной или более указанных областях на текущем кадре;

c. повторяют до тех пор, пока не восстановлены все отсутствующие области на всех кадрах, этапы, на которых:

- выбирают кадр с по меньшей мере одной оставшейся отсутствующей областью;

- выполняют процедуру пространственного ретуширования на упомянутом кадре для восстановления данных пикселей упомянутой отсутствующей области; и

- распространяют данные пикселей из упомянутого выбранного кадра на все кадры последовательности, на которые возможно распространить упомянутые восстановленные данные пикселей, с использованием информации о движении фона.

На Фиг. 1 изображены основные компоненты обобщенной системы, способной выполнять упомянутый алгоритм. Программа, которая реализует алгоритм, хранится в памяти (101) вместе с данными, требуемыми для процесса. Она выполняется и управляется одним или более процессорами (100) и выводит результат либо в память, либо посредством подходящего устройства (103) отображения. Вся передача данных происходит через шину (104) данных.

На Фиг. 2 показаны основные этапы алгоритма ретуширования фона видеоизображения, на котором основан способ согласно изобретению. Алгоритм работает с последовательностями видеоданных, которые содержат одну снятую сцену. В случае множества сцен необходимо разделить их на множество подпоследовательностей и обработать каждую из них по отдельности. На этапе (201) система, которая осуществляет способ согласно изобретению, получает все необходимые входные данные, такие как: цветные или полутоновые изображения для всех кадров в последовательности, информацию об отсутствующих областях для всех кадров в последовательности (указанных любым подходящим средством, например масками). Также для всех кадров в последовательности требуются попиксельные поля движения фона (или их оценки). Предложенная схема оценки движения фона поясняется ниже, см. Фиг. 5 для подробного описания. Далее для каждого кадра в последовательности, начиная с первого, система выполняет этапы (203a) и (203b) (которые могут быть выполнены параллельно). На этапах (203a) и (203b) осуществляется временное интегрирование полей движения вперед и назад, берущих начало в текущем кадре, в направлении каждого из предшествующих и последующих кадров (см. приведенное ниже описание со ссылкой на Фиг. 3 для более подробного описания процесса). Это обеспечивает карты соответствия фоновых пикселей между текущим (целевым) и любым из других кадров (источников) в последовательности. Если пиксель отмечен как отсутствующий на целевом кадре, но существуют один или более кадров-источников, на которых соответствующий пиксель не отсутствует, то пиксель из источника может быть заполнен («перенесен» или «распространен») данными, взятыми из упомянутого кадра-источника (для иллюстрации см. верхнюю часть Фиг. 4). После этого выполняют этап (204) смешивания доступных перенесенных пикселей следующим образом: если для целевого пикселя существуют два или более возможных пикселя, которые взяты из кадров с одного направления поиска (например, все с предшествующих или с последующих кадров), то выбирают пиксель источника, который ближе по времени к кадру источника. Если существуют два возможных пикселя для целевого пикселя, взятых из кадров с различных направлений поиска (один из предшествующего кадра и один из последующего), то используют смешивание с весовыми коэффициентами, зависящими от временной удаленности каждого пикселя источника. После заполнения целевого пикселя его отмечают как не отсутствующий и процесс продолжается для следующего отсутствующего пикселя. В результате этапа (204) получается кадр, на котором заполнена по меньшей мере часть исходно отсутствовавших пикселей. После выполнения вышеуказанных этапов для каждого кадра в последовательности алгоритм переходит к этапу (205). Если некоторые из кадров по-прежнему имеют отсутствующие пиксели, то на этапе (207) один из таких пикселей выбирают для пространственного ретуширования. Могут быть использованы несколько критериев, например на основании общей площади отсутствующих данных пикселей в кадре. Далее на этапе (208) отсутствующие пиксели ретушируют посредством любого подходящего способа пространственного ретуширования, такого как способ, описанный в патенте US 7,551,181 B2 (Criminisi и др.) “Image Region Filling by Exemplar-Based Inpainting”. Единственное требование состоит в том, что выбранный способ должен синтезировать зрительно правдоподобную структуру. Поэтому предпочтение в общем отдается способам на основании образцов. На этапе (209) новую информацию, введенную посредством пространственного ретуширования на выбранном кадре (источнике), распространяют на все соседние с ним (целевые) кадры с использованием того же процесса, что описан для этапов (203a) и (203b) (см. также Фиг. 4B для пояснения). Этапы (205), (207)-(209) повторяют до тех пор, пока в данных не останется отсутствующих пикселей, затем алгоритм переходит к этапу (206) и завершается.

Фиг. 3 иллюстрирует процесс временного интегрирования полей движения для трех следующих друг за другом кадров, начиная с индекса N до N+2 (отмечены, соответственно, как 300, 301 и 302). Временная интеграция означает выборку и сложение следующих друг за другом полей векторов, определенных в одной и той же области изображения, следующим образом. Предположим, что элемент (303) является вектором движения с координатами (u₁, v₁), берущим начало из поля (300) движения в некотором положении (x, y). Тогда производят выборку поля (301) движения в положении (x+u₁, y+v₁). В случае субпиксельной точности движения может быть использована билинейная интерполяция или любой другой вид интерполяции для получения вектора (304) движения с координатами (u₂, v₂). Сложение этих двух векторов приводит к элементу (305) - вектору, который можно рассматривать как интегрированное смещение пикселя в положении (x, y) в кадре (300) по сравнению с кадром (302). Точно такой же процесс применяют при интегрировании назад во времени от кадра N к кадрам N-1 и т.д.

На Фиг. 4A-B обозначены основные различия и поток данных для процессов распространения, описанных на этапах (203) и (209) по Фиг. 2. На Фиг. 4A показан поток данных для этапа (203), а на Фиг. 4B показан поток данных для этапа (209). Элементы (400) в обоих случаях представляют кадр или кадры-источники, элементы (401) (окрашенные черным) в обоих случаях соответствуют отсутствующим областям на целевых кадрах, элементы (402) представляют области-источники, т.е. области, которые будут скопированы в отсутствующие области (401) в обоих случаях, и элементы (403) соответствуют целевым областям, которые ранее отсутствовали и были обновлены данными, взятыми из областей, отмеченных как (402). Элемент (404) - это целевой кадр (или кадры), подлежащие обновлению посредством алгоритма. На Фиг. 4A данные распространяют из всех соседних кадров на текущий кадр, частично заполняя различные части отсутствующей области (для подробностей см. описание этапа 203 по Фиг. 2). На Фиг. 4B данные распространяют с полного текущего кадра на все соседние кадры, частично заполняя отсутствующие области (для подробностей см. описание этапа 209 по Фиг. 2). Распространение выполняют, как описано выше, с использованием интегрированных полей движения фона.

Фиг. 5 иллюстрирует основные концепции предложенного способа получения движения фона в соответствии с настоящим изобретением. Ссылочная позиция (500) обозначает полнокадровое поле M₀(x,y) векторов движения, определенное по области изображения, которое используют в качестве входных данных, оцениваемых любым способом, который предоставляет попиксельное поле векторов движения с необходимой точностью, см., например, заявку на патент РФ № RU 2012129183. Далее, ссылочная позиция (501) обозначает край отсутствующей области, которая состоит из областей (502) и (503). Алгоритм получения движения фона синтезирует свои выходные данные из трех различных полей векторов движений. Вне области, окруженной контуром (501), векторы движения принимают равными M₀(x,y). Далее внутри области (502) и (503) векторы движения заполняют оценкой M₁(x,y), полученной адаптацией определенной модели движения. Например, можно рассмотреть гомографию между плоскостями, определяемую следующими выражениями:

Пусть (x', y')=(x, y)+M₀(x, y), тогда путем подстановки H в точки, формируемые с векторами M₀(x, y), взятыми из области (504), может быть вычислено глобальное поле векторов движения M₁(x, y) по области изображения в виде разности между исходными точками (x, y) и точками, полученными из них путем гомографического преобразования с подставленными параметрами H (матрица 3 на 3). Область (504) представляет собой полосу шириной w (взятой в качестве параметра алгоритма, обозначенного ссылочной позицией (507)), которая находится на расстоянии d₂ пикселей от контура (501) (d ₂ является еще одним параметром алгоритма, обозначенным позицией (506) на Фиг. 5). Назначение упомянутой полосы состоит в предотвращении введения артефактов, которые могут образоваться при оценке попиксельного движения вокруг краев объекта в оценках глобального движения. Кроме того, в области (503), которая представляет собой другую полосу на d ₁ пикселей внутрь от контура (501) (d₁ - параметр, обозначенный ссылочной позицией (505)), используют другую оценку M₂(x, y) поля векторов движения. Авторы изобретения предлагают использовать способы на основании диффузии для оценки движения (ретуширования) в области (503), используя M₀(x, y) в качестве источника для ретуширования, как описано в публикации Telea, A. (2004). An image inpainting technique based on the fast marching method. Journal of graphics tools, 9(1), 23-34. В результате получают два поля векторов движения M₁(x, y), M₂(x, y), которые содержат оценки фонового движения внутри области, окруженной контуром (501). Следующий этап состоит в их попиксельном смешивании внутри области (503) для получения результирующего поля векторов движения. Это может быть реализовано путем выбора надлежащей весовой функции W(x, y), определяемой по той же области изображения. Пусть 0≤W(x,y)≤1, тогда результирующее поле векторов вычисляют в виде M(x,y)=(1-W(x,y))·M₁(x,y)+W(x,y)·M₂(x,y). Цель этого состоит в фиксации локальных особенностей движения и обеспечении плавного перехода от исходных оценок к оценкам глобального движения в кадре. В предпочтительном варианте используется W(x, y), экспоненциально уменьшающаяся (с приемлемым параметром скорости уменьшения в пикселях) с расстоянием от края (501) отсутствующей области внутри отсутствующей области и равное 1 вне отсутствующей области. В результате получается попиксельная оценка векторов движения фона для полного кадра, которая в общем имеет свойства глобального движения внутри ранее отсутствовавших областей, но не имеет проблем, связанных с потерей непрерывности вокруг краев отсутствующей области.

Вышеописанный способ применим для осуществления в системах, выполняющих преобразование видео из 2D в 3D с участием пользователя, а также к любой другой обработке для улучшения видеоданных, которая требует ретуширования видеоданных. Типичная основная система с необходимыми компонентами, которые являются обычными для вычислительной системы общего назначения, была более подробно описана выше, см. описание со ссылкой на Фиг. 1.

При прочтении вышеприведенного описания с обращением к чертежам специалистами в данной области техники могут быть предусмотрены другие аспекты изобретения. Специалисту в данной области техники будет понятно, что возможны другие варианты выполнения изобретения и что подробности изобретения могут быть изменены в различных отношениях без выхода за рамки изобретательского замысла. Таким образом, чертежи и описание рассматриваются как имеющие иллюстративный, но не ограничительный характер. Объем заявляемого изобретения определяется только прилагаемой формулой изобретения.