Результат интеллектуальной деятельности: УСТРОЙСТВО И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ, ПРОГРАММА ДЛЯ ЕГО РЕАЛИЗАЦИИ И НОСИТЕЛЬ ИНФОРМАЦИИ, КОТОРЫЙ ХРАНИТ ПРОГРАММУ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001]

Изобретение относится к технологии формирования изображения с высоким разрешением путем использования множества изображений.

Испрашивается Приоритет по заявке на Патент Японии №2007-267927, которая была подана 15 октября 2007, содержание которой включено в настоящее описание посредством ссылки.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

[0002]

Применительно к системам создания изображения в нескольких проекциях фиг.11 является схемой, отражающей пример расположения камер, имеющих расположение вдоль прямой линии; фиг.12 является схемой, отражающей еще один пример расположения камер, имеющих расположение в плоскости; фиг.13 является схемой, отражающей еще один пример расположения камер, имеющих расположение по дуге; и фиг.14 является схемой, отражающей еще один пример расположения камер, имеющих расположение по сферической поверхности.

[0003]

Для создания изображения сцены с различных направлений были разработаны системы создания изображения в нескольких проекциях. В системах создания изображения в нескольких проекциях расположение камер имеет разнообразные формы, такие как: одномерное расположение вдоль прямой линии, как показано на фиг.11; двумерное расположение в плоскости, как показано на фиг.12; расположение по дуге, как показано на фиг.13; или расположение по сферической поверхности, как показано на фиг.14. Использование таких систем создания изображения в нескольких проекциях позволяет получить видеосцены c многих направлений.

[0004]

В добавление, существует технология под названием «синтез изображения» для формирования данных изображения в местоположении воображаемой камеры (в котором не происходит создание изображения) путем использования изображений с камер, полученных созданием изображения в нескольких проекциях. В синтезе изображения принято, что известен параметр камеры, отражающий пространственное положение, в котором было получено исходное видеоизображение. Синтез изображения может быть выполнен различными способами.

Например, существует способ выполнения синтеза путем оценки данных глубины. Вначале получают данные несоответствия путем поиска соответствующих точек между исходными видеоизображениями, а данные глубины релевантной сцены оценивают на основании данных несоответствия. Затем оцениваются данные глубины для местоположения воображаемой камеры и формируются соответствующие данные изображения, используя данные изображения исходных камер (смотри Непатентный Документ 1).

[0005]

В другом примере способов не производится оценка данных глубины, а данные изображения в местоположении воображаемой камеры формируются, используя данные несоответствия исходных изображений (смотри Непатентный Документ 2).

[0006]

В другом примере, используется множество изображений с камеры для оценки данных трехмерной модели объекта, представленного в релевантной сцене, и формируется изображение модели, спроецированное с местоположения воображаемой камеры (смотри Непатентный Документ 3).

[0007]

В вышеописанных системах создания изображения, как правило, используются камеры, имеющие одно и то же разрешение, тем не менее, могут быть использованы камеры с разным разрешением. Путем использования сочетания камеры, имеющей высокое разрешение, и камеры, имеющей низкое разрешение, существует возможность уменьшить размер получаемых данных изображения. В добавление, камеры могут иметь разное местоположение фокусировки или угол обзора. В таком случае, даже когда каждый получаемый сигнал изображения имеет одно и то же разрешение, каждая зона, которая фактически отображается, имеет индивидуальное разрешение.

[0008]

Для получения изображения с высоким разрешением на основе изображения с низким разрешением известны: способ увеличения путем применения к каждому сигналу изображения в изображении с низким разрешением фильтра повышающей передискретизации или способ сверхвысокого разрешения.

[0009]

В этом способе увеличения сигнал изображения получается применением подходящего фильтра к сигналам изображения в окружающей области. В способе сверхвысокого разрешения, в основном, используются данные множества изображений, имеющих одно и то же разрешение, которые были получены последовательно (смотри Непатентный Документ 4). Сначала изображение, имеющее разрешение выше, чем полученное изображение, назначается в качестве целевого изображения. То есть каждое местоположение пикселя, которое должно быть сформировано в целевом изображении, определяется заранее. Затем устанавливается соответствующая взаимосвязь между полученными изображениями, и каждый сигнал изображения, полученный при формировании изображения, назначается соответствующему целевому местоположению пикселя, тем самым получая данные изображения, имеющие высокое разрешение.

Непатентный документ 1: Keita Takahashi and Takeshi Naemura,“Layered Light-Field

Rendering with Focus Measurement”, EURASIP Signal Processing: Image Communication, том 21, №6, стр.519-530 (июль 2006).

Непатентный документ 2: M. Droese, T. Fujii, and M. Tanimoto,“Ray-Space Interpolation Constraining Smooth Disparities Based On Loopy Belief Propagation”, Proc. of IWSSIP2004, стр.247-250, Познань, Польша, Сентябрь 2004.

Непатентный документ 3: Takashi Matsuyama, Takeshi Takai, Xiaojunn Wu, and Shohei Nobuhara, "Generation, Editing, and Visualization of 3D Video", Proceedings of The Virtual Reality Society of Japan, том 7, №4, стр. 521-532, декабрь 2002.

Непатентный документ 4: Masayuki Tanaka and Masatoshi Okutomi, "A Fast Algorithm for Reconstruction-Based Super-Resolution and Its Accuracy Evaluation", Протоколы IEICE, D-II, том J88-D-II, №11, стр. 2200-2209, 2005.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Задача, решаемая изобретением

[0010]

Для предлагаемой авторами настоящего изобретения новой технологии обработки изображения в нескольких проекциях, имеющего разные разрешения, выявленной изобретателями настоящего изобретения, задачей является восстановление высокочастотных данных, которых нет в изображении с низким разрешением, тем самым увеличивая разрешение изображения, которое было получено с низким разрешением и имеет субъективное качество изображения ниже, чем у изображения с высоким разрешением, при этом также обеспечивая желаемое качество изображения релевантного изображения.

Средства для решения задачи

[0011]

В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные разрешения, не применяется. Таким образом, задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющего разные разрешения.

При использовании камер с разными разрешениями в системе создания изображения в нескольких проекциях представлены как изображение, имеющее высокое разрешение, так и изображение, имеющее низкое разрешение. Даже в случае использования камер с одинаковым разрешением количество данных может быть снижено путем снижения разрешения части камер, что является предпочтительным для сжатия изображения в нескольких проекциях. Также в этом случае, представлены как изображение, имеющее высокое разрешение, так и изображение, имеющее низкое разрешение.

[0012]

В вышеописанных случаях данные изображения, относящиеся к низкому разрешению, не содержат высокочастотной составляющей. Следовательно, в сравнении с данными изображения с местоположения камеры, на котором создание изображения производилось с высоким разрешением, данные изображения с местоположения камеры, на котором создание изображения производилось с низким разрешением, имеют более низкое субъективное качество изображения.

[0013]

Настоящее изобретение решает такую проблему и восстанавливает высокочастотные данные, которые изображение с низким разрешением утеряло, тем самым увеличивая разрешение изображения, которое было получено с низким разрешением и которое имеет субъективное качество изображения ниже, чем у изображения, имеющего высокое разрешение, при этом также обеспечивая желаемое качество изображения для релевантного изображения.

[0014]

Настоящее изобретение будет объяснено в целом. Например, совокупный объем обрабатываемых данных изображения может быть снижен путем создания изображения сцены, используя множество камер с разным разрешением. Следовательно, в этом случае объем кода видеоизображения в нескольких проекциях может быть значительно снижен. Тем не менее, изображение с камеры, полученное с низким разрешением, имеет низкое субъективное качество изображения в сравнении с изображением, имеющим высокое разрешение.

Настоящее изобретение решает вышеописанную проблему путем увеличения разрешения такого изображения, полученного с низким разрешением, при этом также обеспечивая желаемое качество изображения для релевантного изображения. В обычных технологиях видеоизображение в нескольких проекциях, имеющее разные разрешения, не используется. Задача настоящего изобретения формируется из новой технической идеи применения видеоизображения в нескольких проекциях, имеющего разные разрешения.

В особенности, как показано в вариантах осуществления, описанных далее, настоящее изобретение может быть применено не только к видеоизображению в нескольких проекциях, имеющему разные разрешения, но также к видеоизображению, имеющему различные разрешения между кадрами, введенными одной камерой.

[0015]

В своей основе настоящее изобретение предоставляет метод для восстановления высокочастотных данных, которые потеряло изображение, имеющее низкое разрешение, тем самым снижая общий объем обрабатываемых сигналов изображения при применении видеоизображения в нескольких проекциях, имеющего различные разрешения. Таким образом, существует возможность значительно снизить объем кода видеоизображения в нескольких проекциях.

[0016]

Как описано выше, для увеличения числа пикселей в изображении, имеющем низкое разрешение, то есть увеличения разрешения изображения, для создания изображения с высоким разрешением, используя сигнал изображения другого изображения известны: способ увеличения сигнала изображения путем использования фильтра повышающей передискретизации и способ сверхвысокого разрешения. Среди них способ увеличения сигнала изображения не может получить потерянные высокочастотные данные. Способ сверхвысокого разрешения может получить потерянные высокочастотные данные, но его особый подход и целевой объект отличаются от тех, что отвечают настоящему изобретению.

[0017]

Для способа сверхвысокого разрешения должно существовать множество элементов данных изображения, имеющих низкое разрешение. В целевом изображении, имеющем высокое разрешение, определяется каждое местоположение пикселя, и данные изображения, имеющие низкое разрешение, назначаются этому местоположению пикселя. По этой причине способ сверхвысокого разрешения является технологией формирования изображения, которое исходно не было представлено, посредствам синтеза.

[0018]

В противоположность, настоящее изобретение имеет, по существу, другую задачу для решения, в сравнении со способом сверхвысокого разрешения, и цель изобретения заключается в том, чтобы восстановить высокочастотный компонент, который данные изображения с низким разрешением исходно имели. Релевантное формирование производится, используя соответствующие данные изображения в другом изображении, имеющем высокое разрешение, при этом исходные данные изображения с низким разрешением используются только для поиска каждой соответствующей точки. К изображению, полученному путем увеличения изображения, имеющего низкое разрешение, применяются данные изображения из соответствующего изображения с высоким разрешением. Такой технический способ в своей основе отличается от концепции способа сверхвысокого разрешения.

[0019]

Для того чтобы решить вышеописанную задачу настоящее изобретение предоставляет способ формирования изображения для формирования изображения C путем использования изображения A и изображения B, имеющего разрешение выше, чем у изображения A, причем способ содержит:

этап увеличения изображения, на котором формируют изображение C, имеющее такое же разрешение, как у изображения B, путем увеличения изображения A;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также оценивают местоположение релевантной соответствующей точки; и

этап назначения соответствующего изображения, на котором каждому местоположению пикселя в изображении C, для которого на этапе оценки соответствующих точек было оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B.

[0020]

В соответствии с вышеописанным способом формирования изображения обеспечивается возможность формировать изображение с высоким разрешением, соответствующее выбранному изображению, имеющему низкое разрешение, путем использования высокочастотных данных, входящих в состав другого изображения. Если для формирования изображения другое изображение не имеет сигнала изображения, соответствующего целевому местоположению пикселя, то для предотвращения отсутствия данных изображения могут быть использованы данные изображения, имеющие разрешение, увеличенное из исходных данных с низким разрешением.

[0021]

При оценке соответствующей точки данные соответствующей точки могут быть предоставлены как входные данные или каждая соответствующая точка может быть найдена путем поиска, используя данные изображения. При предоставлении данных соответствующей точки в качестве входных данных данные глубины или геометрические данные релевантной сцены могут быть оценены заранее, а затем могут быть оценены соответствующие точки между изображениями.

[0022]

Во время поиска каждой соответствующей точки может быть вычислено абсолютное значение каждого расхождения между соответствующими пикселями (то есть между каждым пикселем изображения C и одним или более кандидатами пикселя в изображении B). Когда минимальное абсолютное значение меньше либо равно заранее определенному порогу, точка, которая привела к получению минимального значения, может быть оценена как соответствующая точка. Когда минимальное абсолютное значение больше порога, может быть оценено, что соответствующей точки не существует.

Также предпочтительно посредством записи в файл хранить порог совместно с релевантными данными изображения, имеющими низкое разрешение. При формировании данных изображения, имеющих высокое разрешение, используя хранящиеся данные изображения, имеющие низкое разрешение, точно такое же изображение может быть всегда сформировано путем использования порога, включенного в релевантный файл.

[0023]

При создании изображения сцены с множества направлений, используя камеры с разным разрешением, изображение с высоким разрешением, соответствующее изображению с камеры с низким разрешением, может быть сформировано, используя изображение с другой камеры, имеющее высокое разрешение. Этот способ может быть применен не только для изображения в нескольких проекциях, но также для видеоизображения, полученного с единственной камеры. Таким образом, когда кадры видеоизображения имеют разное разрешение, изображение, имеющее высокое разрешение, соответствующее изображению кадра с низким разрешением, может быть сформировано, используя изображение другого кадра, имеющего высокое разрешение.

[0024]

Вышеописанный способ может дополнительно включать в себя этап интерполяции изображения, на котором формируют данные изображения для каждого местоположения пикселя в изображении C, для которого на этапе оценки соответствующих точек оценено, что соответствующей точки не существует, посредством интерполяции с использованием данных изображения, назначенных на этапе назначения соответствующего изображения.

[0025]

В этом случае, когда для формирования изображения релевантное другое изображение не имеет сигнала изображения, соответствующего целевому местоположению пикселя, тогда целевые данные изображения формируются посредством интерполяции, используя уже сформированный сигнал изображения на прилегающем местоположении, который имеет высокое разрешение, таким образом предотвращая возможность отсутствия данных изображения.

[0026]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения для изображения C путем использования изображения A и изображения B, имеющего разрешение выше, чем у изображения A, при этом способ содержит:

этап увеличения изображения, на котором формируют изображение D, имеющее такое же разрешение, как у изображения B, путем увеличения изображения A;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, которому на этапе оценки соответствующих точек оценено, что соответствующая точка не существует, формируют данные изображения посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения изображения, на котором формируют изображение F, имеющее такое же разрешение, что и у изображения A, путем уменьшения изображения E;

этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя в изображении A и данными изображения в точно таком же местоположении пикселя в изображении F; и

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных назначают данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше упомянутого порога, на этапе назначения данных назначают данные изображения, основывающиеся на данных изображения из изображения D, каждому соответствующему местоположению пикселя в изображении C.

[0027]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображения из изображения E.

[0028]

В соответствии с вышеописанным способом формирования изображения в случае возникновения ошибки в вычислении соответствующей точки между выбранным изображением и другим изображением вместо того, чтобы использовать изображение, имеющее высокое разрешение, сформированное способом, основанным на вышеописанном изобретении, для снижения ухудшения качества изображения, вызванного ошибкой оценки, могут быть использованы: (i) данные изображения, полученные путем увеличения исходных с низким разрешением до имеющих высокое разрешение, либо (ii) взвешенное среднее между сформированными данными изображения, имеющими высокое разрешение, и данными изображения, полученными путем увеличения исходных с низким разрешением до имеющих высокое разрешение.

[0029]

Настоящее изобретение также предоставляет способ формирования изображения для формирования данных изображения в изображении C путем использования изображения A и изображения B, которые имеют одно и то же разрешение, причем способ содержит:

этап уменьшения опорного изображения, на котором формируют изображение G, имеющее разрешение ниже, чем у изображения A, путем уменьшения изображения A;

этап увеличения изображения, на котором формируют изображение D, имеющее такое же разрешение, что и изображение A, путем увеличения изображения G;

этап оценки соответствующих точек, на котором оценивают наличие или отсутствие точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также оценивают местоположение релевантной соответствующей точки;

этап назначения соответствующего изображения, на котором местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек было оценено, что соответствующая точка существует, назначают данные изображения из соответствующего местоположения в изображении B;

этап интерполяции изображения, на котором формируют данные изображения в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого на этапе оценки соответствующих точек было оценено, что соответствующей точки не существует, посредством интерполяции, используя данные изображения, назначенные на этапе назначения соответствующего изображения;

этап уменьшения изображения, на котором формируют изображение F, имеющее такое же разрешение, что и у изображения G, путем уменьшения изображения E;

этап формирования расхождений, на котором вычисляют расхождение между данными изображения в каждом местоположении пикселя в изображении G и данными изображения в том же самом местоположении пикселя в изображении F;

этап установки порога, на котором устанавливают порог;

этап назначения данных изображения, при этом:

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, меньше либо равно порогу, на этапе назначения данных назначают каждому соответствующему местоположению пикселя в изображении C данные изображения в изображении E и,

когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога, на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения, основывающиеся на данных изображения в изображении D;

этап суммирования сформированных расхождений, на котором вычисляют сумму расхождений в данных изображения в релевантных местоположениях пикселя между изображением C, полученным на этапе выбора изображения, и изображением A; и

этап определения порога, на котором определяют порог, который дает минимальное значение в суммах расхождений, вычисленных на этапе суммирования сформированных расхождений, на основе результата повторения этапа выбора изображения и этапа суммирования сформированных расхождений при изменении порога, установленного на этапе установки порога, в пределах заранее определенного диапазона.

[0030]

В типичном примере, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога:

(i) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C данные изображения из изображения D или

(ii) на этапе назначения данных изображения назначают каждому соответствующему местоположению пикселя в изображении C взвешенное среднее между данными изображения из изображения D и данными изображения из изображения E;

[0031]

В соответствии с вышеописанным способом формирования изображения при преобразовании разрешения изображения к низкому значению, а затем к высокому значению, когда происходит формирование изображения, имеющего высокое разрешение, вышеописанным способом, величина ухудшения качества, вызванная ошибкой в оценке соответствующей точки, измеряется и может быть задан порог для выбора сформированного изображения, имеющего высокое разрешение, что приведет к минимизации ухудшения качества. Величина ухудшения качества может быть измерена, потому что также имеются данные изображения исходного высокого разрешения.

[0032]

Параметр порога может быть использован, как описано ниже. После оценки порога значение добавляется в качестве параметра порога к данным изображения низкого разрешения. Например, параметр порога также хранится в файле, совместно с изображением, имеющим низкое разрешение и другим релевантным изображением. В файл не включаются никакие данные изображения, относящиеся к изображению до момента преобразования к низкому разрешению. По этой причине данные изображения, имеющие разрешение ниже, чем у исходного изображения, подлежат записи в файл, что снижает размер файла. При чтении файла изображение, имеющее высокое разрешение, может быть сформировано на основе изображения с низким разрешением и другого изображения путем использования параметра порога, при этом изображение, имеющее высокое разрешение, имеет минимальное ухудшение субъективного качества изображения.

[0033]

В добавление, когда расхождение в каждом местоположении пикселя, вычисленное на этапе формирования расхождений, больше порога и используется вышеописанный способ (ii), изображение, полученное путем увеличения изображения, имеющего низкое разрешение, не применяется к сигналу формируемого изображения, а применяется взвешенное среднее между увеличенным изображением и изображением, исходно имеющим высокое разрешение. Следовательно, является возможным снизить размывание в изображении благодаря увеличению изображения, имеющего низкое разрешение.

[0034]

Настоящее изобретение также предоставляет устройства формирования изображения, которые формируют изображение в соответствии с вышеописанными способами.

Результат изобретения

[0035]

В соответствии с настоящим изобретением, для данных изображения, полученных с местоположения камеры, имеющей низкое разрешение, могут быть сформированы данные изображения, имеющие высокое разрешение, используя данные изображения, полученные с местоположения камеры, имеющей высокое разрешение, тем самым уменьшая ухудшение субъективного качества изображения.

ПЕРЕЧЕНЬ ФИГУР ЧЕРТЕЖЕЙ

[0036]

Фиг.1 является схемой, отражающей структуру устройства формирования изображения в качестве первого варианта осуществления настоящего изобретения.

Фиг.2 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.3 является схемой, отражающей работу устройства формирования изображения в качестве второго варианта осуществления настоящего изобретения.

Фиг.4 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.5 является схемой, отражающей структуру устройства формирования изображения в качестве третьего варианта осуществления настоящего изобретения.

Фиг.6 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.7 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.8 является схемой, отражающей структуру устройства формирования изображения в качестве четвертого варианта осуществления настоящего изобретения.

Фиг.9 является логической блок-схемой, отражающей работу устройства формирования изображения по данному варианту осуществления.

Фиг.10 является схемой, отражающей структуру устройства формирования изображения в качестве разновидности данного варианта осуществления.

Фиг.11 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение вдоль прямой линии.

Фиг.12 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение в плоскости.

Фиг.13 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по дуге.

Фиг.14 является схемой, отражающей систему создания изображения в нескольких проекциях, имеющую расположение по сферической поверхности.

Опорные обозначения

[0037]

101, 201, 301, 401 - модуль увеличения изображения,

102, 202, 302, 402 - средство оценки соответствующих точек,

103, 203, 303, 403 - модуль назначения соответствующего изображения,

204, 304, 404 - средство интерполяции изображения,

305, 405 - модуль уменьшения изображения,

306, 406 - средство формирования расхождений,

307, 407 - средство выбора изображения,

308, 408 - средство формирования изображения,

409 - модуль суммирования сформированных расхождений,

410 - модуль установки порога,

411 - модуль определения порога,

412 - модуль уменьшения опорного изображения.

НАИЛУЧШИЙ СПОСОБ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0038]

Вариант осуществления устройства формирования изображения по настоящему изобретению будет показан со ссылкой на чертежи.

[0039]

Первый вариант осуществления

В первом варианте осуществления изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение, которые были получены разными камерами, используются для формирования изображения C, которое соответствует изображению A, но имеет высокое разрешение (соответствующее тому, что имеет изображение B). В данном случае цвет всех сигналов, получаемых с камер, формируется, используя YUV сигналы (то есть сигнал яркости Y и сигналы цветности U и V). В настоящем варианте осуществления обрабатывается только сигнал Y.

[0040]

Фиг.1 отображает общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 101 увеличения изображения для увеличения изображения A таким образом, чтобы сформировать изображение C, имеющее точно такое же разрешение, что и у изображения B; средство 102 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; и модуль 103 назначения соответствующего изображения для назначения каждому местоположению пикселя в изображении C, для которого средством 102 оценки соответствующих точек оценено, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B.

[0041]

Модуль 101 увеличения изображения формирует увеличенное изображение путем получения данных изображения в промежуточных местоположениях посредством билинейной интерполяции.

Средство 102 оценки соответствующих точек использует параметры камеры или известные технологии согласования, для того чтобы сделать допущение в отношении одного или более кандидатов пикселя (в изображении B), соответствующего каждому из пикселей в изображении C, и вычисляет абсолютное значение расхождения между каждой парой соответствующих пикселей. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) меньше либо равно заранее определенному порогу, средство 102 оценки соответствующих точек оценивает точку, которая показала минимальное значение, как соответствующую точку. Когда минимальное значение из вычисленного(ых) абсолютного(ых) значения(ий) больше этого заранее определенного порога, средство 102 оценки соответствующих точек оценивает, что точки, соответствующей релевантному пикселю в изображении C, не существует.

[0042]

Основываясь на вышеописанном предположении, устройство формирования изображения на фиг.1 работает, как описано ниже. Фиг.2 является логической блок-схемой, отображающей эту работу.

[0043]

Во-первых, модуль 101 увеличения изображения формирует изображение C путем увеличения изображения A, как описано выше (смотри этап S10). Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B посредством вышеописанного способа (смотри этап S11). Каждому пикселю изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения, назначают данные изображения из соответствующей точки в изображении B (смотри этап S12). Вышеописанным процессом формируется изображение C.

[0044]

Модуль 101 увеличения изображения может использовать фильтр, имеющий большое количество отводов или двумерный фильтр либо может использовать одномерный фильтр в горизонтальном направлении, а затем в вертикальном направлении. Модуль 101 увеличения изображения также может использовать фильтр, который сохраняет данные краев. В любом случае процесс увеличения разрешения выполняется, используя данные изображения из изображения A (целевого изображения, которое должно быть увеличено) без использования изображения B.

[0045]

Средство 102 оценки соответствующих точек вычисляет абсолютное значение каждого расхождения между релевантными пикселями в вышеописанном процессе. Тем не менее, оценка может быть произведена, используя блок, состоящий из множества пикселей, где центральный пиксель является целевым пикселем для оценки. Например, для каждого пикселя в изображении C делается допущение касаемо одного или более кандидатов соответствующего пикселя в изображении B и общей суммы абсолютных значений расхождений от множества пикселей, которые образуют блок и чьим центром является каждый кандидат. Местоположение кандидата, который дает минимальное значение общей суммы, может быть оценено как являющееся соответствующей точкой.

[0046]

В вышеописанном примере, изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение, которые были получены разными камерами, используются для формирования изображения C, имеющего высокое разрешение. Однако для формирования изображения C, имеющего высокое разрешение, могут быть использованы изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение, которые были получены с общей камеры, но в разные моменты времени.

[0047]

В добавление, несмотря на то, что в вышеприведенном процессе для формирования изображения C использовались изображения A и B, также может быть использовано множество изображений B. Пример использования двух изображений B (B1 и B2) будет показан ниже. Будет объяснена работа устройства формирования изображения для этого случая, при этом структура его такая же, как и у описанного выше.

[0048]

Во-первых, модуль 101 увеличения изображения формирует изображение C путем увеличения изображения A, как описывалось выше. Средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположение между изображением C и изображением B1 посредством вышеописанного способа. Каждому местоположению в изображении C, для которого средство 102 оценки соответствующей точки оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B1.

Таким же образом, средство 102 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B2. Каждому местоположению изображения C, для которого средство 102 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 103 назначения соответствующего изображения назначает данные изображения из соответствующего местоположения в изображении B2.

Вышеописанным процессом формируется изображение C

[0049]

Если оценено, что соответствующая точка существует как в изображении B1, так и B2, то: (i) приоритет может быть отдан любому из заранее определенных B1 и B2 для назначения его данных изображения изображению C; (ii) изображению C могут быть назначены данные изображения B1 или B2, которые имеют наименьшее расхождение от соответствующего пикселя в изображении C; или (iii) изображению C может быть назначено среднее от данных изображения изображений B1 и B2.

Таким же образом может быть сформировано изображение C, имеющее высокое разрешение, когда имеются три и более изображений B.

В других вариантах осуществления ниже по тесту, когда существует множество изображений B, процессы могут быть реализованы точно таким же образом.

[0050]

Второй вариант осуществления

Подобно первому варианту осуществления во втором варианте осуществления для формирования изображения C, которое соответствует изображению A, но имеет высокое разрешение, используются полученные разными камерами изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение. При этом, если не было найдено соответствующей точки, формирование изображения производится посредством интерполяции, используя данные изображения окружающих пикселей, имеющих высокое разрешение.

[0051]

Фиг.3 представляет общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 201 увеличения изображения для увеличения изображения A таким образом, чтобы сформировать изображение C; средство 202 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении C, а также для оценки местоположения релевантной соответствующей точки; модуль 203 назначения соответствующего изображения для назначения каждому местоположению пикселя в изображении C, для которого средство 202 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B; средство 204 интерполяции изображения для формирования данных изображения в каждом местоположении пикселя в изображении C, для которого средство 202 оценки соответствующей точки оценило, что соответствующей точки не существует, используя данные изображения, назначенные модулем 203 назначения изображения.

[0052]

Средство 204 интерполяции изображения формирует данные изображения в каждом местоположении пикселя в изображении C, для которого было оценено, что соответствующей точки не существует, путем использования данных изображения в местоположениях пикселя в изображении B, которые были назначены на основании результатов оценки, подтверждающих существование соответствующих точек. Более конкретно, производится линейная интерполяция в соответствии с расстояниями, измеренными от местоположений пикселей, которым были назначены данные изображения из изображения B.

[0053]

Основываясь на вышеописанном предположении, устройство формирования изображения работает, как описано ниже. Фиг.4 является логической блок-схемой, отображающей эту работу.

[0054]

Во-первых, модуль 201 увеличения изображения формирует изображение C путем увеличения изображения A (смотри этап S20). Средство 202 оценки соответствующей точки оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением C и изображением B (смотри этап S21). Каждому пикселю изображения C, для которого средство 202 оценки соответствующих точек оценило, что соответствующая точка существует, модуль 203 назначения соответствующего изображения назначает данные изображения из соответствующей точки в изображении B (смотри этап S22). Каждому местоположению пикселя, для которого средство 202 оценки соответствующих точек оценило, что соответствующей точки не существует, средство 204 интерполяции изображения формирует данные изображения посредством интерполяции, используя данные изображения, которые уже были назначены модулем 203 назначения соответствующего изображения (смотри этап S23). Вышеописанным процессом формируется изображение C.

[0055]

В вышеописанном процессе средство 204 интерполяции изображения формирует релевантные данные изображения посредством линейной интерполяции. Тем не менее, данные изображения могут быть сформированы и нелинейным процессом. В обоих случаях данные изображения формируются с использованием данных изображения, которые уже были назначены модулем 203 назначения соответствующего изображения.

[0056]

Третий вариант осуществления

Подобно первому варианту осуществления в третьем варианте осуществления для формирования изображения C, которое соответствует изображению A, но имеет высокое разрешение (соответствующее тому, что имеет изображение B), используются полученные разными камерами изображение A, имеющее низкое разрешение, и изображение B, имеющее высокое разрешение. Тем не менее, сформированные данные изображения применяются только к каждому местоположению пикселя, для которого расхождение между исходным изображением A и уменьшенным изображением сформированных данных изображения мало.

В следующем примере изображение D является изображением, полученным путем увеличения (то есть увеличением разрешения) изображения A на первом этапе, а изображение E является временным изображением для обработки и имеет точно такой же размер (точно такую же структуру пикселей), что и изображение D.

В добавление, формируется изображение F путем уменьшения изображения E, и оно является временным изображением (для обработки), имеющим низкое разрешение (то есть такое же разрешение, что и у изображения A).

[0057]

Фиг.5 отображает общую структуру устройства. То есть устройство формирования изображения по настоящему варианту осуществления имеет: модуль 301 увеличения изображения для увеличения (то есть увеличения разрешения) изображения A таким образом, чтобы сформировать изображение D; средство 302 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также для оценки местоположения релевантной соответствующей точки; модуль 303 назначения соответствующего изображения для назначения местоположению пикселя в изображении E, равному каждому местоположению пикселя в изображении D, для которого средство 302 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B; средство 304 интерполяции изображения для формирования данных изображения в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого средство 302 оценки соответствующих точек оценило, что соответствующей точки не существует, используя данные изображения, назначенные модулем 303 назначения соответствующего изображения; модуль 305 уменьшения изображения для уменьшения (то есть уменьшения разрешения) изображения E таким образом, чтобы сформировать изображение F, имеющее низкое разрешение; средство 306 формирования расхождений для вычисления расхождения между данными изображения в каждом местоположении пикселя в изображении A и данными изображения в точно таком же местоположении (как и местоположение пикселя в изображении A) в изображении F; и средство 307 выбора изображения. Когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, меньше или равно порогу, средство 307 выбора изображения назначает релевантные данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C. Когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, больше порога, средство 307 назначения изображения назначает релевантные данные изображения из изображения D каждому соответствующему местоположению пикселя в изображении C.

[0058]

Модуль 305 уменьшения изображения формирует уменьшенное изображение (то есть изображение F) путем прореживания релевантного изображения.

Средство 306 формирования расхождений, формирует вышеописанное расхождение в каждом местоположении пикселя.

Средство 307 выбора изображения заранее определяет порог для расхождения и сравнивает этот порог с расхождением, полученным средством 306 формирования расхождений.

[0059]

Основываясь на вышеописанном допущении, устройство формирования изображения работает, как объясняется ниже. Фиг.6 является логической блок-схемой, отображающей эту работу.

[0060]

Во-первых, модуль 301 увеличения изображения формирует изображение D путем увеличения изображения A, как описывалось выше (смотри этап S30). Средство 302 оценки соответствующих точек оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением D и изображением B (смотри этап S31).

Модуль 303 назначения соответствующего изображения назначает данные изображения каждого местоположения в изображении B, для которого средство 302 оценки соответствующих точек оценило, что соответствующая точка существует, изображению E (смотри этап S32). Для каждого местоположения, для которого средство 302 оценки соответствующих точек оценило, что соответствующей точки не существует, средство 304 интерполяции изображения формирует данные изображения для изображения E посредством интерполяции, используя данные изображения, которые уже были назначены модулем 303 назначения соответствующего изображения (смотри этап S33).

Модуль 305 уменьшения изображения формирует изображение F (смотри этап S34). Средство 306 формирования расхождений формирует расхождение между изображением A и изображением F (смотри этап S35).

В соответствии с расхождением, полученным средством 306 формирования расхождений, средство 307 выбора изображения выбирает изображение E или изображение D для каждого местоположения пикселя, чтобы сформировать таким образом изображение C (смотри этап S36).

[0061]

Модуль 305 уменьшения изображения может формировать уменьшенное изображение, используя другой способ.

Средство 306 формирования расхождений может формировать расхождение между блоками, в которых целевой пиксель расположен в центре каждого блока (ссылаясь на первый вариант осуществления).

[0062]

В средстве 307 выбора изображения, (i) когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, мало, релевантные данные изображения из изображения E назначаются каждому соответствующему местоположению пикселя в изображении C, а когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, большое, релевантные данные изображения из изображения D назначаются каждому соответствующему местоположению пикселя в изображении C.

Вместо средства 307 выбора изображения может быть предусмотрено средство формирования изображения.

[0063]

Фиг.7 отображает общую структуру релевантного устройства. В случае, показанном на фиг.7, (i) когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, мало, средство 308 формирования изображения назначает релевантные данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C; а (ii), когда расхождение в каждом местоположении пикселя, вычисленное средством 306 формирования расхождений, большое, средство 308 формирования назначает каждому соответствующему местоположению пикселя в изображении C значение, полученное как взвешенное среднее между релевантными данными изображения из изображения D и релевантными данными изображения из изображения E.

В соответствии с вышеописанным способом, когда расхождение большое, может быть использовано взвешенное среднее между увеличенным изображением D и изображением E, сформированным с использованием другого изображения, вместо использования увеличенного изображения D (имеющего высокое разрешение). Этот способ является предпочтительным, когда высокочастотный компонент увеличенного изображения D мал.

[0064]

Четвертый вариант осуществления

В четвертом варианте осуществления имеются изображения A и B, которые были получены с общей камеры и которые имеют одно и то же разрешение, и изображение C, близкое к изображению A, которое было сформировано, используя уменьшенное изображение из изображения A и изображения B. Здесь сформированные данные изображения применяются только к каждому местоположению пикселя, в котором расхождение между исходным изображением A и изображением, полученным уменьшением сформированных данных изображения, мало. Настоящий вариант осуществления также имеет отличительную особенность, выраженную в оценке порога, применяемого к расхождению между двумя изображениями в каждом местоположении пикселя.

[0065]

Фиг.8 отображает общую структуру устройства. То есть устройство формирования изображения настоящего варианта осуществления имеет:

(i) модуль 412 уменьшения опорного изображения для уменьшения изображения A таким образом, чтобы сформировать изображение G, имеющее низкое разрешение, и модуль 401 увеличения изображения для увеличения изображения G таким образом, чтобы сформировать изображение D, имеющее точно такое же разрешение, что и у изображений A и B,

(ii) средство 402 оценки соответствующих точек для оценки наличия или отсутствия точки в изображении B, соответствующей каждому местоположению пикселя в изображении D, а также для оценки местоположения релевантной соответствующей точки,

(iii) модуль 403 назначения соответствующего изображения для назначения местоположению пикселя в изображении E (временное изображение (для обработки), имеющее тот же размер, что и у изображения D), равному каждому местоположению пикселя в изображении D, для которого средство 402 оценки соответствующих точек оценило, что соответствующая точка существует, данных изображения из соответствующего местоположения в изображении B.

(iv) средство 404 интерполяции изображения для формирования данных изображения в местоположении пикселя в изображении E, равном каждому местоположению пикселя в изображении D, для которого средство 402 оценки соответствующих точек оценило, что соответствующей точки не существует, путем использования данных изображения, назначенных модулем 403 назначения соответствующего изображения,

(v) модуль 405 уменьшения изображения для уменьшения изображения E таким образом, чтобы сформировать изображение F (имеющее такое же разрешение, что и у изображения G),

(vi) средство 406 формирования расхождений для вычисления расхождения между данными изображения в каждом местоположении пикселя в изображении G и данными изображения в таком же местоположении пикселя в изображении F,

(vii) модуль 410 установки порога для установки множества порогов в пределах заранее определенного диапазона,

(viii) средство 407 выбора изображения, причем для каждого порога, установленного модулем 410 установки порога, когда расхождение в каждом местоположении пикселя, вычисленное средством 406 формирования расхождений, меньше либо равно порогу, средство 407 выбора изображения назначает релевантные данные изображения из изображения E каждому соответствующему местоположению пикселя в изображении C, а когда расхождение в каждом местоположении пикселя, вычисленное средством 406 формирования расхождений, больше порога, средство 407 выбора изображения назначает релевантные данные изображения из изображения D каждому соответствующему местоположению пикселя в изображении C;

(ix) модуль 409 суммирования сформированных расхождений для вычисления суммы расхождений в данных изображения в релевантных местоположениях пикселя между изображением C, полученным средством 407 выбора изображения, и изображением A, и

(x) модуль 411 определения порога для определения порога, который дает минимальное значение в суммах расхождений, вычисленных модулем 409 суммирования сформированных расхождений.

[0066]

Модуль 410 установки порога увеличивает порог путем приращения на 10 в диапазоне от 10 до 50.

[0067]

Основываясь на вышеописанном допущении, устройство формирования изображения работает, как описано ниже. Фиг.9 является логической блок-схемой, отображающей эту работу.

[0068]

Во-первых, модуль 412 уменьшения опорного изображения формирует изображение G, имеющее низкое разрешение, путем уменьшения изображения A (смотри этап S40).

Модуль 401 увеличения изображения формирует изображение D, имеющее высокое разрешение (то есть такое же разрешение, что и у изображений A и B), путем увеличения изображения G (смотри этап S41).

Средство 402 оценки соответствующей точки оценивает наличие или отсутствие соответствующих точек и их местоположения между изображением D и изображением B (смотри этап S42).

Модуль 403 назначения соответствующего изображения назначает данные изображения каждого местоположения в изображении B, для которого средство 402 оценки соответствующих точек оценило, что соответствующая точка существует, изображению E (смотри этап S43).

Для каждого местоположения, для которого средство 402 оценки соответствующих точек оценило, что соответствующей точки не существует, средство 404 интерполяции изображения формирует данные изображения в изображении E посредством интерполяции, используя данные изображения, которые уже были назначены модулем 403 назначения соответствующего изображения (смотри этап S44).

Модуль 405 уменьшения изображения формирует изображение F, имеющее низкое разрешение, путем уменьшения изображения E (смотри этап S45).

Средство 406 формирования расхождений формирует расхождения между изображением G и изображением F (смотри этап S46).

[0069]

Далее, модуль 410 установки порога устанавливает порог равным 10 (смотри этап S47).

Средство 407 выбора изображения сравнивает расхождение, полученное средством 406 формирования расхождений, с порогом и выбирает изображение E или изображение D для каждого местоположения пикселя, чтобы сформировать таким образом изображение C (смотри этап S48).

Модуль 409 суммирования сформированных расхождений вычисляет сумму расхождений между изображением C и изображением A (смотри этап S49).

Вышеописанный процесс, исполняемый модулем 410 установки порога, средством 407 выбора изображения и модулем 409 суммирования сформированных расхождений повторно выполняется при увеличении порога путем приращений на 10 вплоть до 50 (смотри этап S50 и S51).

[0070]

Далее, модуль 411 определения порога определяет порог, который дает минимальное значение, полученное модулем 409 суммирования сформированных расхождений (смотри этап S52).

[0071]

В вышеописанной структуре вместо средства 407 выбора изображения может быть использовано средство формирования изображения. Общая структура релевантного устройства отображена на фиг.10.

В средстве 408 формирования изображения, показанном на фиг.10, (i) когда расхождение в каждом местоположении пикселя, полученное средством 406 формирования расхождений, мало, релевантные данные изображения из изображения E назначаются соответствующему местоположению пикселя в изображении C, а (ii) когда расхождение в каждом местоположении пикселя, полученное средством 406 формирования расхождений, велико, соответствующему местоположению пикселя в изображении C назначается взвешенное значение среднее между релевантными данными изображения из изображения D и релевантными данными изображения из изображения E.

[0072]

В вышеописанных вариантах осуществления были объяснены процессы для входных изображений от множества камер. Тем не менее, релевантные способы могут быть применены не только для такого изображения в разных проекциях, но также и к видеоизображению от одной камеры.

То есть, если разрешение каждого из кадров в видеоизображении непостоянно, изображение, имеющее высокое разрешение, соответствующее изображению кадра, имеющего низкое разрешение, может быть сформировано, используя изображение другого кадра, имеющего высокое разрешение.

В примере по настоящей заявке варианта применения изображение C, имеющее высокое разрешение, формируется, используя изображение A кадра, имеющего низкое разрешение, и изображение B другого кадра, имеющее высокое разрешение.

[0073]

В добавление, несмотря на то, что в вышеописанных вариантах осуществления обрабатывался только сигнал Y, может быть обработан и другой цветовой сигнал, такой как RGB.

Соответственные способы также могут быть применены к случаю, когда в YUV сигнале Y сигнал имеет постоянное разрешение, а U и V сигналы имеют непостоянные разрешения. В таком случае модулем увеличения изображения увеличение применяется только к сигналам U и V, а сигнал Y копируется без изменений. Средством оценки соответствующих точек оценка может быть произведена, используя сигнал Y и не используя сигналы, имеющие увеличенное разрешение, основанное на сигналах U и V.

[0074]

Вышеописанный процесс формирования изображения также может быть реализован компьютером и программным обеспечением. Такая компьютерная программа может быть предоставлена как хранением ее на машиночитаемом носителе данных, так и посредством сети.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

[0075]

В соответствии с настоящим изобретением для данных изображения, полученных в местоположении камеры, имеющем низкое разрешение, данные изображения, имеющие высокое разрешение, могут быть сформированы, используя данные изображения, полученные с местоположения камеры, имеющего высокое разрешение, тем самым уменьшая ухудшение субъективного качества изображения.