УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображения, способу обработки изображения и программе.

Уровень техники

В последние годы произошел существенный прогресс технологии, относящейся к распределению цифровых видеоданных (ниже называются видеоданными). В частности, разработки в этой технологии, относящиеся к распределению и записи видеоданных с изображением высокого качества, достигли значительного успеха. Среди них внимание уделялось технологии, относящейся к кодированию и декодированию видеоданных. Видеоданные, имеющие высокое пространственное разрешение и временное разрешение, имеют очень большой размер данных и, таким образом, такие видеоданные желательно распределять или записывать, используя эффективное сжатие после кодирования. Таким образом, требуется разработать технологию кодирования, обеспечивающую сжатие видеоданных с высоким качеством изображения с более высокой степенью сжатия, и технологию декодирования, обеспечивающую возможность воспроизведения видеоданных с высоким пространственным разрешением.

Например, в патентных документах 1 и 2 раскрыта основная технология генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение путем комбинирования первых видеоданных (например, данных движущегося изображения и т.д.), которые имеют низкое пространственное разрешение, но высокое временное разрешение, и вторых видеоданных (например, последовательности данных неподвижных изображений и т.д.), которые имеют высокое пространственное разрешение, но низкое временное разрешение. В такой технологии вектор движения между кадрами прогнозируют из первых видеоданных, и высокочастотный компонент первых видеоданных компенсируют, используя вектор движения и вторые видеоданные. В такой технологии генерирует кадр в произвольной временной точке, которая не содержится во вторых видеоданных, используя вектор движения, детектируемый из первых видеоданных, и кадр вторых видеоданных в точке времени, близкой к такой произвольной точке времени. Выложенные заявки на японский патент №2004-312276 и №2004-312277 включают в себя описание, относящееся к устройствам записи и воспроизведения данных изображения, предназначенным для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение, используя описанную выше технологию.

[Патентный документ 1] выложенная заявка на японский патент №2004-312276

[Патентный документ 2] выложенная заявка на японский патент №2004-312277

Сущность изобретения

Однако если временной интервал, в течение которого записано каждое множество данных неподвижного изображения, велик, вектор движения будет трудно точно прогнозировать, и, таким образом, будет трудно генерировать видеоданные с высоким качеством изображения. Другими словами, поскольку величина изменения движущегося объекта в данных изображения становится тем большей, чем в большей степени время записи видеоданных, которые требуется сгенерировать, отличается от времени записи записанных данных неподвижного изображения, компенсацию движения, с использованием компонента с высоким разрешением, содержащегося в записанном неподвижном изображении с высоким разрешением, становится трудно выполнить. Например, если разность h по времени с записанным временем данных неподвижного изображения и записанным временем требуемого формируемого изображения становится больше чем 0,1 секунды, компенсацию высокочастотного компонента, используя компенсацию движения, становится трудно выполнить. Если количество записей данных неподвижного изображения с высокой четкостью увеличивается, количество данных, которые требуется сохранять, очевидно, становится чрезмерно большим.

Учитывая описанное выше, желательно обеспечить новое и улучшенное устройство обработки изображения и способ обработки изображения, позволяющие реализовать компенсацию движения с высокой точностью при выполнении прогнозирования движения, используя последовательность данных изображения с низким разрешением и выполняя компенсацию движения, используя данные изображения с высоким разрешением для генерирования данных изображения с высоким разрешением, даже если время данных изображения, которые требуется генерировать, и время данных изображения с высоким разрешением значительно различаются.

Для решения описанной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложено устройство обработки изображения, включающее в себя: модуль формирования изображения, предназначенный для формирования изображения и генерирования сигнала изображения, модуль обработки, предназначенный для формирования на основе сигнала изображения первых видеоданных, содержащих множество кадров, и вторых видеоданных, имеющих более высокое разрешение, чем у кадров, содержащихся в первых видеоданных, блок кодирования, предназначенный для сжатия первых и вторых видеоданных, подаваемых из модуля обработки, и записи их в модуле сохранения, модуль генерирования изображения, предназначенный для детектирования вектора движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, при этом кадр первых видеоданных увеличивают до такого же разрешения, как и кадр вторых видеоданных, и предназначенный для, на основе вторых видеоданных, полученных из модуля сохранения, и детектированного вектора движения, выполнения компенсации движения по кадру, расположенному между заданным кадром, содержащимся в первых видеоданных, принятых модулем приема, и кадром, содержащимся во вторых видеоданных, и последовательного генерирования данных изображения со скомпенсированным движением, соответствующих заданному кадру, на основе кадра со скомпенсированным движением, и детектированного вектора движения, в котором модуль генерирования изображения выполняет компенсацию движения в порядке от кадра, соответствующего времени, близкому ко вторым видеоданным.

Первая последовательность данных изображения, имеющих низкое пространственное разрешение и высокое временное разрешение, может быть записана в модуле сохранения как данные движущегося изображения, и вторая последовательность данных изображения, имеющих более высокое пространственное разрешение и более низкое временное разрешение, чем у первой последовательности данных изображения, может быть записана в модуле сохранения так, чтобы она соответствовала кадру, содержащемуся в первой последовательности данных изображения, как одни или множество данных изображения.

Модуль генерирования движущегося изображения может быть выполнен с возможностью генерирования с кадром, содержащимся в первой последовательности данных изображения и не содержащимся во второй последовательности данных изображения, в качестве заданного кадра, данных изображения, соответствующих заданному кадру, и улучшения временного разрешения второй последовательности данных изображения.

Последовательность данных изображения, полученная путем понижения частоты выборки сигнала снятого изображения, может быть записана в модуле сохранения, как данные движущегося изображения.

Модуль генерирования изображения может быть выполнен с возможностью изменения соотношения комбинирования заданного кадра, который представляет собой опорный источник вектора движения, и данных изображения, которые представляют собой опорное назначение вектора движения, в соответствии с величиной различия при компенсации движения, если величина различия больше, чем заданное значение.

Если величина различия между кадром, соответствующим данным изображения, и заданным кадром меньше, чем заданное значение, модуль генерирования изображения может быть выполнен с возможностью вывода данных изображения как данных изображения, соответствующих заданному кадру, без выполнения компенсации движения.

Для решения описанной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложен способ обработки изображения, включающий в себя следующие этапы: формируют изображение и генерируют сигнал изображения, формируют на основе сигнала изображения первые видеоданные, содержащие множество кадров, и вторые видеоданные, имеющие более высокое разрешение, чем у кадров, содержащихся в первых видеоданных, кодируют видеоданные путем сжатия первых и вторых видеоданных и записывают их в модуле сохранения, детектируют вектор движения между кадрами, содержащимися в первых видеоданных, полученных из модуля сохранения, и выполняют на основе вторых видеоданных, полученных из модуля сохранения, и вектора движения, детектированного на этапе прогнозирования движения, компенсацию движения для кадра, расположенного между заданным кадром, содержащимся в первых видеоданных, полученных из модуля сохранения, и кадром, содержащимся во вторых видеоданных, и последовательно генерируют данные изображения со скомпенсированным движением, соответствующие заданному кадру, на основе кадра со скомпенсированным движением и вектора движения, детектированного на этапе прогнозирования движения, в котором компенсацию движения выполняют в порядке от кадра, соответствующего времени, близкому ко вторым видеоданным.

Для решения приведенной выше задачи, в соответствии с другим вариантом выполнения настоящего изобретения, предложена программа, которая обеспечивает реализацию компьютером функций устройства обработки изображения. Также может быть предусмотрен носитель записи, на котором записана такая программа.

Устройство обработки изображения генерирует изображение с высоким разрешением из времени, близкого к записанному времени уже записанных данных неподвижного изображения, сохраняет изображение с высоким разрешением, сгенерированное в прошлом, в запоминающем устройстве кадра, и генерирует новое изображение с высоким разрешением, снова со ссылкой на сохраненное изображение. Используя такую последовательно выполняемую обработку, можно генерировать неподвижное изображение с высокой четкостью, даже в момент времени, отдаленный от времени записи.

В соответствии с вариантами выполнения настоящего изобретения, описанными выше, при выполнении прогнозирования движения, используя последовательность данных изображения с низким разрешением и выполняя компенсацию движения, используя данные изображения высоким разрешением для генерирования данных изображения с высоким разрешением, компенсация движения может быть выполнена с высокой точностью, даже если время генерируемых данных изображения и время данных изображения с высоким разрешением отличаются друг от друга.

Краткое описание чертежей

На фиг.1 показан пояснительный вид, описывающий способ генерирования формируемого изображения с высоким разрешением;

на фиг.2 показан пояснительный вид, представляющий конфигурацию устройства для устройства обработки изображения, в соответствии с одним вариантом выполнения настоящего варианта выполнения;

на фиг.3 показан пояснительный вид, описывающий операцию схемы генерирования изображения, в соответствии с настоящим вариантом выполнения;

на фиг.4 показан пояснительный вид, описывающий операцию схемы генерирования изображения, в соответствии с настоящим вариантом выполнения;

на фиг.5 показан пояснительный вид, описывающий операцию схемы генерирования, в соответствии с настоящим вариантом выполнения;

на фиг.6 показан пояснительный вид, представляющий способ генерирования изображения с высоким разрешением, в соответствии с настоящим вариантом выполнения; и

на фиг.7 показан пояснительный вид, представляющий пример конфигурации аппаратных средств устройства обработки информации, позволяющего реализовать функции устройства обработки изображения, в соответствии с настоящим вариантом выполнения.

Описание номеров ссылочных позиций

100 устройство обработки изображения

102 объектив формирования изображения

104 элемент формирования изображения

106 контроллер синхронизации генерирования изображения

108 схема дисплея

110 блок обработки сигналов камеры

112 A/D (А/Ц, аналогово-цифровой) преобразователь

114 схема обработки цифрового сигнала

120 блок записи и воспроизведения движущегося изображения

122,132 модули сохранения

124 схема сжатия/разуплотнения движущегося изображения

126 схема преобразования плотности изображения

130 блок записи и воспроизведения неподвижного изображения

134 схема сжатия/разуплотнения неподвижного изображения

202 схема генерирования изображения

204 запоминающее устройство кадра

212 модуль прогнозирования движения

214 модуль компенсации движения

HRP (ИВР) Изображение с высоким разрешением

LRP (ИНР) Изображение с низким разрешением

МР (УИ) увеличенное изображение

СР, СР' (СИ) сформированное изображение

Подробное описание изобретения

Ниже будут подробно описаны предпочтительные варианты воплощения настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что, в данном описании и на приложенных чертежах конструктивные элементы, которые имеют, по существу, одинаковые функции и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов здесь не приведено.

(Способ генерирования изображения с высоким разрешением)

Вначале, перед описанием устройства обработки изображения и способа обработки изображения в соответствии с вариантом выполнения настоящего изобретения, идея использования последовательности данных изображения (ниже называются данными движущегося изображения), в соответствии с которой последовательно записывают изображение с низким пространственным разрешением и отдельно записывают данные изображения с высоким пространственным разрешением (ниже называются данными неподвижного изображения или ИВР (Изображение с высоким разрешением)) в соответствии с соответствующим кадром (ниже называется ИНР (Изображение с низким разрешением)), содержащимся в данных движущегося изображения, для генерирования данных изображения с высоким пространственным разрешением (ниже называется СИ (сформированным изображением) или сформированным изображением с высоким разрешением), которые соответствуют произвольному кадру, содержащемуся в данных движущегося изображения, будет кратко описана со ссылкой на фиг.1. На фиг.1 показан пояснительный вид, представляющий один пример способа генерирования изображения с высоким разрешением.

На фиг.1 представлены изображения ИВР (t) с высоким разрешением изображения ИНР (t), ИНР (t+h) с низким разрешением, увеличенные изображения УИ (t), УИ (t+h) и сформированные изображения СИ (t+h). Буквы в круглых скобках представляют время съемки. Например, сформированные изображения СИ (t+h) представляют сформированное изображение, соответствующее изображению ИНР (t+h) с низким разрешением, снятому в момент времени t+h.

Сформированные изображения СИ представляют собой данные изображения, сформированные путем выполнения компенсации движения, используя вектор движения, детектированный с использованием изображения ИНР с низким разрешением и изображение ИВР с высоким разрешением. Как показано на фиг.1, вектор (MV, ВД) движения между временем t и временем t+h детектируют, используя увеличенное изображение УИ (t), сформированное путем увеличения изображения ИНР (t) с низким разрешением и увеличенное изображение УИ (t+h), сформированное путем увеличения изображения ИНР (t+h) с низким разрешением (S1). Затем опорный блок из изображения ИВР (t) с высоким разрешением, соответствующий опорному блоку (BLK, БЛК) изображения ИНР (t) с низким разрешением, выделяют на основе вектора ВД движения. Пиксели опорного блока и пиксели увеличенного изображения УИ (t+h) затем комбинируют с заданным соотношением для формирования сформированного изображения (СИ (t+h)) (S2).

В описанном выше примере прогнозирование движения и компенсацию движения выполняют, используя, по существу, разные изображения. В увеличенном изображении УИ, сформированном путем увеличения изображения ИНР с низким разрешением, увеличено пространственное разрешение до того же уровня, что и у изображения ИВР с высоким разрешением, но в нем отсутствует высокочастотный компонент по сравнению с изображением ИВР с высоким разрешением. Таким образом, могут возникнуть отклонения вектора движения, детектированного с использованием увеличенного изображения УИ и вектором движения, который, по существу, должно иметь изображение ИВР с высоким разрешением. В частности, если точность прогнозирования движения низкая, положение опорного блока в изображении ИВР с высоким разрешением сдвигается, и, таким образом, заметные шумы добавляются к высокочастотному компоненту сформированного изображения СИ, которое формируют, используя компенсацию движения.

Таким образом, требуется найти решение задачи подавления шумов, добавляемых в результате компенсации движения, при выполнении компенсации движения на основе множества данных изображения, имеющих отличающиеся друг от друга пространственные разрешения. Ошибка вектора движения становится большой, когда время t, при котором было снято изображение ИВР (t) с высоким разрешением, и время t+h, при котором требуется сформировать сформированное изображение СИ (t+h), далеки друг от друга. Таким образом, требуется обеспечить получение сформированного изображения СИ (t+h) с высокой четкостью, когда интервал времени h велик.

Как описано ниже, устройство обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения вначале выполняет прогнозирование движения и компенсацию движения для изображения ИНР (t+h”) с низким разрешением, снятого в момент времени, близкий к времени t, когда было снято изображение ИВР (1) с высоким разрешением, для генерирования предварительно сформированного изображения СИ'(t+h”), и дополнительно выполняет прогнозирование движения и компенсацию движения на основе такого предварительно сформированного изображения СИ'(t+h). Сформированное изображение СИ(t+h) в требуемое время t+h может быть сгенерировано с высокой точностью путем последовательного повторения такого процесса. Это связано с тем, что интервал времени между кадрами, которые используются как опорные при выполнении одного прогнозирования движения, короткий, и точность прогнозирования движения улучшается. Конкретная конфигурация функций устройства обработки изображения будет описана ниже.

<Варианты выполнения>

Устройство 100 обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения будет подробно описано ниже.

[Конфигурация устройства 100 обработки изображения]

Вначале, со ссылкой на фиг.2, будет описана конфигурация устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения. На фиг.2 показан пояснительный вид, представляющий один пример конфигурации устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения.

Как показано на фиг.2, устройство 100 обработки изображения, в основном, включает в себя объектив 102 формирования изображения, элемент 104 формирования изображения, блок 110 обработки сигналов камеры, блок 120 записи и воспроизведения движущегося изображения, блок 130 записи и воспроизведения неподвижного изображения, схему 202 генерирования изображения, запоминающее устройство 204 кадра, контроллер 106 синхронизации генерирования изображения и схему 108 дисплея.

Объектив 102 формирования изображения представляет собой оптический объектив, предназначенный для формирования изображения (ниже называется снятым изображением) субъекта, путем сбора света. Элемент 104 формирования изображения представляет собой фотоэлемент, предназначенный для преобразования света, собранного объективом 102 формирования изображения, в электрический сигнал. В качестве элемента 104 формирования изображения используют полупроводниковый элемент, такой как датчик изображения CCD (датчик изображения на основе прибора с зарядовой связью, ПЗС) и датчик изображения CMOS (датчик изображения на основе комплементарного металло-окисидного полупроводника, КМОП).

Элемент 104 формирования изображения имеет большее количество пикселей, чем количество эффективных пикселей пространственного разрешения данных движущегося изображения. Схема 108 дисплея обеспечивает отображения устройством дисплея (не показано) данных изображения при записи или воспроизведении данных изображения или во время проверки данных изображения. Контроллер 106 синхронизации генерирования изображения представляет собой устройство для оператора, который вводит инструкцию - получить данные неподвижного изображения при воспроизведении данных движущегося изображения.

(Блок 110 обработки сигналов камеры)

Как показано на фиг.2, блок 110 обработки сигналов камеры включает в себя А/Ц преобразователь 112 и схему 114 обработки цифрового сигнала.

А/Ц преобразователь 112 представляет собой аналогово-цифровой преобразователь, предназначенный для преобразования входного аналогового сигнала в цифровой сигнал, и вывода его. А/Ц преобразователь 112 преобразует аналоговый сигнал снятого изображения, подаваемого из элемента 104 формирования изображения, в цифровой сигнал, и выводит его в схему 114 обработки цифрового сигнала. Схема 114 обработки цифрового сигнала выполняет такую обработку, как регулирование баланса белого и гамма-коррекцию цифрового сигнала (ниже называется данными изображения) для снятого изображения, подаваемого из А/Ц преобразователя 112.

(Блок 120 записи и воспроизведения движущегося изображения)

Как показано на фиг.2, блок 120 записи и воспроизведения движущегося изображения включает в себя схему 126 преобразования плотности изображения, схему 124 сжатия/разуплотнения движущегося изображения, и модуль 122 сохранения.

Схема 126 преобразования плотности изображения выполняет обработку децимации (например, дифференциального кодирования между кадрами и т.д.) для последовательности данных изображения (данных движущегося изображения), подаваемых из схемы 114 обработки цифрового сигнала, путем записи данных движущегося изображения. Схема 126 преобразования плотности изображения выводит данные движущегося изображения после обработки децимации в схему 124 сжатия/разуплотнения движущегося изображения. Схема 124 сжатия/разуплотнения движущегося изображения выполняет обработку сжатия данных движущегося изображения после децимации, подаваемых из схемы 126 преобразования плотности изображения, и записывает сжатые данные движущегося изображения в модуль 122 сохранения.

При воспроизведении данных движущегося изображения схема 124 сжатия/разуплотнения движущегося изображения считывает данные движущегося изображения, записанные в модуле 122 записи, и выполняет для них обработку разуплотнения. Схема 124 сжатия/разуплотнения движущегося изображения выводит разуплотненные данные движущегося изображения в схему 126 преобразования плотности изображения. Схема 126 преобразования плотности изображения выполняет обработку интерполяции (например, восстановление дифференцированных данных) для данных движущегося изображения, выводимых из схемы 124 сжатия/разуплотнения движущегося изображения.

(Блок 130 записи и воспроизведения неподвижного изображения)

Как показано на фиг.2, блок 13.0 записи неподвижного и воспроизведения изображения включает в себя схему 134 сжатия/разуплотнения неподвижного изображения и модуль 132 сохранения. Модуль 132 сохранения может реализовать эту функцию, используя устройство сохранения, которое является общим с модулем 122 сохранения.

Во время записи данных неподвижного изображения схема 134 сжатия/разуплотнения неподвижного изображения выполняет обработку сжатия данных изображения, подаваемых из схемы 114 обработки цифрового сигнала, и записывает их в модуле 132 сохранения. При воспроизведении данных неподвижного изображения схема 134 сжатия/разуплотнения неподвижного изображения считывает данные изображения, записанные в модуле 122 сохранения, и выполняет для них обработку разуплотнения.

(Схема 202 генерирования изображения)

Хотя это не показано ясно на чертеже, схема 202 генерирования изображения включает в себя модуль 212 прогнозирования движения и модуль 214 компенсации движения. Модуль 214 компенсации движения обслуживает модуль генерирования изображения.

Модуль 212 прогнозирования движения детектирует вектор движения, выполняя прогнозирование движения между кадрами для данных движущегося изображения, передаваемых из блока 120 записи и воспроизведения движущегося изображения. Например, модуль 212 прогнозирования движения выбирает данные неподвижного изображения, записанные в ближайшее время к кадру, записанному в заданное время. Модуль 212 прогнозирования движения детектирует вектор движения между кадрами, выполняя прогнозирование движения между кадром, соответствующим данным неподвижного изображения, и кадром, записанным в заданный момент времени. В данном случае модуль 212 прогнозирования движения увеличивает каждый кадр (ИНР), для использования его в качестве опорного, для преобразования в увеличенное изображение (УИ) и детектирует вектор движения между соответствующими увеличенными изображениями.

В качестве другого примера, модуль 212 прогнозирования движения может выделять множество данных неподвижного изображения, записанных в момент времени, близкий к кадру, записанному в заданный момент времени, и затем выбирать кадр, соответствующий данным неподвижного изображения, расположенный ближе всего к кадру, записанному в заданный момент времени. Модуль 212 прогнозирования движения может детектировать вектор движения между кадрами, выполняя прогнозирование движения между кадром, соответствующим выбранным данным неподвижного изображения, и кадром, записанным в заданное время. Модуль 212 прогнозирования движения может детектировать вектор движения между кадрами, без увеличения каждого кадра (ИНР), и увеличивать вектор движения так, чтобы адаптировать его к пространственному разрешению сформированного изображения (СИ).

Модуль 214 компенсации движения выполняет компенсацию движения на основе информации вектора движения, вводимого из модуля 212 прогнозирования движения, и данных неподвижного изображения, вводимых из блока 130 записи и воспроизведения неподвижного изображения. Например, модуль 214 компенсации движения определяет опорный блок данных неподвижного изображения, соответствующий опорному блоку кадра, записанному в заданное время, на основе вектора движения. Модуль 214 компенсации движения генерирует данные изображения (сформированное изображение СИ') путем комбинирования указанного опорного блока данных неподвижного изображения и опорного блока кадра, записанного в заданное время с заданной частотой.

При генерировании сформированного изображения СИ (t+h), схема 202 генерирования изображения разрабатывает сформированное изображение СИ' (t+h”)(t<h”<h), сгенерированное в прошлом, в запоминающем устройстве 204 кадра. Таким образом, как показано на фиг.3, схема 202 генерировании изображения однажды генерирует промежуточное сформированное изображение СИ'(t+h"), используя увеличенное изображение УИ (t+h”), которое близко по времени к изображению ИВР (1) с высоким разрешением, вместо генерирования сформированного изображения СИ (t+h), непосредственно используя изображение HBP (t) с высоким разрешением, и сохраняет такое сформированное изображение СИ'(t+h”) в запоминающем устройстве 204 кадра для использования. Схема 202 генерирования изображения выполняет прогнозирование движения между увеличенными изображениями УИ (t+h) и УИ (t+h”) и генерирует требуемое сформированное изображение СИ (t+h) на основе детектированного вектора движения и промежуточного сформированного изображения СИ' (t+h”). Сформированное изображение СИ (t+h) затем выводят в схему 108 дисплея.

При сохранении сформированного изображения СИ' (t+h”) в запоминающем устройстве кадра схема 202 генерирования изображения может изменять способ сохранения в соответствии с модулем обработки для использования. Например, может быть сохранено все изображение или может быть сохранена только область пикселей с движением для экономного использования объема памяти.

Кроме того, при генерировании сформированного изображения СИ' или СИ схема 202 генерирования изображения может отслеживать величину различия увеличенного изображения УИ, соответствующего сформированному изображению СИ' или СИ, и изображения, предназначенного для использования в качестве опорного. Если величина различия изображения ИВР с высоким разрешением и увеличенного изображения УИ будет мала, схема 202 генерирования изображения выводит изображение ИВР с высоким разрешением в том виде, как оно есть, как сформированное изображение СИ' или СИ. Аналогично, если величина различия сформированного изображения СИ' и увеличенного изображения УИ мала, схема 202 генерирования изображения может выводить сформированное изображение СИ' в том виде, как оно есть, как сформированное изображение СИ. Такие случаи представляют собой ситуации, которые возникают, когда снимают полностью неподвижный субъект.

В случае, когда расстояние между временем записи сформированного изображения СИ и изображения ИВР с высоким разрешением велико, схема 202 генерирования изображения в соответствии с настоящим вариантом выполнения последовательно генерирует промежуточное сформированное изображение СИ' из увеличенного изображения УИ, соответствующего времени, которое близко к времени записи изображения ИВР с высоким разрешением. Кроме того, схема 202 генерирования изображения выполняет компенсацию движения, используя промежуточное сформированное изображение СИ', и последовательно генерирует промежуточное сформированное изображение СИ' для получения, в конечном итоге, сформированного изображения СИ с высокой четкостью.

[Операция записи данных изображения]

Операция записи данных изображения устройством 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.

Вначале оператор передает инструкцию - начать операцию записи в устройство 100 обработки изображения (810). В ответ на такую инструкцию устройство 100 обработки изображения начинает последовательную запись кадров, составляющих данные движущегося изображения (S12). Устройство 100 обработки изображения получает снятое изображение через объектив 102 формирования изображения (S14). Устройство 100 обработки изображения выполняет фотоэлектрическое преобразование снятого изображения с помощью элемента 104 формирования изображения для генерирования аналогового сигнала (S16). Устройство 100 обработки изображения передает аналоговый сигнал в А/Ц преобразователь 112 для преобразования в цифровой сигнал (S18). Устройство 100 обработки изображения затем вводит цифровой сигнал в схему 114 обработки цифрового сигнала и выполняет такую обработку, как регулировка баланса белого и гамма-коррекция для данных изображения, соответствующих такому цифровому сигналу (S20). В соответствии с такими процессами устройство 100 обработки изображения может накапливать данные изображения и формировать данные движущегося изображения.

Устройство 100 обработки изображения выполняет обработку децимации для данных движущегося изображения с помощью схемы 126 преобразования плотности изображения (S22). При выполнении этапа S22 получают количество эффективных пикселей в формате каждого видеосигнала, который соответствует способу NTSC (Национальный комитет по телевизионным стандартам), способу PAL (Построчное изменение фазы) или способу ISDB (Комплексная служба цифрового вещания). Устройство 100 обработки изображения затем обрабатывает со сжатием данные движущегося изображения после их обработки децимации с помощью схемы 124 сжатия/разуплотнения движущегося изображения (S24) и записывает в модуль сохранения 122 (S25). Устройство 100 обработки изображения также получает данные изображения (данные неподвижного изображения) поочередно, через заданный интервал времени и выполняет обработку сжатия с помощью схемы 134 сжатия/разуплотнения неподвижного изображения (S32), и записывает в модуле 132 сохранения (S34).

[Операция воспроизведения данных изображения]

Операция воспроизведения данных изображения с помощью устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения будет кратко описана ниже.

Оператор передает инструкцию на начало операции воспроизведения в устройство 100 обработки изображения, используя контроллер 106 синхронизации генерирования изображения (S50). В ответ на такую инструкцию устройство 100 обработки изображения начинает генерировать данные изображения с высоким качеством изображения, имеющие более высокое пространственное разрешение, чем у данных движущегося изображения, и в момент времени записи, в который не были записаны данные неподвижного изображения (S52). Устройство 100 обработки изображения считывает данные движущегося изображения, полученные после обработки сжатия, записанные в модуле 122 сохранения (S54), и выполняет обработку разуплотнения с помощью схемы 124 сжатия/разуплотнения движущегося изображения (S56). Устройство 100 обработки изображения затем выполняет обработку интерполяции данных движущегося изображения, подвергнутых обработке разуплотнения с помощью схемы 126 преобразования плотности изображения (S58). В соответствии с этапом S58 каждый кадр данных движущегося изображения преобразуют в данные изображения, имеющие такое же количество пикселей, что и у данных неподвижного изображения. Данные движущегося изображения затем передают в блок 140 генерирования изображения (S60).

Устройство 100 обработки изображения затем считывает и разворачивает данные неподвижного изображения, записанные в модуле 132 сохранения, с помощью схемы 134 сжатия/разуплотнения неподвижного изображения (S72) и передает их в блок 140 генерирования изображения (S74).

(Операция обработки схемы 202 генерирования изображения)

Операция обработки схемы 202 генерирования изображения будет описана ниже со ссылкой на фиг.3. На фиг.3 показан пояснительный вид, описывающий операцию обработки схемы 202 генерирования изображения.

На фиг.3 показано изображение с ИВР (t) с высоким разрешением, множество изображений ИНР (t) ИНР (t+h”), ИНР (t+h) с низким разрешением, промежуточное сформированное изображение СИ' (t+h”) и требуемое сформированное изображение СИ (t+h), в соответствии со временем съемки. На фиг.3, в частности, последовательно описана операция обработки генерирования сформированного изображения СИ (t+h), соответствующего изображению ИНР (t+h) с низким разрешением для времени t+h.

Предполагается, что изображение ИВР с высоким разрешением имеет количество N горизонтальных пикселей, количество М вертикальных пикселей и частоту кадров 1/∆Т [кадров в секунду]. Изображение ИНР с низким разрешением, как предполагается, имеет количество n горизонтальных пикселей, количество m вертикальных пикселей и частоту кадров I/∆t [кадров в секунду]. Предполагается, что каждая переменная удовлетворяет условию N≥n, М≥m, ∆Т≥t. Кроме того, предполагается, что переменная h удовлетворяет взаимозависимости 0≤h≤∆Т.

Способ генерирования сформированного изображения СИ (t+h) для времени t+h будет описан ниже со ссылкой на пример по фиг.3. Способ обработки устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения не ограничивается этим. Сформированное изображение СИ (t+h) может быть сгенерировано также на основе изображения ИВР (t+АТ) с высоким разрешением в другое время t+∆T (не показано). В этом случае устройство 100 обработки изображения может выполнять обработку выбора изображения ИВР с высоким разрешением, которое будет использоваться как опорное, в соответствии с магнитудой, скоростью и т.п. движения субъекта.

(S1)

Вначале устройство 100 обработки изображения выполняет прогнозирование движения, используя изображения ИНР (t) и ИНР (t+h”) с низким разрешением, с помощью модуля 212 прогнозирования движения. В этом случае модуль 212 прогнозирования движения увеличивает изображения ИНР (t) и ИНР (t+h”) с низким разрешением для генерирования увеличенных изображений УИ (t) и УИ (t+h”). Модуль 212 прогнозирования движения затем сравнивает увеличенные изображения УИ(1) и УИ(1+Ь") для детектирования вектора ВД движения между УИ (t) и УИ (t+h”). Способ прогнозирования движения включает в себя способ согласования блоков, способ корреляции фазы, способ оптического потока или тому подобное.

(S2)

Устройство 100 обработки изображения затем выполняет компенсацию движения, используя вектор ВД движения, и изображение ИВР (t) с высоким разрешением, с помощью модуля 214 компенсации движения. Модуль 214 компенсации движения использует вектор ВД движения для определения опорного блока из изображения ИВР (t) с высоким разрешением, которое соответствует опорному блоку увеличенного изображения УИ (t+h”). Модуль 214 компенсации движения комбинирует такой опорный блок и опорный блок из увеличенного изображения УИ (t+h”) с заданным соотношением и генерирует промежуточное сформированное изображение СИ' (t+h”).

(S3)

Устройство 100 обработки изображения затем выполняет прогнозирование движения, используя изображения HHP(t+h) и HHP(t+h") с низким разрешением, с использованием модуля 212 прогнозирования движения. В этом случае модуль 212 прогнозирования движения увеличивает изображения ИНР (t+h) с низким разрешением для генерирования увеличенных изображений УИ (t+h). Модуль 212 прогнозирования движения затем сравнивает увеличенные изображения УИ (t+h”) и УИ (t+h) для детектирования вектора ВД движения между УИ (t+h”) и УИ (t+h).

(S4)

Устройство 100 обработки изображения затем выполняет компенсацию движения, используя вектор ВД движения и промежуточное сформированное изображение СИ' (t+h”), с помощью модуля 214 компенсации движения. Модуль 214 компенсации движения использует вектор ВД движения для определения опорного блока сформированного изображения СИ' (t+h”), соответствующего опорному блоку увеличенного изображения УИ (t+h). Модуль 214 компенсации движения комбинирует такой опорный блок и опорный блок увеличенного изображения УИ (t+h) в заданном соотношении и генерирует окончательное сформированное изображение СИ (t+h).

Если временной интервал h между сформированным изображением СИ (t+h) и изображением ИВР (t) с высоким разрешением очень короткий, шумы в малой степени генерируются в сформированном изображении СИ (t+h), благодаря точности прогнозирования движения, даже если компенсацию движения выполняют, используя такое изображение ИВР (t) с высоким разрешением. Однако если временной интервал h будет длительным, возможность генерирования шумов в информации высокочастотного компонента, содержащегося в изображения ИВР с высоким разрешением, высока. Таким образом, существует вероятность того, что корреляция между опорным блоком изображения ИВР с высоким разрешением, используемым при компенсации движения, и опорным блоком увеличенного изображения УИ, соответствующим ему, может уменьшиться, в зависимости от точности прогнозирования движения.

Обычно процесс прогнозирования движения происходит таким образом, что прогнозирование движения может быть выполнено тем более точно, чем меньше движение субъекта, то есть, чем меньше временное расстояние от источника прогнозирования до назначения прогнозирования. Поэтому точность прогнозирования, очевидно, получается более удовлетворительной при выполнении прогнозирования движения от увеличенного изображения УИ (t+h”) до увеличенного изображения УИ (t), чем при прогнозировании движения, выполняемого от увеличенного изображения УИ (t+h) до увеличенного изображения УИ (t). Качество сформированного изображения СИ' (t+h”), генерируемого с использованием прогнозирования движения, полученного от увеличенного изображения УИ (t+h”) до увеличенного изображения УИ (t), таким образом, будет выше, чем у сформированного изображения, сгенерированного с использованием результата прогнозирования движения от увеличенного изображения УИ (t+h) до увеличенного изображения УИ (t).

Кроме того, как представлено в примере, показанном на фиг.4, схема 202 генерирования изображения также может обращаться к другому изображению, кроме изображения, расположенного на задней стороне по временной оси, при генерировании сформированного изображения СИ' или СИ. Выше был описан пример выполнения прогнозирования движения и компенсации движения со ссылкой на изображение, расположенное на задней стороне по временной оси, но можно использовать изображение, расположенное с передней стороны, в качестве опорного изображения. Можно использовать в качестве опорного изображения, как изображение, расположенное с передней стороны, так и с задней стороны. Схема 202 генерирования изображения также может генерировать сформированные изображения СИ' или СИ используя в качестве опорных изображений множество изображений, расположенных с передней стороны по временной оси или с задней стороны. Схема 202 генерирования изображения также может выполнять обработку последовательного генерирования промежуточного сформированного изображения СИ' с очень малым временным интервалом для получения окончательно сформированного изображения СИ.

Различные модификации могут быть выполнены в схеме 202 генерирования изображения в соответствии с настоящим вариантом выполнения. Например, если изображение ИВР (1+∆Т) с высоким разрешением существует в момент времени t+∆T (h<∆Т), схема 202 генерирования изображения выполняет сравнение сформированного изображения СИ с компенсированным движением с передней стороны на основе изображения ИВР (t+∆T) с высоким разрешением и сформированного изображения СИ, путем последовательной компенсации движения с задней стороны, используя описанный выше способ, выбирая, таким образом, изображение с более высоким качеством изображения. Учитывая применение выбора и т.п., схема 202 генерирования изображения может сравнивать увеличенные изображения УИ (t), УИ (t+h”), УИ (t+∆Т) и т.п. в заданные моменты времени t, t+h”, t+∆Т и отслеживать величину их различия.

При прогнозировании движения схема 202 генерирования изображения может комбинировать двунаправленный процесс прогнозирования. Таким образом, схема 202 генерирования изображения выполняет компенсацию движения на основе вектора движения по множеству источников прогнозирования и взвешивает, и усредняет значения пикселя компенсации движения. В качестве простого примера пиксель С после прогнозирования получают в соответствии с уравнением (1) относительно пикселя А источника прогнозирования и пикселя В источника прогнозирования.

С=(А+В)/2(1)

Этот способ представляет собой получение среднего значения, в котором пропорция веса одинакова. Обычно дифференциальная энергия может быть уменьшена при двунаправленном прогнозировании по сравнению с однонаправленным прогнозированием. Это хорошо известно в ассоциации с технологией сжатия изображения, такой как MPEG (Группа экспертов движущегося изображения). В настоящем варианте выполнения также учитывается улучшение качества сформированного изображения СИ путем комбинирования и использования двунаправленного прогнозирования. Направление прогнозирования двух векторов может быть установлено в том же направлении по временной оси (вперед или назад), что и в технологии двунаправленного прогнозирования, известной как Н.264 и т.п.

При генерировании сформированного изображения СИ учитывают способ получения среднего двух изображений HBP(t) и ИВР (t+∆Т) с высоким разрешением и используют сгенерированное изображение для сформированного изображения СИ (t+h) как способ относительно простого двунаправленного прогнозирования. Этот способ является эффективным для видеоизображений, где субъект является неподвижным и содержится затухание.

Если субъект включает в себя движущийся объект, схема 202 генерирования изображения может выполнять двунаправленное прогнозирование по увеличенным изображениям УИ (t+h), УИ (t+h”), УИ (t) и выполнять компенсацию движения на основе изображений ИВР (t) с высоким разрешением и ИВР (t+∆Т). Схема 202 генерирования изображения может улучшить качество изображения для сформированного изображения СИ (t+h), используя информацию движения субъекта между увеличенными изображениями УИ (t+h) и УИ (t), информацию движения субъекта между УИ (t+h) и УИ (t+∆Т) или высокочастотный компонент множества промежуточных сгенерированных сформированных СИ' изображений.

Кроме того, как показано на фиг.5, при генерировании сформированного изображения СИ схема 202 генерировании изображения может определять точность прогнозирования движения по значению разности движения изображения, компенсированного на основе промежуточного сгенерированного сформированного изображения СИ' и увеличенного изображения УИ, соответствующего сформированному изображению СИ, и выводить увеличенное изображение Р в том виде, как оно есть, как сформированное изображения СИ, когда точность прогнозирования движения низкая.

(Способ обработки изображения)

Способ обработки изображения в соответствии с настоящим вариантом выполнения будет описан ниже со ссылкой на фиг.6. На фиг.6 показан пояснительный вид, описывающий поток обработки генерирования изображения в соответствии с настоящим вариантом выполнения.

Вначале модуль 212 прогнозирования движения увеличивает изображение LLRP с низким разрешением для генерирования увеличенного изображения УИ, имеющего такое же пространственное разрешение, как и изображение ИВР с высоким разрешением (S202). Затем инициализируют параметр b, обозначающий положение опорного блока, (S204). Затем определяют, превышает ли параметр В или нет максимальное значение b_max параметра b, (S206). Здесь b_max представляет собой количество блоков, содержавшихся в кадре.

Если b>b_max, схема 202 генерирования изображения прекращает процесс генерирования изображения. Если в <b_max, модуль 212 прогнозирования движения выполняет прогнозирование движения от текущего кадра(УИ (t+h”)) до ключевого кадра (УИ (t)) или от текущего кадра(УИ (t+h)) до кадра, из которого уже было сгенерировано изображение(УИ (t+h”)) с высоким разрешением (S208). Опорный кадр прогнозирования движения зависит от положения опорного кадра источника при последовательно выполняемом прогнозировании движения. Схема 202 генерирования изображения затем определяет, возможно или нет выполнение компенсации движения на основе магнитуды остаточного сигнала прогнозирования (S210).

Если определяют, что выполнение компенсации движения невозможно на этапе S210, модуль 214 компенсации движения выводит увеличенное изображение УИ (t+h) с этапа S202 как сформированное изображение СИ (t+h) (S216). Если определяют, что выполнение компенсации движения возможно, на этапе S210, модуль 214 компенсации движения выполняет определение дифференциального изображения (определение "D>Th" или "D≤Th": см. на фиг.5), используя изображение ИВР(1) с высоким разрешением, соответствующее ключевому кадру, и увеличенное изображение УИ (t+h), и определяет, возможно, или нет выполнение компенсации движения (S212).

Если определяют, что выполнение компенсации движения возможно на этапе S212, модуль 214 компенсации движения выполняет компенсацию движения, используя изображение ИВР (t) с высоким разрешением или сформированное изображение CH'(t+h”) (S214). В этом случае модуль 214 компенсации движения использует вектор движения от текущего кадра до ключевого кадра, полученного на этапе S208, размер блока модуля, информацию опорного кадра или тому подобное. Если определяют, что выполнение компенсации движения невозможно, на этапе S212, модуль 214 компенсации движения выводит увеличенное изображение УИ (t+h) как сформированное изображение СИ (t+h) (S216).

Схема 202 генерирования изображения затем выполняет последовательное увеличение параметра b (S218), и снова выполняет обработку, начиная с этапа S206. Схема 202 генерирования изображения последовательно выполняет компенсацию движения, но определяет, возможно, или нет выполнение компенсации движения, при выполнении определения дифференциального изображения во время компенсации движения. Схема 202 генерирования изображения, таким образом, может подавлять генерирование шумов в сформированном изображении СИ (t+h) из-за компенсации движения.

Функция, реализуемая каждым конфигурирующим элементом устройства 100 обработки изображения, может быть реализована заданной программой, используя устройство обработки информации, описанное ниже.

[Конфигурация аппаратных средств]

Функции устройства 100 обработки изображения могут быть реализованы с помощью устройства обработки информации, имеющего конфигурацию аппаратных средств, показанную на фиг.7. На фиг.7 показан пояснительный вид, представляющий пример аппаратной конфигурации устройства обработки информации, позволяющей реализовать функцию каждого из конфигурирующих элементов устройства 100 обработки изображения.

Как показано на фиг.6, устройство обработки информации, в основном, сконфигурировано на основе CPU (ЦПУ, центральное процессорное устройство) 902, ROM (ПЗУ, постоянное запоминающее устройство) 904, RAM (ОЗУ, оперативное запоминающее устройство) 906, главной шины 908, моста 910, внешней шины 912, интерфейса 914, входного модуля 916, выходного модуля 918, модуля 920 сохранения, привода 922, порта 924 соединения и модуля 926 передачи данных.

ЦПУ 902 выполняет функцию устройства обработки расчета или устройства управления и управляет всеми или частью операций каждого компонента на основе различных типов программ, записанных в ПЗУ 904, ОЗУ 906, модуль 920 сохранения или съемный носитель 928 записи. В ПЗУ 904 содержатся программы, считываемые ЦПУ 902, данные, используемые при расчетах, и т.п. В ОЗУ 906 временно или постоянно сохранены программы, считываемые ЦПУ 902, различные параметры, которые соответствующим образом изменяются при выполнении программы и т.п. Такие компоненты взаимно соединены с помощью главной шины 908, обеспечивающей высокоскоростную передачу данных. Главная шина 908 соединена с внешней шиной 912, скорость передачи данных которой относительно низка, через мост 910.

Входной модуль 916 представляет собой средство выполнения операций, таких как мышь, клавиатура, сенсорная панель, кнопка, переключатель, рычаг и т.п.. Входной модуль 916 может представлять собой средство пульта дистанционного управления, позволяющее передавать сигналы управления, используя инфракрасное излучение или другое электромагнитное излучение. Входной модуль 916 выполнен на основе схемы управления входом и т.п., для передачи информации, вводимой с использованием средства операций ЦПУ 902, как входной сигнал.

Модуль 918 выхода представляет собой устройство, позволяющее визуально или на уровне восприятий уведомлять пользователя о полученной информации, такое как устройство дисплея, включающее в себя CRT (ЭЛТ, электронно-лучевую трубку), LCD (ЖКД, жидкокристаллический дисплей), PDP (ППД, плазменную панель дисплея), или ELD (ЭЛД, электролюминесцентный дисплей), устройство вывода звука, включающее в себя громкоговоритель или головной телефон, принтер, портативный телефон, факсимильный аппарат или тому подобное.

Модуль 920 сохранения представляет собой устройство, предназначенное для сохранения различных типов данных и выполнен на основе магнитного устройства сохранения, такого как привод жесткого магнитного диска (HDD, ПЖД), полупроводниковое устройство сохранения, оптическое устройство сохранения, магнитооптическое устройство сохранения и т.п.

Привод 922 представляет собой устройство, предназначенное для считывания информации, записанной на съемном носителе 928 записи, таком как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство, или записи информации на съемный носитель 928 записи. Съемный носитель 928 записи может представлять собой носитель типа DVD (УЦД, универсальный цифровой диск), носитель типа Blu-ray, носитель типа HD-DVD (DVD высокой плотности), носитель Compact Flash (зарегистрированный товарный знак), карта памяти типа memory stick, карта памяти SD (надежная цифровая карта памяти), или тому подобное. Съемный носитель 928 записи также может представлять собой IC-карту (карта с интегральной микросхемой), электронное устройство или тому подобное, установленное в интегральной микросхеме бесконтактного типа.

Порт 924 соединения представляет собой порт USB (УГОЛ, универсальная последовательная шина), порт IEEE 13 94, порт SCSI (интерфейс малой компьютерной системы), порт RS-232C или порт, предназначенный для подключения внешнего подключенного устройства 930, такого как оптический аудиотерминал. Внешнее подключенное устройство 930 может представлять собой принтер, портативный музыкальный проигрыватель, цифровую камеру, цифровую видеокамеру, устройство записи с интегральной микросхемой или тому подобное.

Модуль 926 передачи данных представляет собой устройство передачи данных, предназначенное для подключения к сети 932, и может представлять собой проводную или беспроводную LAN (ЛВС, локальная вычислительная сеть), Bluetooth (зарегистрированный товарный знак) или WUSB (беспроводный USB, БУПШ), карту передачи данных, оптический маршрутизатор передачи данных, маршрутизатор ADSL (АЛЦА, асимметричная линия цифрового абонента), или различные типы модема передачи данных. Сеть 932, подключенная к модулю 926 передачи данных, выполнена на основе проводной или беспроводной подключенной сети, и включает в себя Интернет, домашнюю ЛВС, инфракрасную передачу данных, широковещательную передачу данных, спутниковую передачу данных или тому подобное.

Для специалиста в данной области техники будет понятно, что различные модификации, комбинации, подкомбинации и изменения могут быть выполнены в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.

Например, в описании описанного выше варианта выполнения, в основном, был описан, способ прогнозирования движения и компенсации движения относительно заднего кадра, но технический объем изобретения не ограничивается этим, и прогнозирование движения и компенсация движения могут быть выполнены на основе переднего кадра или переднего и заднего кадров.