УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ, СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки изображения, способу обработки изображения и программе.

Уровень техники

В последние годы технология, относящаяся к распространению цифровых видеоданных (ниже называются видеоданными), была значительно усовершенствована. В частности, особенное развитие произошло в технологии, относящейся к распространению и записи видеоданных высокого качества. Среди них внимание уделяли технологии, относящейся к кодированию и декодированию видеоданных. Видеоданные, имеющие высокое пространственное разрешение и временное разрешение, имеют очень большой размер данных, и таким образом, такие видеоданные предпочтительно распространять или записывать с использованием эффективного сжатия после кодирования. С этой целью требуется разработать технологию кодирования, обеспечивающую возможность сжатия с высокой степенью сжатия видеоданных с высоким качеством изображения, и технологию их декодирования для воспроизведения с высоким пространственным разрешением.

Например, в патентных документах 1 и 2 раскрыта основная технология для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение путем комбинирования первых видеоданных (например, данных движущегося изображения и т.д.), которые имеют низкое пространственное разрешение, но высокое временное разрешение, и вторых видеоданных (например, последовательности данных неподвижных изображений и т.д.), которые имеют высокое пространственное разрешение, но низкое временное разрешение. Такая технология позволяет прогнозировать вектор движения между кадрами от первых видеоданных и компенсирует компонент высокой частоты первых видеоданных, используя вектор движения, и вторых видеоданных. Такая технология генерирует кадр в произвольной временной точке, не содержащийся во вторых видеоданных, используя вектор движения, детектируемый по первым видеоданным, и кадр вторых видеоданных в момент времени, расположенный близко к такому произвольному моменту времени. Патентные документы 1 и 2 включают в себя описание, относящееся к устройству записи и воспроизведения данных изображения, предназначенному для генерирования видеоданных, имеющих высокое пространственное разрешение и временное разрешение, используя описанную выше технологию.

Документ предшествующего уровня техники

[Патентный документ 1] Выложенная заявка №2004-312276 на японский патент

[Патентный документ 2] Выложенная заявка №2004-312277 на японский патент

Сущность изобретения

Однако поскольку упомянутое выше устройство записи и воспроизведения данных изображения выполняет прогнозирование движения и компенсацию движения, используя видеоданные, имеющие разное пространственное разрешение, к высокочастотному компоненту видеоданных, получаемых в результате компенсации движения, добавляются шумы, если прогнозирование движения будет выключено.

С учетом описанного выше, желательно обеспечить новое и улучшенное устройство обработки изображения, способ обработки изображения и программу, позволяющие предотвращать добавление шумов к высокочастотному компоненту данных изображения при генерировании данных изображения с высоким пространственным разрешением путем прогнозирования движения на основе последовательности данных изображения с низким пространственным разрешением и компенсации движения, используя данные изображения с высоким пространственным разрешением.

В соответствии с вариантом выполнения настоящего изобретения предусмотрено устройство обработки изображения, которое включает в себя модуль получения, предназначенный для получения данных движущегося изображения, содержащих множество последовательных кадров, и одни или множество данных изображения, соответствующих кадрам и имеющих более высокое пространственное разрешение, чем у кадров; модуль прогнозирования движения, предназначенный для детектирования вектора движения между кадрами, используя данные движущегося изображения; модуль расчета величины различия, предназначенный для расчета величины различия между произвольным кадром и кадром, соответствующим данным изображения; и модуль генерирования изображения, предназначенный для генерирования данных изображения со скомпенсированным движением, соответствующих произвольному кадру, на основе кадра, соответствующего данным изображения и вектору движения. Кроме того, модуль генерирования изображения генерирует данные изображения со скомпенсированным движением, имеющие такое же пространственное разрешение, как и у данных изображения, если величина различия меньше, чем заданное значение, и генерирует данные изображения, в которых произвольный кадр увеличен до такого же пространственного разрешения, как и у данных изображения, если величина различия больше, чем заданное значение.

Устройство обработки изображения дополнительно может включать в себя модуль сохранения, предназначенный для записи данных движущегося изображения и одни или множество данных изображения. Модуль получения получает данные движущегося изображения и одни или множество данных изображения, записанных в модуле сохранения.

Кроме того, в модуле сохранения может быть записана первая последовательность данных изображения, имеющих низкое пространственное разрешение и высокое временное разрешение, в качестве данных движущегося изображения, и вторая последовательность данных изображения, имеющих более высокое пространственное разрешение и более низкое временное разрешение, чем у первой последовательности данных изображения так, что они соответствуют кадру, содержащемуся в первой последовательности данных изображения, как одни или множество данных изображения.

Кроме того, модуль генерирования изображения может генерировать, с кадром, содержащимся в первой последовательности данных изображения и не содержащимся во второй последовательности данных изображения, в качестве произвольного кадра, данные изображения, соответствующие произвольному кадру, и улучшает временное разрешение второй последовательности данных изображения.

Кроме того, в модуле сохранения могут быть записана последовательность данных изображения, полученная путем уменьшения частоты выборки сигнала сформированного изображения, в качестве данных движущегося изображения.

Кроме того, модуль генерирования изображения может изменять соотношение комбинирования произвольного кадра, который представляет собой опорный источник вектора движения, и данных изображения, которые представляют собой опорное назначение вектора движения, в соответствии с величиной различия в компенсации движения, если величина различия больше, чем заданное значение.

В соответствии с другим вариантом выполнения настоящего изобретения предложен способ обработки изображения, включающий в себя этапы: получают данные движущегося изображения, содержащие множество последовательных кадров и одни или множество данных изображения, соответствующих кадрам и имеющих более высокое пространственное разрешение, чем у кадров; детектируют вектор движения между кадрами, используя данные движущегося изображения; рассчитывают величину различия между заданным кадром и кадром, соответствующим данным изображения; и генерируют данные изображения со скомпенсированным движением, соответствующие произвольному кадру, на основе кадра, соответствующего данным изображения и вектору движения. Кроме того, на этапе генерирования изображения генерируют данные изображения со скомпенсированным движением, имеющие такое же пространственное разрешение, как и данные изображения, если величина различия меньше, чем заданное значение, и генерируют данные изображения, в которых произвольный кадр увеличен до такого же пространственного разрешения, как и у данных изображения, если величина различия больше, чем заданное значение.

В соответствии с другим вариантом выполнения настоящего изобретения предложена программа, обеспечивающая реализацию компьютером функций: получают данные движущегося изображения, содержащие множество последовательных кадров, и одни или множество данных изображения, соответствующие кадрам и имеющие более высокое пространственное разрешение, чем у этих кадров; детектируют вектор движения, между кадрами, используя данные движущегося изображения; рассчитывают величину различия между произвольным кадром и кадром, соответствующим данным изображения; и генерируют данные изображения со скомпенсированным движением, соответствующие произвольному кадру, на основе кадра, соответствующего данным изображения, и на основе вектора движения, при этом данные изображения со скомпенсированным движением имеют такое же пространственное разрешение, как и у данных изображения, сгенерированных, если величина различия меньше, чем заданное значение, и генерируют данные изображения, в которых произвольный кадр увеличен до такого же пространственного разрешения, как и у данных изображения, если величина различия больше, чем заданное значение.

В соответствии с вариантом выполнения настоящего изобретения, описанным выше, когда генерируют данные изображения с высоким пространственным разрешением путем прогнозирования движения с последовательностью данных изображения с низким пространственным разрешением и компенсации движения, используя данные изображения с высоким пространственным разрешением, предотвращают добавление шумов к высокочастотному компоненту соответствующих данных изображения.

Краткое описание чертежей

На фиг.1 показан пояснительный вид, описывающий способ генерирования сформированного изображения с высоким разрешением;

На фиг.2 показан пояснительный вид, представляющий конфигурацию устройства для устройства обработки изображения в соответствии с одним вариантом выполнения настоящего изобретения;

На фиг.3 показан пояснительный вид, описывающий операцию блока генерирования изображения, в соответствии с настоящим вариантом выполнения;

На фиг.4 показан пояснительный вид, представляющий поток операций различных схем определения разностного изображения, в соответствии с настоящим вариантом выполнения;

На фиг.5 показан пояснительный вид, описывающий операцию блока генерирования изображения, в соответствии с настоящим вариантом выполнения;

На фиг.6 показан пояснительный вид, представляющий пример конфигурации аппаратных средств устройства обработки информации, обеспечивающего возможность реализации функций устройства обработки изображения, в соответствии с настоящим вариантом выполнения; и

На фиг.7 показан пояснительный вид, описывающий способ генерирования изображения с высоким разрешением, в соответствии с настоящим вариантом выполнения.

100 устройство обработки изображения

102 объектив формирования изображения

104 элементы формирования изображения

106 контроллер момента времени генерирования изображения

108 схема дисплея

110 блок обработки сигнала камеры

112 A/D (А/Ц, аналогово/цифровой) преобразователь

114 схема обработки цифрового сигнала

120 блок воспроизведения

122 132 модуль сохранения

124 схема сжатия/расширения движущегося изображения

126 схема преобразования плотности изображения

130 блок записи и воспроизведения неподвижного изображения

134 схема сжатия/расширения неподвижного изображения

140 блок генерирования изображения

142 схема прогнозирования движения

144 схема компенсации движения

146 схема определения разностного изображения

HRP (ИВР) изображение с высоким разрешением

LRP (ИНР) изображение с низким разрешением

МР (УИ) увеличенное изображение

СР, СР' (СИ) сформированное изображение

Подробное описание изобретения

Ниже будут подробно описаны предпочтительные варианты воплощения настоящего изобретения со ссылкой на приложенные чертежи. Следует отметить, что, в данном описании и на приложенных чертежах, конструктивные элементы, которые имеют, по существу, одинаковые функции и структуру, обозначены одинаковыми номерами ссылочных позиций, и повторное пояснение этих конструктивных элементов исключено.

(Способ генерирования изображения с высоким разрешением)

Вначале, перед описанием устройства обработки изображения и способа обработки изображения в соответствии с вариантом выполнения настоящего изобретения, идея использования последовательности данных изображения (ниже называются данными движущегося изображения), в которых последовательные видеоизображения записаны с низким пространственным разрешением, и данных изображения с высоким пространственным разрешением (ниже называются данными неподвижного изображения или ИВР (изображение с высоким разрешением)), по отдельности записанных в соответствии с соответствующим кадром (ниже называются ИНР (изображение с низким разрешением)), содержащихся в данных движущегося изображения, для генерирования данных изображения с высоким пространственным разрешением (ниже называется СИ (сформированное изображение) или сформированным изображением с высоким разрешением), соответствующих произвольному кадру, содержащемуся в данных движущегося изображения, будет кратко описана со ссылкой на фиг.1. На фиг.1 показан пояснительный вид, представляющий один пример способа генерирования изображения с высоким разрешением.

На фиг.1 представлены изображение ИВР(t) с высоким разрешением, изображение ИHP(t) с низким разрешением, ИНР(t+h), увеличенное изображение УИ(t), УИ(t+h) и сформированное изображение CИ(t+h). Знаки, показанные в скобках, представляют момент времени фотографирования. Например, сформированное изображение СИ(t+h) представляет собой сформированное изображение, соответствующее изображению с низким разрешением ИHP(t+h), снятому в момент времени t+h.

Сформированное изображение СИ представляет собой данные изображения, сформированные в результате компенсации движения, используя вектор движения, детектируемый с использованием изображения ИНР с низким разрешением и изображения ИВР с высоким разрешением. Как показано на фиг.1, вектор (MV(ВД)) движения между моментом времени t и моментом времени t+h детектируют, используя увеличенное изображение УИ(t), сформированное путем увеличения изображения ИHP(t) с низким разрешением, и увеличенное изображение УИ(t+h), сформированное в результате увеличения изображения ИHP(t+h) с низким разрешением (S1). Затем, опорный блок изображения ИВР(1) с высоким разрешением, соответствующий опорному блоку (BLK (БЛК)) изображения ИНР(t) с низким разрешением, выделяют на основе вектора ВД движения. Пиксели опорного блока и пиксели увеличенного изображения УИ(t+n) затем комбинируют с заданным соотношением для формирования сформированного изображения (СИ(t+h) (S2).

В описанном выше примере выполняют прогнозирование движения и компенсацию движения, используя, по существу, разные изображения. В увеличенном изображении УИ, сформированном в результате увеличения изображения ИНР с низким разрешением, увеличивают пространственное разрешение до такого же уровня, как и у изображения ИВР с высоким разрешением, но в нем отсутствует высокочастотный компонент, по сравнению с изображением ИВР с высоким разрешением. Таким образом, могут возникнуть отклонения между вектором движения, детектируемым с использованием увеличенного изображения УИ, и вектора движения, который, по существу, должно иметь изображение ИВР с высоким разрешением. Если точность прогнозирования движения будет низкой, положение опорного блока в изображении ИВР с высоким разрешением сдвигается, и таким образом добавляются шумы к высокочастотному компоненту сформированного изображения СИ, формируемому в результате компенсации движения. При выполнении компенсации движения на основе множества данных изображения, имеющих отличающиеся друг от друга значения пространственного разрешения, требуется использовать технологию подавления шумов, добавляемых в результате компенсации движения.

Как описано ниже, устройство обработки изображения, в соответствии с одним вариантом выполнения настоящего изобретения, имеет функцию сравнения опорного блока изображения ИВР с высоким разрешением и опорного блока увеличенного изображения УИ, синтезированного путем компенсации движения на основе вектора движения, и адаптивного переключения обработки, относящейся к компенсации движения, в соответствии с результатом сравнения, при выполнении компенсации движения на основе множества данных изображения, имеющих отличающие друг от друга значения пространственного разрешения. Такая функция позволяет заранее предотвратить добавление шумов в результате компенсации движения.

<Один вариант выполнения настоящего изобретения>

Устройство 100 обработки изображения, в соответствии с вариантом выполнения настоящего изобретения будет подробно описано ниже.

[Конфигурация устройства для устройства 100 обработки изображения]

Вначале, со ссылкой на фиг.2 будет описана конфигурация устройства для устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения. На фиг.2 показан пояснительный вид, представляющий один пример конфигурации устройства для устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения.

Как показано на фиг.2, устройство 100 обработки изображения, в основном, включает в себя объектив 102 формирования изображения, элемент 104 формирования изображения, блок 110 обработки сигналов камеры, блок 120 записи и воспроизведения движущегося изображения, блок 130 записи воспроизведения неподвижного изображения, блок 140 генерирования изображения, контроллер 106 момента времени генерирования изображения и схему 108 дисплея.

Объектив 102 формирования изображения представляет собой оптический объектив, предназначенный для формирования изображения (ниже называется собранным изображением) субъекта, путем сбора света. Элемент 104 формирования изображения представляет собой фотоэлектрический элемент, предназначенный для преобразования света, собранного объективом 102 формирования изображения, в электрический сигнал. Полупроводниковый элемент, такой как датчик изображения CCD (ПЗС, датчик изображения на основе прибора с зарядовой связью) и датчик изображения CMOS (КМОП, датчик изображения на основе комплементарного металлоксидного полупроводника) используют для элемента 104 формирования изображения. Элемент 104 формирования изображения имеет большее количество пикселей, чем количество эффективных пикселей пространственного разрешения данных движущегося изображения. Схема 108 дисплея обеспечивает отображение устройством дисплея (не показано) данных изображения во время записи или воспроизведения данных изображения, или когда выполняют проверку данных изображения. Контроллер 106 момента времени генерирования изображения представляет собой устройство для оператора, формирующее инструкцию для получения данных неподвижного изображения во время воспроизведения данных движущегося изображения.

(Блок 110 обработки сигналов камеры)

Как показано на фиг.2, блок 110 обработки сигналов камеры включает в себя А/Ц преобразователь 112 и схему 114 цифровой обработки сигналов.

А/Ц преобразователь 112 представляет собой аналогово-цифровой преобразователь, предназначенный для преобразования входного аналогового сигнала в цифровой сигнал и его вывода. А/Ц преобразователь 112 преобразует аналоговый сигнал снятого изображения, подаваемый из элемента 104 формирования изображения, в цифровой сигнал, и выводит его в схему 114 цифровой обработки сигнала. Схема 114 цифровой обработки сигнала выполняет обработку, такую как коррекция баланса белого, гамма-коррекция для цифрового сигнала (ниже называется данными изображения) снятого изображения, выводимого из А/Ц преобразователя 112.

(Блок 120 записи и воспроизведения движущегося изображения)

Как показано на фиг.2, блок 120 записи и воспроизведения движущегося изображения включает в себя модуль 122 сохранения, схему 124 сжатия/расширения движущегося изображения и схему 126 преобразования плотности изображения.

Схема 126 преобразования плотности изображения выполняет обработку прореживания (например, дифференциальное кодирование, внутри кадра и т.д.) для последовательности данных изображения (данные движущегося изображения), вводимых из схемы 114 цифровой обработки сигнала, во время записи данных движущегося изображения. Схема 126 преобразования плотности изображения вводит данные движущегося изображения после обработки прореживания в схему 124 сжатия/расширения движущегося изображения. Схема 124 сжатия/расширения движущегося изображения выполняет обработку сжатия для данных движущегося изображения после прореживания, выводимых из схемы 126 преобразования плотности изображения, и записывает сжатые данные движущегося изображения в модуле 122 сохранения.

При воспроизведении данных движущегося изображения схема 124 сжатия/расширения движущегося изображения считывает данные движущегося изображения, записанные в модуле 122 сохранения, и выполняет для них обработку расширения. Схема 124 сжатия/расширения движущегося изображения вводит расширенные данные движущегося изображения в схему 126 преобразования плотности изображения. Схема 126 преобразования плотности изображения выполняет обработку интерполяции (например, восстановления различных данных) для данных движущегося изображения, вводимых из схемы 124 сжатия/расширения движущегося изображения.

(Блок 130 записи и воспроизведения неподвижного изображения)

Как показано на фиг.2, блок 130 записи и воспроизведения неподвижного изображения включает в себя модуль 132 сохранения, и схему 134 сжатия/расширения неподвижного изображения. Модуль 132 сохранения может реализовать свою функцию, используя устройство сохранения, которое является общим с модулем 122 сохранения.

Во время записи данных неподвижного изображения схема 134 сжатия/расширения неподвижного изображения выполняет обработку сжатия для данных изображения, вводимых из схемы 114 обработки цифрового сигнала, и записывает их в модуль 132 сохранения. При воспроизведении данных неподвижного изображения, схема 134 сжатия/расширения неподвижного изображения считывает данные изображения, записанные в модуле 122 сохранения, и выполняет для них обработку расширения.

(Блок 140 генерирования изображения)

Как показано на фиг.2, блок 140 генерирования изображения, в основном, включает в себя схему 142 прогнозирования движения, схему 144 компенсации движения, и схему 146 определения разностного изображения. Схема 142 прогнозирования движения используется как модуль прогнозирования движения. Схема 144 компенсации движения используется как модуль генерирования изображения.

Схема 142 прогнозирования движения детектирует вектор движения путем выполнения прогнозирования движения между кадрами для данных движущегося изображения, передаваемых из блока 120 записи и воспроизведения движущегося изображения. Например, схема 142 прогнозирования движения выбирает данные неподвижного изображения, записанные в момент времени, ближайший к кадру, записанному в определенный момент времени. Схема 142 прогнозирования движения детектирует вектор движения между кадрами путем выполнения прогнозирования движения между кадром, соответствующим данным неподвижного изображения, и кадром, записанным в определенный момент времени. В этом случае, схема 142 прогнозирования движения увеличивает каждый кадр (ИНР) до опорного значения, для преобразования в увеличенное изображение (УИ), и детектирует вектор движения между соответствующими увеличенными изображениями.

В качестве другого примера, схема 142 прогнозирования движения может выделять множество данных неподвижного изображения, записанного в момент времени, близкий к кадру, записанному в определенный момент времени, и затем может выбирать кадр, соответствующий данным неподвижного изображения, расположенный ближе всего к записанному кадру, в заданный момент времени. Схема 142 прогнозирования движения может детектировать вектор движения между кадрами путем выполнения прогнозирования движения между кадром, соответствующим выбранным данным неподвижного изображения, и кадром, записанным в заданный момент времени. Схема 142 прогнозирования движения может детектировать вектор движения между кадрами, без увеличения каждого кадра (ИНР), и может увеличивать вектор движения таким образом, чтобы адаптировать пространственное разрешение сформированного изображения (СИ).

Схема 144 компенсации движения выполняет компенсацию движения на основе информации вектора движения, вводимого из схемы 142 прогнозирования движения и данные неподвижного изображения введенных из блока 130 записи и воспроизведения неподвижного изображения. Например, схема 144 компенсации движения определяет опорный блок данных неподвижного изображения, соответствующий опорному блоку кадра, записанного в определенный момент времени, на основе вектора движения. Схема 144 компенсации движения генерирует данные изображения (сформированные изображения СИ'), путем комбинирования определенного опорного блока данных неподвижного изображения и опорного блока кадра, записанного в определенный момент времени, с определенным соотношением. Схема 144 компенсации движения выводит сформированное изображение СИ' в схему 146 определения разностного изображения.

Схема 146 определения разностного изображения сравнивает сформированное изображение СИ', вводимое из схемы 144 компенсации движения, и увеличенное изображение УИ, записанное в соответствующий момент времени. Схема 146 определения разностного изображения генерирует разностное изображение, между увеличенным изображением УИ и сформированным изображением СИ', или рассчитывает значение разности, представляющее разность обоих изображений (УИ, СИ'). Схема 146 определения разностного изображения используется как модуль расчета величины различия.

Если различие обоих изображений (УИ, СИ') находится в пределах допустимого диапазона, схема 146 определения разностного изображения управляет схемой 144 компенсации движения для вывода сформированного изображения СИ', сформированного в результате компенсации движения. Если различие обоих изображений (УИ, СИ') превышает допустимый предел, схема 146 определения разностного изображения управляет схемой 144 компенсации движения для вывода увеличенного изображения УИ в том виде, как оно есть. В этом случае, схема 146 определения разностного изображения переключает способ управления схемой 144 компенсации движения в соответствии с взаимозависимостью магнитуд, между разностным значением и заданным установленным значением.

Конфигурация устройства для устройства 100 обработки изображения в соответствии с настоящим вариантом выполнения была описана выше. Устройство 100 обработки изображения позволяет заранее предотвратить генерирование шумов, вызванных точностью прогнозирования вектора движения, посредством применения описанной выше конфигурации устройства.

[Операция записи данных изображения]

Операция записи данных изображения с помощью устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения будет кратко описана ниже.

Вначале оператор передает инструкцию на начало операции записи устройства 100 обработки изображения (S10). В ответ на такую инструкцию, устройство 100 обработки изображения начинает постоянную запись кадров, составляющих данные движущегося изображения (S12). Устройство 100 обработки изображения получает снятое изображение с помощью объектива 102 формирования изображения (S14). Устройство 100 обработки изображения выполняет фотоэлектрическое преобразование снятого изображения с помощью элемента 104 формирования изображения для генерирования аналогового сигнала (S16). Устройство 100 обработки изображения вводит аналоговый сигнал в А/Ц преобразователь 112 для преобразования в цифровой сигнал (S18). Устройство 100 обработки изображения затем вводит цифровой сигнал в схему 114 обработки цифрового сигнала и выполняет такую обработку, как регулирование баланса белого и гамма-коррекция данных изображения, соответствующих такому цифровому сигналу (S20). Устройство 100 обработки изображения накапливает данные изображения, формируя, таким образом, данные движущегося изображения.

Устройство 100 обработки изображения выполняет обработку прореживания по данным движущегося изображения, с помощью схемы 126 преобразования плотности изображения (S22). При выполнении этапа S22 получают количество эффективных пикселей в каждом формате видеосигнала, таком как способ NTSC (Национальный комитет по телевизионным стандартам), способ PAL (построчное изменение фазы) или способ ISDB (Комплексная служба цифрового вещания). Устройство 100 обработки изображения затем выполняет обработку сжатия данных движущегося изображения, полученных после обработки прореживания, с помощью схемы 124 сжатия/расширения движущегося изображения (S24) и записывает полученные данные в модуле 122 сохранения (S25). Устройство 100 обработки изображения также получает данные изображения (данные неподвижного изображения), поочередно, в определенные интервалы времени и выполняет обработку сжатия с помощью схемы 134 сжатия/расширения неподвижного изображения (S32), и записывает в модуль 132 сохранения(S34).

[Операция воспроизведения данных изображения]

Операция воспроизведения данных изображения с помощью устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения будет вкратце описана ниже.

Оператор вводит инструкцию на начало операции воспроизведения в устройство 100 обработки изображения, используя контроллер 106 момента времени генерирования изображения (S50). В ответ на эту инструкцию, устройство 100 обработки изображения начинает генерировать данные изображения с высоким качеством изображения, имеющие более высокое пространственное разрешение, чем данные изображения, и в момент времени записи, в который данные неподвижного изображения не были записаны (S52). Устройство 100 обработки изображения считывает данные движущегося изображения, полученные после обработки сжатия, записанные в модуле 122 сохранения (S54), и выполняет обработку расширения с помощью схемы 124 сжатия/расширения движущегося изображения (S56). В устройстве 100 обработки изображения затем выполняют обработку интерполяции данных движущегося изображения, после обработки расширения, с помощью схемы 126 преобразования плотности изображения (S58). В соответствии с этапом S58, каждый кадр данных движущегося изображения преобразуют в данные изображения, имеющие такое же количество пикселей, как и у данных неподвижного изображения. Данные движущегося изображения затем передают в блок 140 генерирования изображения (S60).

Устройство 100 обработки изображения затем считывает и выполняет расширение данных неподвижного изображения в модуле 132 сохранения с помощью схемы 134 сжатия/расширения неподвижного изображения (S72), и передает в блок 140 генерирования изображения (S74).

(Операция блока 140 генерирования изображения)

Операция обработки блока 140 генерирования изображения будет описана ниже со ссылкой на фиг.3. На фиг.3 показан примерный вид, описывающий операцию обработки в блоке 140 генерирования изображения.

На фиг.3 показано изображение с высоким разрешением ИВР(1), множество изображений с низким разрешением ИHP(t), ИHP(t+h), и сформированное изображение СИ(t+h) так, что они соответствуют времени фотографирования. На фиг.3, в частности, показана операция обработки, предназначенная для генерирования сформированного изображения СИ(t+h), соответствующего изображению с низким разрешением ИHP(t+h), записанному в момент времени t+h.

Предполагается, что изображение с высоким разрешением ИВР имеет количество горизонтальных пикселей N, количество вертикальных пикселей М и частоту кадров 1/ΔТ [fps (кадров в секунду)]. Изображение ИНР с низким разрешением, как предполагается, имеет количество горизонтальных пикселей n, количество вертикальных пикселей m, и частоту кадров l/Δt [кадров в секунду]. Предполагается, что каждая переменная удовлетворяет взаимозависимости N≥n, М≥m, ΔТ≥t. Кроме того, предполагается, что переменная h удовлетворяет взаимосвязи 0≤h≤ΔТ.

Способ генерирования сформированного изображения СИ(t+h) с высоким разрешением в момент времени t+h, используя изображение ИBP(t) с высоким разрешением для момента времени t, и изображение ИHP(t+h) с низким разрешением в момент времени t+h, будет описан со ссылкой на пример, показанный на фиг.3. Способ обработки устройства 100 обработки изображения, в соответствии с настоящим вариантом выполнения, не ограничивается этим. Например, устройство 100 обработки изображения может генерировать сформированное изображение СИ(t+h) при одновременном обращении к изображению с высоким разрешением ИВР(1+ΔТ) для другого момента времени t+ΔТ (не показан). В этом случае, устройство 100 обработки изображения может выполнять обработку выбора изображения ИВР с высоким разрешением как опорное, в соответствии с амплитудой, скоростью и т.п. движения субъекта.

(S1)

Вначале, устройство 100 обработки изображения выполняет прогнозирование движения, используя изображение ИНР(t) и ИHP(t+h) с низким разрешением, с помощью схемы 142 прогнозирования движения. В этом случае, схема 142 прогнозирования движения увеличивает изображение ИНР(t) и ИHP(t+h) с низким разрешением для генерирования увеличенных изображений УИ(t) и УИ(t+h). Схема 142 прогнозирования движения выполняет сравнение увеличенных изображений УИ(t) и УИ(t+h) для детектирования вектора ВД движения между УИ(t) и УИ(t+h). Применимый способ прогнозирования движения включает в себя способ сопоставления блоков, способ корреляции фазы, способ оптического потока, или тому подобное.

(S2)

Устройство 100 обработки изображения затем выполняет компенсацию движения, используя вектор ВД движения и изображение ИBP(t) с высоким разрешением, с помощью схемы 144 компенсации движения. Схема 144 компенсации движения использует вектор ВД движения для определения опорного блока изображения ИВР(1) с высоким разрешением, соответствующего опорному блоку увеличенного изображения УИ(t+h). Схема 144 компенсации движения объединения комбинирует такой блок, и опорный блок увеличенного изображения УИ(t+h) в определенном соотношении, и условно генерирует сформированное изображение СИ'(t+h).

Если выполняют прогнозирование движения и компенсацию движения, между одними и теми же изображениями, уровень возникающих шумов в сформированном изображении СИ(t+h) из-за точности прогнозирования движения будет достаточно малым, если сформированное изображение CИ'(t+h) выводят как сформированное изображение CИ(t+h). Однако, поскольку устройство 100 обработки изображения, в соответствии с настоящим вариантом выполнения выполняет прогнозирование движения, используя изображение ИНР с низким разрешением, возможно возникновение шумов в информации высокочастотного компонента, содержащегося в изображения ИВР с высоким разрешением, при выполнении компенсации движения, когда используют изображение ИВР с высоким разрешением. То есть существует вероятность того, что корреляция между опорным блоком изображения ИВР с высоким разрешением, используемым при компенсации движения, и опорным блоком увеличенного изображения УИ, соответствующим ему, может быть меньше, в зависимости от точности прогнозирования движения.

Например, даже если изображение ИВР с высоким разрешением и изображение ИНР с низким разрешением будут записаны одновременно, изображение ИНР с низким разрешением не содержит высокочастотный компонент, содержащийся в изображении ИВР с высоким разрешением. Таким образом, трудно точно прогнозировать вектор движения, получаемый в результате сравнения изображения с высоким разрешением, даже если прогнозирование движения выполняют с использованием изображения ИНР с низким разрешением, увеличенным до такого же пространственного разрешения, как и изображение ИВР с высоким разрешением. Кроме того, трудно точно прогнозировать вектор движения, даже если вектор движения, детектируемый, путем сравнения изображения ИНР с низким разрешением без расширения будет увеличено, поскольку информация, эквивалентная высокочастотному компоненту, не содержится в изображении ИНР с низким разрешением.

Устройство 100 обработки изображения в соответствии с настоящим вариантом выполнения, таким образом, включает в себя схему 146 определения разностного изображения, предназначенную для выполнения такого управления, что, когда корреляция опорного блока изображения ИВР с высоким разрешением, используемого при компенсации движения и увеличенного изображения УИ, соответствующего ему, низка, изображение, подвергаемое компенсации движения, не используется для его кадра.

Схема 146 определения разностного изображения рассчитывает величину разности путем сравнения условно сгенерированного сформированного изображения СИ'(t+h) и увеличенного изображения УИ(t+h). Если величина разности больше, чем заданное значение, схема 146 определения разностного изображения определяет, что корреляция изображения (СИ', УИ) будет низкой, и выводит увеличенное изображение УИ(t+h) в том виде, как оно есть, для сформированного изображения СИ(t+h). Если величина разности будет меньше, чем заданное значение, схема 146 определения разностного изображения определяет, что корреляция изображения (СИ', УИ) высокая, и выводит сформированное изображение СИ'(t+h) для сформированного изображения СИ(t+h). В результате схема 146 определения разностного изображения может уменьшить шум, который возникает в высокочастотном компоненте из-за точности прогнозирования вектора движения.

(Последовательность операций, выполняемых в схеме 146 определения разностного изображения)

Последовательность операций, выполняемых в схеме 146 определения разностного изображения в соответствии с настоящим вариантом выполнения, будет описана ниже со ссылкой на фиг.4. На фиг.4 показан пояснительный вид, представляющий блок-схему последовательности операций схемы 146 определения разностного изображения, в соответствии с настоящим вариантом выполнения.

Вначале, схема 146 определения разностного изображения рассчитывает величину D различия, между опорным блоком О (опорное значение О[i,j]) увеличенного изображения УИ(t+h) и опорным блоком С (опорное значение С[i,j]) изображения ИВР(t) с высоким разрешением, на основе вектора движения (опорный блок О → опорный блок С), детектируемым схемой 142 прогнозирования движения (S102). Схема 146 определения разностного изображения может рассчитывать величину D[i,j] различия, используя способ MSE (способ среднеквадратической ошибки, СКО) или способ SAD (способ суммы абсолютного различия, CAP). При использовании способа CAP схема 146 определения разностного изображения рассчитывает величину D различия в соответствии с уравнением (1).

Здесь, i и j представляют собой показатели, представляющие положение пикселя в горизонтальном и вертикальном направлениях, соответственно, содержащегося в единичном блоке, на который ссылаются при прогнозировании движения. Сумма уравнения (1) относится к положению i, j всех пикселей, содержащихся в единичном блоке.

Схема 146 определения разностного изображения затем сравнивает заданный параметр Th (ниже называется пороговым значением) и величину D различия и определяет отношение их величин (S104). Пороговое значение Th может изменяться, в соответствии с необходимостью. Например, пороговое значение Th устанавливают, как относительно большое значение, когда предполагают ситуацию, в которой быстро движущийся субъект содержится в данных изображения, ситуацию, в которой содержится сложная структура и т.п. Такие ситуации представляют собой ситуации, когда точность прогнозирования движения проявляет тенденцию к уменьшению, и величина D различия проявляет тенденцию быть относительно большим значением. Таким образом, в такой ситуации, пороговое значение Th предпочтительно устанавливают относительно большим так, что оно превышает диапазон применения способа обработки изображения, в соответствии с настоящим вариантом выполнения.

Когда результат определения D>Th, этот результат обозначает, что опорный блок С и опорный блок О сильно отличаются. Это различие возникает, когда выполняют ошибочную компенсацию движения, поскольку точность прогнозирования движения низка, и когда субъект, который не существует во время t, не появляется во время t+h. В результате устройству 100 обработки изображения трудно компенсировать высокочастотный компонент, содержащийся в изображении с высоким разрешением ИВР(t), для увеличенного изображения УИ(t+h). Схема 146 определения разностного изображения, таким образом, устанавливает опорный блок О, как сформированное изображение СИ(t+h) (опорное значение OUT[i,j]=O[i,j]) для предотвращения генерирования шумов (S106).

Когда результат определения представляет собой D≤Th, этот результат обозначает, что опорный блок С и опорный блок О имеют высокую корреляцию. Таким образом, устройство 100 обработки изображения может компенсировать высокочастотный компонент, содержащийся в изображении ИBP(t) с высоким разрешением, относительно увеличенного изображения УИ(t+h), используя компенсацию движения. Схема 146 определения разностного изображения, таким образом, компенсирует опорный блок О увеличенного изображения УИ(t+h), используя опорный блок С, и устанавливает скомпенсированное изображение, как сформированное изображение СИ(t+h) (опорное значение OUT[i,j]=С[i,j]) для предотвращения генерирования шумов (S108).

Как описано выше, схема 146 определения разностного изображения может предотвращать генерирование шумов, возникающих из-за низкой точности прогнозирования движения, путем сравнения и оценки, выполняемых заранее, опорных блоков, соответствующих опорному источнику и опорному назначению вектора движения. В результате устройство 100 обработки изображения, в соответствии с настоящим вариантом выполнения, предотвращает возникновение шумов, без выполнения компенсации движения, когда точность прогнозирования движения низка, например, в случае генерирования шумов, и генерирует данные изображения с высоким качеством изображения, выполняя компенсацию движения, в других случаях. В результате устройство 100 обработки изображения может генерировать последовательности данных изображения с более высоким качеством изображения при выполнении компенсации движения, используя последовательность данных изображения, имеющих разные значения пространственного разрешения.

(Способ обработки изображения)

Способ обработки изображения в соответствии с настоящим вариантом выполнения будет описан ниже со ссылкой на фиг.5. На фиг.5 показан пояснительный вид, описывающий поток обработки генерирования изображения, в соответствии с настоящим вариантом выполнения.

Вначале, схема 142 прогнозирования движения увеличивает изображение ИНР с низким разрешением для генерирования увеличенного изображения УИ, имеющего такое же пространственное разрешение, как у изображения ИВР с высоким разрешением (S202). Затем инициализируют параметр b, обозначающий положение опорного блока (S204). Затем определяют, превышает или нет параметр b максимальное значение b_max параметра b (S206). Здесь, b_max представляет собой количество блоков, содержащихся в кадре.

Если b≥b_max, блок 140 генерирования изображения прекращает обработку генерирования изображения. Если b<b_max, схема 142 прогнозирования движения выполняет прогнозирование движения от текущего кадра (УИ(t)) до ключевого кадра (УИ(t+h)) (S208). Блок 140 генерирования изображения затем определяет, возможно, или нет выполнение компенсации движения, на основе величины остаточного сигнала прогнозирования (S210).

Если определяют, что выполнение компенсации движения не возможно, на этапе S210, схема 144 компенсации движения выводит увеличенное изображение УИ(t+h) на этапе S202, как сформированное изображение СИ(t+h) (S216). Если определяют, что выполнение компенсации движения возможно, на этапе S210, схема 144 компенсации движения выполняет определение разностного изображения (определение "D>Th" или "D≤Th"), используя изображение ИВР(t) с высоким разрешением и увеличенное изображение УИ(t+h), и определяет, возможно или нет выполнение компенсации движения (S212).

Если определяют, что выполнение компенсации движения возможно, на этапе S212, схема 144 компенсации движения выполняет компенсацию движения, используя изображение ИBP(t) с высоким разрешением (S214). В случае схема 144 компенсации движения использует вектор движения от текущего кадра до ключевого кадра, полученный на этапе S208, размер единичного блока, информацию опорного кадра, или тому подобное. Если определяют, что выполнение компенсации движения не возможно, на этапе S212, схема 144 компенсации движения выводит увеличенное изображение УИ(t+h), как сформированные изображение СИ(t+h) (S216).

Блок 140 генерирования изображения затем последовательно увеличивает параметр b (S218) и снова выполняет обработку, начиная с этапа S206. Блок 140 генерирования изображения затем определяет, возможно, или нет выполнение компенсации движения, при выполнении определения разностного изображения при компенсации движения. Блок 140 генерирования изображения, таким образом, может подавлять генерирование шумов в сформированном изображения СИ(t+h), в результате компенсации движения.

Устройство 100 обработки изображения в соответствии с настоящим вариантом выполнения было описано выше. Как описано выше, устройство 100 обработки изображения, в соответствии с настоящим вариантом выполнения, включает в себя схему 146 определения разностного изображения и может переключать данные изображения для вывода, в качестве сформированного изображения СИ, в соответствии с точностью прогнозирования движения. В результате устройство 100 обработки изображения может генерировать сформированное изображение СИ с высоким качеством изображения, независимо от точности прогнозирования движения, при выполнении прогнозирования движения и компенсации движения, используя последовательность данных изображения, имеющих разные значения пространственного разрешения. Схема 146 определения разностного изображения также может использоваться при детектировании, происходит ли генерирование шумов в сформированном изображении СИ из-за точности прогнозирования движения.

Функция, реализуемая каждым конфигурирующим элементом устройства 100 обработки изображения, может быть реализована с помощью заданной программы, используя устройство обработки информации, описанное ниже.

[Конфигурация аппаратных средств]

Функции 100 устройства обработки изображения могут быть реализованы с помощью устройства обработки информации, имеющего конфигурацию аппаратных средств, показанную на фиг.6. На фиг.6 показан пояснительный вид, представляющий пример конфигурации аппаратных средств устройства обработки информации, позволяющего реализовать функцию каждого элемента конфигурации устройства 100 обработки изображения.

Как показано на фиг.6, устройство обработки информации, в основном, включает в себя ЦПУ (центральное процессорное устройство) 902, ПЗУ (постоянное запоминающее устройство) 904, ОЗУ (оперативное запоминающее устройство) 906, главную шину 908, мост 910, внешнюю шину 912, интерфейс 914, входной модуль 916, выходной модуль 918, модуль 920 сохранения, привод 922, соединительный порт 924 и модуль 926 передачи данных.

ЦПУ 902 выполняет функцию модуля арифметической обработки или модуля управления и управляет всеми операциями составляющих элементов или некоторых из составляющих элементов на основе различных программ, записанных в ПЗУ 904, ОЗУ 906, модуль 920 сохранения, или на съемный носитель 928 записи. В ПЗУ 904 сохраняется, например, программа, загруженная в ЦПУ 902, или данные, или тому подобное, используемые при выполнении арифметической операции. В ОЗУ 906 временно или постоянно сохраняется, например, программа, загружаемая с помощью ЦПУ 902, или различные параметры или тому подобное, произвольно изменяемые при выполнении программы. Такие составляющие элементы соединены друг с другом с использованием, например, главной шины 908, которая может выполнять высокоскоростную передачу данных. Главная шина 908, например, соединена с внешней шиной 912, скорость передачи данных в которой относительно низка, через мост 910.

Входной модуль 916 представляет собой, например, модуль операций, такой как мышь, клавиатура, сенсорная панель, кнопка, переключатель или рычаг. Входной модуль 916 может представлять собой модуль дистанционного управления (так называемый пульт дистанционного управления), который может передавать сигнал управления, используя инфракрасные лучи или другие радиоволны. Входной модуль 916 включает в себя входную схему управления и тому подобное для передачи информации, вводимой путем использования модуля операции ЦПУ 902, через входной сигнал.

Выходной модуль 918 представляет собой, например, устройство дисплея, такое как CRT (ЭЛТ, электронно-лучевая трубка), LCD (ЖКД, жидкокристаллический дисплей), PDP (ППД, панель плазменного дисплея) или ELD (ЭЛД, электролюминесцентный дисплей), устройство вывода звука, такое как громкоговоритель или головные телефоны, принтер, мобильный телефон или факсимильное устройство, которые позволяют визуально или на слух уведомлять пользователя о полученной информации.

Модуль 920 сохранения представляет собой устройство, предназначенное для сохранения различных данных, и включает в себя, например, магнитное запоминающее устройство, такое как привод жесткого диска (HDD (НЖМД), накопитель на жестком магнитном диске), полупроводниковое запоминающее устройство, оптическое запоминающее устройство или магнитооптическое запоминающее устройство или тому подобное.

Привод 922 представляет собой устройство, которое считывает информацию, записанную на съемном носителе 928 записи, таком как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство, или записывает информацию на съемном носителе 928 записи. Съемный носитель 928 записи представляет собой, например, носитель DVD (цифровой диск универсального назначения), носитель Blue-ray, носитель HD-DVD (цифровой диск универсального назначения высокой плотности), компактное устройство флеш (CF; CompactFlash) (зарегистрированный товарный знак), memorystick или карта памяти SD (карта памяти Secure Digital), или тому подобное. Естественно, что съемный носитель 928 записи может представлять собой, например, IC-карту (карта с интегральной микросхемой), в которой установлена бесконтактная интегральная микросхема, электронное устройство или тому подобное.

Соединительный порт 924 представляет собой такой порт, как порт USB (УПШ, универсальная последовательная шина), порт IEEE1394, SCSI (интерфейс малых компьютерных систем), порт РТС-232С или оптический аудиоразъем, к которому подключено внешнее соединительное устройство 930. Внешнее соединительное устройство 930 представляет собой, например, принтер, мобильный музыкальный плеер, цифровую камеру, цифровую видеокамеру, устройство записи на микросхему, или тому подобное.

Модуль 926 передачи данных представляет собой устройство передачи данных, которое подключают к сети 932, Например, используются карта передачи данных для проводной или беспроводной LAN (ЛВС, локальная вычислительная сеть), Bluetooth (зарегистрированный товарный знак), или WUSB (беспроводная УПШ), маршрутизатор оптической передачи данных, маршрутизатор ADSL (АЦАЛ, асимметричная цифровая абонентская линия), различные модемы для передачи данных или тому подобное. Сеть 932, соединенная с модулем 926 передачи данных, включает в себя сеть, соединенную по проводам или по беспроводному каналу передачи данных. Например, используются Интернет, домашняя ЛВС, инфракрасная система передачи данных, широковещательная система передачи данных, спутниковая передача данных или тому подобное.

Для специалистов в данной области техники должно быть понятно, что различные модификации, комбинации, подкомбинации и изменения могут возникать в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема приложенной формулы изобретения или ее эквивалентов.

Например, при описании описанного выше варианта выполнения был описан способ выполнения прогнозирования движения и компенсации движения со ссылкой на задний кадр, но технический объем изобретения не ограничивается этим, и прогнозирование движения и компенсация движения могут быть выполнены со ссылкой на прямой кадр, или прямой и обратные кадры.

[Вариант]

Способ генерирования высококачественного изображения, путем выполнения обработки прогнозирования движения/компенсации движения, на основе прямого и обратного кадров, будет описан со ссылкой на фиг.7. На фиг.7 показан пояснительный вид, описывающий способ генерирования высококачественного изображения путем последовательного выполнения обработки прогнозирования движения/компенсации движения на основе прямого и обратного кадров. Как показано на фиг, 7, если изображение ИВР с высоким разрешением будет записано вокруг требуемого времени фотографирования, компенсация движения может быть выполнена, используя увеличенное изображение УИ(t+h), и изображение ИBP(t) и ИBP(t+h) с высоким разрешением.

Однако в случае генерирования шумов в условно сформированном изображении СИ'(t+h), которое было сгенерировано на основе какого-либо изображения ИВР с высоким разрешением, шумы также генерируются в генерируемом, сформированном, в конечном итоге, изображении СИ(t+h). Таким образом, сформированное изображение СИ(t+h) может быть сгенерировано с использованием только условно сформированного изображения СИ'(t+h), имеющего высокую корреляцию с увеличенным изображением УИ(t+h). Следовательно, увеличивается количество случаев, в которых может применяться компенсация движения, таким образом, пользователь может генерировать последовательность данных изображения с более высоким качеством изображения.