Результат интеллектуальной деятельности: УСТРОЙСТВО ФОРМИРОВАНИЯ ЦВЕТНОГО ИЗОБРАЖЕНИЯ

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к устройству формирования цветного изображения, а более точно, к устройству формирования цветного изображения, которое подавляет формирование цветного муара (цветовых комбинационных искажений).

УРОВЕНЬ ТЕХНИКИ

В устройстве формирования цветного изображения, включающем в себя одноплатный элемент формирования цветного изображения, выходное изображение из элемента формирования цветного изображения является изображением RAW (мозаичным изображением). Поэтому многоканальное изображение получается посредством обработки интерполяции пикселя отсутствующего цвета из окружающих пикселей (обработки устранения мозаичности). В этом случае существует проблема в характеристиках воспроизведения высокочастотного сигнала изображения.

Матрица Байера основных цветов в качестве цветовой матрицы, наиболее широко используемой в одноплатном элементе формирования цветного изображения, включает в себя пиксели зеленого цвета (G), размещенные в форме галочки, и красного цвета (R) и синего цвета (B), размещенные последовательно в линию. Поэтому есть проблема низкочастотного окрашивания (цветного муара), вызванная сверткой высокочастотных сигналов, превышающих полосы воспроизведения цветов, и вызванная уходом фаз цветов.

Например, черно-белая вертикально полосатая структура (высокочастотное изображение), как показано на фиг.10(A), попадает на элемент формирования изображения в матрице Байера, показанной на фиг. 10(B), и структура сортируется по цветовым матрицам Байера для сравнения цветов. Как показано на фиг. с 10(C) по 10(E), R формирует светлое и плоское цветное изображение, B формирует темное и плоское цветное изображение, а G формирует светлое и темное мозаичное цветное изображение. Хотя нет разницы плотности (перепада уровней) между RGB относительно исходного черно-белого изображения, изображение окрашивается в зависимости от цветовой матрицы и частоты входного сигнала.

В устройстве формирования цветного изображения, использующем одноплатный элемент формирования цветного изображения, оптический фильтр нижних частот, сформированный анизотропным веществом, таким как хрусталь, обычно размещен на передней стороне элемента формирования цветного изображения для предотвращения оптического уменьшения высокочастотной волны. Однако, хотя окрашивание, вызванное сверткой высокочастотного сигнала, может быть уменьшено этим способом, есть проблема, что соответственно уменьшается разрешение.

Для решения проблемы предложен элемент формирования цветного изображения, при этом матрица цветовых фильтров элемента формирования цветного изображения является трехцветной матрицей со случайным распределением, удовлетворяющей матричным ограничениям, при которых произвольный целевой пиксель является смежным с тремя цветами, в том числе цветом целевого пикселя на четырех сторонах целевого пикселя (PTL 1).

Также предложен датчик изображения матрицы цветовых фильтров, при этом датчик изображения включает в себя множество фильтров с разной спектральной чувствительностью, и первый и второй фильтры из числа множества фильтров поочередно размещены в первом предварительно определенном периоде в одном из диагональных направлений решетки пикселей датчика изображения и поочередно размещены во втором предварительно определенном периоде в ином диагональном направлении (PTL 2).

Более того, также предложено устройство формирования изображения, включающее в себя элемент формирования цветного изображения, в котором R и B из числа трех основных цветов RGB размещены в каждых трех пикселях в горизонтальном и вертикальном направлениях, а G размещен между R и B (PTL 3). В элементе формирования цветного изображения, описанном в PTL 3, пиксели G, которые вносят наибольший вклад в получение сигналов яркости, размещены в гораздо большем количестве, чем пиксели RB, на том основании, что разрешение цветоразностных сигналов может быть более низким, чем разрешение сигналов яркости. Это может увеличивать разрешение в горизонтальном и вертикальном направлениях.

БИБЛИОГРАФИЯ

ПАТЕНТНАЯ ЛИТЕРАТУРА

PTL 1

Выложенная заявка на выдачу патента Японии, № 2000-308080

PTL 2

Выложенная заявка на выдачу патента Японии, № 2005-136766

PTL 3

Выложенная заявка на выдачу патента Японии, № 8-23543

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

Трехцветная матрица со случайным распределением, описанная в PTL 1, эффективна для низкочастотного цветного муара, но не эффективна для ложного цвета высокочастотного сегмента.

Между тем, в матрице цветовых фильтров датчика изображения, описанного в PTL 2, фильтры R, G и B размещены периодически на линиях в горизонтальном и вертикальном направлениях матрицы цветовых фильтров. В обработке устранения мозаичности мозаичного изображения, выдаваемого из датчика изображения, включающего в себя матрицу цветовых фильтров, в изобретении, описанном в PTL 2, локальная область предварительно определенного размера изображения извлекается вокруг целевого пикселя, рассчитываются статистические данные, имеющие отношение к профилю распределения цвета у цвета целевого пикселя в локальной области и профилю распределения цвета иного цвета, который должен оцениваться, и профили распределения цвета подвергаются линейной регрессии на основании интенсивности цветов в положении целевого пикселя и статистических данных профилей распределения цвета, чтобы тем самым рассчитывать значение оценки иного цвета в положении целевого пикселя. Расчет статистических данных (ковариационных значений), имеющих отношение к профилям распределения цвета, и обработка расчета регрессии необходимы в изобретении, описанном в PTL 2, и существует проблема, что усложняется обработка изображения.

Элемент формирования цветного изображения, описанный в PTL 3, включает в себя линии только с пикселями G в горизонтальном или вертикальном направлении. Поэтому элемент формирования цветного изображения неэффективен для ложного цвета высокочастотного сегмента в горизонтальном или вертикальном направлении.

Настоящее изобретение было сделано ввиду этих обстоятельств, и цель настоящего изобретения состоит в том, чтобы предложить устройство формирования цветного изображения, которое может подавлять формирование ложного цвета высокочастотного сегмента посредством простой обработки изображения.

РЕШЕНИЕ ЗАДАЧИ

Для решения задачи изобретение согласно аспекту настоящего изобретения включает в себя Устройство формирования цветного изображения, включающее в себя: одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры, размещенные на множестве пикселей, сформированных фотоэлектрическими преобразователями, размещенными в горизонтальном и вертикальном направлениях, цветовые фильтры имеют матрицу цветовых фильтров, где все цвета размещены периодически на каждой линии в горизонтальном и вертикальном направлениях; блок получения изображения, который получает мозаичное изображение с элемента формирования цветного изображения; фильтры взвешенного среднего с предварительно определенными коэффициентами фильтра, при этом соотношение между цветами пикселей и коэффициентами фильтра в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлено так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны; блок расчета взвешенного среднего, который рассчитывает средневзвешенные значения каждого цвета на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего; блок обработки устранения мозаичности, который рассчитывает значение пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего и который интерполирует значение пикселя целевого пикселя на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями цвета и иного цвета целевого пикселя для расчета значения пикселя иного цвета; и блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду со сдвигом локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, блоком целевых пикселей обработки устранения мозаичности.

Согласно устройству формирования цветного изображения по аспекту настоящего изобретения используется одноплатный элемент формирования цветного изображения, включающий в себя цветовые фильтры всех цветов в матрице цветовых фильтров, периодически размещенной на линиях в горизонтальном и вертикальном направлениях. Поэтому коэффициенты фильтра для цветов пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, могут быть установлены так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны.

Пропорции сумм каждого цвета равны на любой линии в горизонтальном и вертикальном направлениях в коэффициентах фильтра у фильтров взвешенного среднего. Поэтому независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, соотношение между цветами в результате применения коэффициентов фильтра не является меняющимся, и окрашивание, обусловленное сверткой высокочастотной волны, не возникает. Более точно, средневзвешенные значения каждого цвета, рассчитанные на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселя у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, указывают точные цвета в локальной области независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях в локальной области. Поэтому при расчете значения пикселя иного цвета в положении пикселя целевого пикселя обработки устранения мозаичности в центральном сегменте фильтров взвешенного среднего значение пикселя целевого пикселя может интерполироваться на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений для оценки значения пикселя иного цвета.

В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения матрица цветовых фильтров элемента формирования цветного изображения включает в себя базовую матричную структуру, включающую в себя первые фильтры, соответствующие первому цвету, который в наибольшей степени вносит вклад в получение сигналов яркости, и вторые фильтры, соответствующие двум или более вторых цветов, иных чем первый цвет, базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях, и пропорция количества пикселей первого цвета, соответствующего первым фильтрам, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны. Более точно, даже если пропорция количества пикселей первого цвета, соответствующего первому фильтру, и пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам, различны, пропорции сумм коэффициентов фильтра каждого цвета равны на любой линии в горизонтальном и вертикальном направлениях в коэффициентах фильтра у фильтров взвешенного среднего. Поэтому соотношение между цветами в результате применения коэффициентов фильтра не является меняющимся, и окрашивание, обусловленное сверткой высокочастотной волны, не возникает.

Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения пропорция количества пикселей первого цвета, соответствующего первым фильтрам, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Пропорция количества пикселей первого цвета, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей каждого цвета из вторых цветов, соответствующих вторым фильтрам. Поэтому может подавляться псевдонимизация, и превосходна воспроизводимость высокочастотных волн.

Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, фильтры взвешенного среднего являются фильтрами, взвешенными для увеличения коэффициентов фильтра в центральном сегменте. Как результат могут точно получаться цвета в положениях пикселя целевых пикселей обработки устранения мозаичности.

Предпочтительно, в устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, фильтры взвешенного среднего имеют коэффициенты фильтра, которые горизонтально симметричны, вертикально симметричны и центрально симметричны. Как результат при расчете взвешенных средних каждого цвета посредством извлечения локальной области и мозаичного изображения, одни и те же фильтры взвешенного среднего могут использоваться, даже если извлеченная локальная область смещена.

В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, при этом, когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и B, соответствующих фильтрам R, фильтрам G и фильтрам B, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно, если целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и B пикселей у пикселей R и B в положении целевого пикселя посредством следующих формул

R=G×(Rf/Gf) и B=G×(Bf/Gf), при этом,

если целевой пиксель обработки устранения мозаичности является пикселем R и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и B пикселей у пикселей G и B в положении целевого пикселя посредством следующих формул

G=R×(Gf/Rf) и B=R×(Bf/Rf), при этом,

если целевой пиксель обработки устранения мозаичности является пикселем B и значением пикселя является B, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул

G=B×(Gf/Bf) и R=B×(Rf/Bf).

Отношение средневзвешенных значений (Rf, Gf, Bf) каждого цвета в локальной области указывает отношение (цветовое отношение) RGB исходных цветов в положении пикселя целевого пикселя в локальной области. Значение пикселя в положении целевого пикселя может интерполироваться на основании цветового отношения для точной оценки значения пикселя иного цвета.

В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения, цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, при этом, когда средневзвешенными значениями каждого цвета значений пикселей у пикселей R, G и B, соответствующих фильтрам R, фильтрам G и фильтрам B, рассчитанным блоком расчета взвешенного среднего, являются Rf, Gf и Bf, соответственно, если целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, блок обработки устранения мозаичности рассчитывает значения R и B пикселей у пикселей R и B в положении целевого пикселя посредством следующих формул

R=G+(Rf-Gf) и B=G+(Bf-Gf), при этом,

если целевой пиксель обработки устранения мозаичности является пикселем R и значением пикселя является R, блок обработки устранения мозаичности рассчитывает значения G и B пикселей у пикселей G и B в положении целевого пикселя посредством следующих формул

G=R+(Gf-Rf) и B=R+(Bf-Rf), при этом,

если целевой пиксель обработки устранения мозаичности является пикселем B и значением пикселя является B, блок обработки устранения мозаичности рассчитывает значения G и R пикселей у пикселей G и R в положении целевого пикселя посредством следующих формул

G=B+(Gf-Bf) и R=B+(Rf-Bf).

Перепад между средневзвешенными значениями (Rf, Gf, Bf) каждого цвета в локальной области указывает перепад (цветовой контраст) между RGB исходных цветов в положении пикселя целевого пикселя в локальной области. Значение пикселя в положении целевого пикселя может интерполироваться на основании цветового контраста для точной оценки значения пикселя иного цвета.

В устройстве формирования цветного изображения согласно еще одному аспекту настоящего изобретения цветовые фильтры включают в себя фильтры R, фильтры G и фильтры B, соответствующие цветам красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенным в предварительно определенной матрице цветовых фильтров, матрица фильтров включает в себя: первую матрицу, соответствующую 3×3 пикселей, первая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры B, размещенные вертикально через фильтр G в центре, и фильтры R, размещенные горизонтально через фильтр G в центре; и вторую матрицу, соответствующую 3×3 пикселей, вторая матрица включает в себя фильтры G, размещенные в центре и четырех углах, фильтры R, размещенные вертикально через фильтр G в центре, и фильтры B, размещенные горизонтально через фильтр G в центре, при этом первая и вторая матрицы размещены поочередно в горизонтальном и вертикальном направлениях, фильтры взвешенного среднего имеют размер ядра 9×9, и блок управления, который повторно задействует блок расчета взвешенного среднего и блок обработки устранения мозаичности наряду с последовательным сдвигом фильтра взвешенного среднего для установки одной из первой и второй матрицы по центру.

Первая и вторая матрицы включают в себя вертикально и горизонтально симметричные цветовые фильтры, и только фильтры R и B переключаются между первой и второй матрицами. Поэтому в обработке наряду со сдвигом фильтров взвешенного среднего на 3×3 пикселей пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях могут быть равны без изменения коэффициентов фильтра у фильтров взвешенного среднего.

ПОЛОЖИТЕЛЬНЫЕ РЕЗУЛЬТАТЫ ИЗОБРЕТЕНИЯ

Согласно настоящему изобретению коэффициенты фильтра для цветов пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего, установлены так, что пропорции сумм коэффициентов фильтра каждого цвета на линиях в горизонтальном и вертикальном направлениях равны, и средневзвешенные значения каждого цвета рассчитываются на основании коэффициентов фильтра у фильтров взвешенного среднего и значений пикселей у пикселей в локальной области, извлеченной из мозаичного изображения, соответствующего фильтрам взвешенного среднего. Поэтому цветовое отношение или цветовой контраст средневзвешенных значений каждого цвета в локальной области указывает цветовое отношение или цветовой контраст исходных цветов в положении пикселя целевого пикселя локальной области. Как результат значение пикселя иного цвета может точно оцениваться посредством интерполяции значения пикселя целевого пикселя на основании цветового отношения или цветового контраста рассчитанных средневзвешенных значений.

Цветовое отношение или цветовой контраст средневзвешенных значений каждого цвета в локальной области не меняется независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях в локальной области. Поэтому ложное определение цвета не происходит, и может подавляться формирование ложного цвета в высокочастотном сегменте. Значение пикселя иного цвета может оцениваться посредством простого расчета взвешенного среднего и интерполяции.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - структурная схема, показывающая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.

Фиг. 2 - схема, показывающая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения по первому варианту осуществления.

Фиг. 3 - схема, показывающая базовую матричную структуру, включенную в матрицу цветовых фильтров элемента формирования цветного изображения по первому варианту осуществления.

Фиг. 4 - схема, показывающая состояние, в котором базовая матричная структура 6×6 пикселей, включенная в матрицу цветовых фильтров элемента формирования цветного изображения по первому варианту осуществления, поделена на матрицы A и матрицы B 3×3 пикселей, а матрицы A и матрицы B упорядочены.

Фиг. 5 - схема, показывающая фильтры взвешенного среднего, используемые для элемента формирования цветного изображения по первому варианту осуществления.

Фиг. 6A - схема, показывающая изображение, когда вводится вертикально полосатая высокочастотная волна.

Фиг. 6B - схема, используемая для пояснения, что нет ухода цвета в цветах средневзвешенных значений, применяемых с фильтрами взвешенного среднего, когда вводится вертикально полосатая высокочастотная волна.

Фиг. 7 - схема, показывающая второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего, примененных к настоящему изобретению.

Фиг. 8 - схема, показывающая третий вариант осуществления элемента формирования цветного изображения, используемого для настоящего изобретения.

Фиг. 9A - схема, показывающая третий вариант осуществления фильтров взвешенного среднего, используемых для элемента формирования цветного изображения по третьему варианту осуществления.

Фиг. 9B - схема, показывающая фильтры взвешенного среднего, применяемые, когда локальная область 6×6 пикселей, показанная на фиг. 9A, перемещается на два пикселя в горизонтальном направлении.

Фиг. 10 - схема, используемая для пояснения проблемы традиционного элемента формирования цветного изображения с цветовыми фильтрами в матрице Байера.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

В дальнейшем предпочтительные варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению будут подробно описаны со ссылкой на прилагаемые чертежи.

{Общая конфигурация устройства формирования цветного изображения}

Фиг. 1 - структурная схема, показывающая варианты осуществления устройства формирования цветного изображения согласно настоящему изобретению.

Оптическая система 10 формирования изображения изображает предмет, и оптическое изображение, показывающее изображение предмета, формируется на поверхности приема света элемента 12 формирования цветного изображения (элемента формирования цветного изображения по первому варианту осуществления).

Элемент 12 формирования цветного изображения является одноплатным элементом формирования цветного изображения, включающим в себя: множество пикселей (не показанных), включающих в себя элементы фотоэлектрического преобразования, размещенные в горизонтальном и вертикальном направлениях (двухмерной матрице); и цветовые фильтры в предварительно определенной матрице цветовых фильтров на поверхностях приема света пикселей. Матрица цветовых фильтров элемента 12 формирования цветного изображения отличается тем, что включает в себя фильтры всех цветов, красного цвета (R), зеленого цвета (G) и синего цвета (B), размещенные периодически на линиях в горизонтальном и вертикальном направлениях. Подробности будут описаны позже.

Элементы фотоэлектрического преобразования преобразуют изображение предмета, сформированное на элементе 12 формирования цветного изображения, в информационные заряды, соответствующие количествам падающего света. Информационные заряды, накопленные на элементах фотоэлектрического преобразования, последовательно считываются с элемента 12 формирования цветного изображения в качестве сигналов напряжения (сигналов изображения), соответствующих информационным зарядам, на основании импульсов возбуждения, выдаваемых из блока 18 возбуждения согласно команде блока 20 управления. Сигналы изображения, считанные с элемента 12 формирования цветного изображения, являются сигналами R, G и B, показывающими мозаичное изображение R, G и B, соответствующее матрице цветовых фильтров элемента 12 формирования цветного изображения.

Элемент 12 формирования цветного изображения не ограничен элементом формирования цветного изображения на ПЗС (приборах с зарядовой связью, CCD) и может быть другим типом элемента формирования изображения, таким как элемент формирования изображения на КМОП (комплементарных структурах металл-оксид-полупроводник, CMOS).

Сигналы изображения, считанные с элемента 12 формирования цветного изображения, вводятся в блок 14 обработки изображения. Блок 14 обработки изображения включает в себя: схему коррелированной двойной выборки (CDS), которая удаляет сбросной шум, включенный в сигналы изображения; схему АРУ (AGC), которая усиливает сигналы изображения и управляет размером на определенном уровне; и аналого-цифровой (A/D) преобразователь. Блок 14 обработки изображения применяет обработку коррелированной двойной выборки к входным сигналам изображения и усиливает сигналы изображения, а затем выводит данные RAW, которые сформированы посредством преобразования сигналов изображения в цифровые сигналы изображения, в блок 16 обработки изображения.

Блок 16 обработки изображения включает в себя схему коррекции баланса белого, схему коррекции градаций яркости, схему обработки устранения мозаичности согласно настоящему изобретению (схему обработки, которая рассчитывает (преобразует в синхронную систему) всю цветовую информацию RGB пикселей из мозаичного изображения RGB, ассоциативно связанного с матрицей цветовых фильтров одноплатного элемента 12 формирования цветного изображения), схему формирования сигнала яркости/цветоразностного сигнала, схему коррекции контуров, схему цветовой коррекции и тому подобное. Согласно команде из блока 20 управления блок 16 обработки изображения применяет требуемую сигнальную обработку к данным RAW мозаичного изображения, введенным из блока 14 обработки изображения, для формирования данных изображения (данных YUV (модели яркости и цветоразностных сигналов)), в том числе данных яркости (данных Y) и цветоразностных данных (данных Cr, Cb).

Что касается неподвижных изображений, схема обработки сжатием/расширением применяет обработку сжатием, которая совместима со стандартом JPEG, к данным изображения, сформированным блоком 16 обработки изображения. Что касается движущихся изображений, схема обработки сжатием/расширением применяет обработку сжатием, которая совместима со стандартом MPEG2, к данным изображения. Данные изображения записаны на носителе записи (в карте памяти) и выдаются и отображаются на устройстве отображения (не показано), таком как жидкокристаллический монитор.

Подробности обработки посредством схемы обработки устранения мозаичности согласно настоящему изобретению в блоке 16 обработки изображения будут описаны позже.

<Признаки матрицы цветовых фильтров>

Матрица цветовых фильтров элемента 12 формирования цветного изображения имеет следующие признаки (1), (2) и (3).

{Признак (1)}

Фиг. 2 - схема, показывающая матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе 12 формирования цветного изображения. Как показано на фиг. 2, матрица цветовых фильтров элемента 12 формирования цветного изображения включает в себя базовую матричную структуру P (структуру, указанную толстой рамкой), сформированную квадратной матричной структурой, соответствующей 6×6 пикселям, и базовая матричная структура P повторно размещена в горизонтальном и вертикальном направлениях. Поэтому матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтров R, фильтров G и фильтров B), размещенные в предварительно определенном цикле.

Таким образом, фильтры R, фильтры G и фильтры B размещены в предварительно определенном цикле. Поэтому обработка устранения мозаичности, и тому подобное у сигналов R, G и B, считанных из элемента 12 формирования цветного изображения, может обрабатываться согласно повторяющейся структуре.

{Признак (2)}

В матрице цветовых фильтров, показанной на фиг. 2, фильтры всех цветов R, G и B размещены на линиях в горизонтальном и вертикальном направлениях.

Фиг. 3 показывает состояние, в котором базовая матричная структура P, показанная на фиг. 2, поделена на четыре набора 3×3 пикселя.

Как показано на фиг. 3, базовая матричная структура P может восприниматься в качестве структуры, включающей в себя матрицы A 3×3 пикселя, окруженные рамкой сплошных линий, и матрицы B 3×3 пикселя, окруженные рамкой прерывистых линий, поочередно размещенные в горизонтальном и вертикальном направлениях, как показано на фиг. 4.

Каждая из матриц A и B включает в себя фильтры G в качестве пикселей яркости, размещенных в четырех углах и центре, и фильтры G размещены на обеих диагоналях. В матрице A фильтры R размещены в горизонтальном направлении, и фильтры B размещены в вертикальном направлении, поперек фильтра G в центре. Между тем в матрице B фильтры B размещены в горизонтальном направлении, и фильтры R размещены в вертикальном направлении, поперек фильтра G в центре. Поэтому, хотя взаимное расположение между фильтрами R и B является противоположным в матрицах A и B, остальная часть компоновки является идентичной.

{Признак (3)}

Базовая матричная структура у матрицы цветовых фильтров, показанной на фиг. 2, центрально симметрична относительно центра (центра четырех фильтров G) базовой матричной структуры. Как показано на фиг. 3, матрицы A и матрицы B в базовой матричной структуре также центрально симметричны относительно фильтров G в центрах.

{Признак (4)}

В базовой матричной структуре матрицы цветовых фильтров, показанной на фиг. 2, количества пикселей у пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G, и B в базовой матричной структуре имеют значения восьми пикселей, двадцати пикселей и восьми пикселей, соответственно. Более точно, отношение количеств пикселей у пикселей RGB имеет значение 2:5:2, и пропорция количества пикселей у пикселей G, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей у каждого из пикселей R и B других цветов.

{Фильтры взвешенного среднего, используемые в схеме обработки устранения мозаичности блока 16 обработки изображения}

Фиг. 5 - схема, показывающая вариант осуществления фильтров взвешенного среднего, используемых в схеме обработки устранения мозаичности блока 16 обработки изображения Фиг. 5, особо показывает коэффициенты фильтра у фильтров взвешенного среднего.

Как показано на фиг. 5, фильтры взвешенного среднего (фильтры взвешенного среднего по первому варианту осуществления) имеют размер ядра 9×9, и устанавливаются коэффициенты фильтра, показанные на фиг. 5.

Более точно, что касается коэффициентов фильтра у фильтров взвешенного среднего, локальная область 9×9 пикселей извлекается из мозаичного изображения, полученного из элемента 12 формирования цветного изображения, так чтобы матрица A находилась в центре. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).

Например, коэффициенты фильтра самой верхней строки имеют значения 0, 2, 1, 1, 4, 1, 1, 2 и 0 на фиг. 5. Может быть признано, что суммы цветов имеют значения R=4, G=0+1+1+1+1+0=4, и B=2+2=4, и суммы находятся в соотношении 4:4:4=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.

Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 3×3, коэффициенты фильтра 3×3 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 3×3 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 3×3 в четыре углах были наименьшими.

Коэффициенты фильтра установлены в фильтрах взвешенного среднего так, чтобы коэффициенты были горизонтально симметричными, вертикально симметричными и центрально симметричными.

Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 9×9 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.

Например, когда вводится вертикально полосатая высокочастотная волна, показанная на фиг. 6A, суммы коэффициентов фильтра каждого цвета имеют значения 32:32:32 (смотрите фиг. 6B), и может быть признано, из цветового отношения, что изображение является черно-белым.

{Обработка устранения мозаичности посредством схемы обработки устранения мозаичности блока 16 обработки изображения}

Будет описан способ применения обработки устранения мозаичности к мозаичному изображению RGB схемой обработки устранения мозаичности блока 16 обработки изображения.

Как показано на фиг. 5, локальная область 9×9 пикселей извлекается из мозаичного изображения, полученного из элемента 12 формирования цветного изображения, так что матрица A находится в центре. Средневзвешенные значения каждого цвета RGB рассчитываются на основании значений пикселя у пикселей в локальной области и коэффициентов фильтра у фильтров взвешенного среднего. Более точно, значения пикселя у пикселей в локальной области умножаются на коэффициенты фильтра у фильтров взвешенного среднего в положениях пикселей. Результаты умножения суммируются цвет за цветом для расчета сумм цветов, и суммы цветов, кроме того, делятся на 64, чтобы рассчитать средневзвешенные значения. Число 64 является суммой коэффициентов фильтров RGB у фильтров взвешенного среднего.

Пропорции (цветовое отношение) средневзвешенных значений RGB рассчитываются из рассчитанных средневзвешенных значений RGB. 3×3 пикселя (пиксели в толстой рамке, показанной на фиг. 5) в центральном сегменте в локальной области 9×9 пикселей установлены в качестве целевых пикселей обработки устранения мозаичности, и значения пикселей в положениях пикселя целевых пикселей интерполируются рассчитанным цветовым отношением для расчета значений пикселей других значений в положениях пикселя.

Более точно, когда рассчитанными средневзвешенными значениями каждого цвета RGB являются Rf, Gf и Bf, целевой пиксель обработки устранения мозаичности является пикселем G, и значением пикселя является G, значения R и B пикселя в положении целевого пикселя рассчитываются посредством следующих формул.

R=G×(Rf/Gf), B=G×(Bf/Gf) (1)

Подобным образом, когда целевым значением обработки устранения мозаичности является пиксель R, и значением пикселя является R, значения G и B пикселей у пикселей G и B в положении целевого пикселя рассчитываются посредством следующих формул.

G=R×( Gf/Rf), B=R×( Bf/Rf) (2)

Когда целевым пикселем обработки устранения мозаичности является пиксель B и значением пикселя является B, значения G и R пикселей у пикселей G и R в положении целевого пикселя рассчитываются посредством следующих формул.

G=B×(Gf/Bf), R=B×(Rf/Bf) (3)

Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 3×3 пикселя в центральном сегменте в локальной области 9×9 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на 3×3 пикселя.

Если локальная область 9×9 пикселей сдвигается на три пикселя в горизонтальном или вертикальном направлении из состояния, показанного на фиг. 5, матрица B 3×3 пикселя располагается в центральном сегменте локальной области 9×9 пикселей после сдвига (смотрите фиг. 4). Как описано, компоновки фильтров G являются такими же, как в матрицах A и B, и отличны только положения фильтров R и B. Между тем, идентичные значения назначаются коэффициентам фильтра в положениях, соответствующих фильтрам R, и в положениях, соответствующих фильтрам B, в фильтрах взвешенного среднего.

Поэтому, одинаковые фильтры взвешенного среднего могут использоваться, когда обработка устранения мозаичности выполняется наряду со сдвигом локальной области.

Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны. Поэтому если средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего, когда фильтры взвешенного среднего применяются к мозаичному изображению RGB, полученному из элемента 12 формирования цветного изображения, цвета локальной области, основанные на средневзвешенных значениях RGB, могут точно указываться независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях. Обработка устранения мозаичности выполняется на основании цветов из средневзвешенных значений RGB, и формирование ложного цвета может сдерживаться. Как результат, можно не компоновать оптический фильтр нижних частот для сдерживания формирования ложного цвета на оптическом пути от плоскости падения до плоскости формирования изображения оптической системы. Даже если применяется оптический фильтр нижних частот, может применяться фильтр с меньшим эффекта среза высокочастотных составляющих для предотвращения формирования ложного цвета, и потеря разрешения может предотвращаться.

В варианте осуществления значение пикселя в положении пикселя целевого пикселя интерполируется на основании цветового отношения средневзвешенных значений RGB для расчета значений пикселя других цветов в целевом положении. Однако компоновка не ограничена этим, и значение пикселя у целевого пикселя может интерполироваться на основании цветового контраста между средневзвешенными значениями RGB для расчета значений пикселя других цветов.

Более точно, когда средневзвешенными значениями каждого цвета RGB являются Rf, Gf и Bf, целевой пиксель обработки устранения мозаичности является пикселем G и значением пикселя является G, значения R и B пикселя в положении целевого пикселя рассчитываются посредством следующих формул.

R=G+(Rf-Gf), B=G+(Bf-Gf) (4)

Подобным образом, когда целевым пикселем обработки устранения мозаичности является пиксель R, и значением пикселя является R, значения G и B пикселей у пикселей G и B в положении целевого пикселя рассчитываются посредством следующих формул.

G=R+(Gf-Rf), B=R+(Bf-Rf) (5)

Когда целевым пикселем обработки устранения мозаичности является пиксель B и значением пикселя является B, значения G и R пикселей у пикселей G и R в положении целевого пикселя рассчитываются посредством следующих формул.

G=B+(Gf-Bf), R=B+(Rf-Bf) (6)

{Второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего}

Фиг. 7 - схема, показывающая второй вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего, примененных к настоящему изобретению. Фиг. 7 особо показывает матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения, и коэффициенты фильтра у фильтров взвешенного среднего, используемые для матрицы цветовых фильтров.

Как показано на фиг. 7, в матрице цветовых фильтров элемента формирования цветного изображения по второму варианту осуществления, горизонтальная линя включает в себя RGBRGBRGB..., следующая горизонтальная линия включает в себя GBRGBRGBR..., следующая горизонтальная линия включает в себя BRGBRGBRG..., и это повторяется.

Более точно, матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтры R, фильтры G и фильтры B), размещенные в предварительно определенном цикле.

Как показано на фиг. 7, матрица цветовых фильтров включает в себя фильтры всех цветов R, G и B, размещенные на линиях в горизонтальном и вертикальном направлениях.

Таким образом, матрица цветовых фильтров элемента формирования цветного изображения по второму варианту осуществления включает в себя такие же признаки, как признаки (1) и (2) матрицы цветовых фильтров элемента 12 формирования изображения в первом варианте осуществления.

Между тем, фильтры взвешенного среднего по второму варианту осуществления, применяемые к элементу формирования цветного изображения, имеют размер ядра 6×6, как показано толстой рамой по фиг. 7, и устанавливаются коэффициенты фильтра, показанные на фиг. 7.

Более точно, для коэффициентов фильтра у фильтров взвешенного среднего по второму варианту осуществления, локальная область 6×6 пикселей извлекается из мозаичного изображения, полученного из элемента формирования цветного изображения по второму варианту осуществления. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).

Например, коэффициенты фильтра самой верхней строки имеют значения 0, 1, 2, 2, 1 и 0 на фиг. 7. Может быть признано, что суммы цветов имеют значения R=0+2=2, G=1+1=2, и B=2+0=2, и суммы находятся в соотношении 2:2:2=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.

Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 2×2, коэффициенты фильтра 2×2 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 2×2 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 2×2 в четырех углах были наименьшими.

Коэффициенты фильтра установлены в фильтрах взвешенного среднего так, чтобы коэффициенты были горизонтально симметричными, вертикально симметричными и центрально симметричными.

Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.

Как в первом варианте осуществления, средневзвешенные значения RGB рассчитываются на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, и коэффициентов фильтра у фильтров взвешенного среднего. Значения пикселя целевых пикселей 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей могут интерполироваться на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями RGB для расчета других цветов.

Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 2×2 пикселя в центральном сегменте в локальной области 6×6 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на два пикселя в горизонтальном или вертикальном направлении. В этом случае могут использоваться те же самые фильтры взвешенного среднего.

{Третий вариант осуществления элемента формирования цветного изображения и фильтров взвешенного среднего}

Фиг. 8 - схема, показывающая третий вариант осуществления элемента формирования цветного изображения, используемого для настоящего изобретения. Фиг. 8 особо показывает матрицу цветовых фильтров из цветовых фильтров, размещенных на элементе формирования цветного изображения.

Фиг. 9 показывает коэффициенты фильтра у фильтров взвешенного среднего, применяемых к элементу формирования цветного изображения.

Как показано на фиг. 8, матрица цветовых фильтров элемента формирования цветного изображения по третьему варианту осуществления включает в себя базовую матричную структуру (структуру, указанную толстой рамкой), сформированную квадратной матричной структурой, соответствующей 4×4 пикселям, и базовая матричная структура повторно размещена в горизонтальном и вертикальном направлениях. Поэтому матрица цветовых фильтров включает в себя фильтры цветов R, G и B (фильтров R, фильтров G и фильтров B), размещенные в предварительно определенном цикле.

Матрица цветовых фильтров включает в себя фильтры всех цветов R, G и B, размещенные на линиях горизонтального и вертикального направлений.

Базовая матричная структура у матрицы цветовых фильтров центрально симметрична относительно центра базовой матричной структуры.

Более того, в базовой матричной структуре матрицы цветовых фильтров, показанной на фиг. 8, количества пикселей у пикселей R, пикселей G и пикселей B, соответствующих фильтрам R, G, и B в базовой матричной структуре, имеют значения четырех пикселей, восьми пикселей и четырех пикселей, соответственно. Более точно, отношение количеств пикселей у пикселей RGB имеет значение 1:2:1, и пропорция количества пикселей у пикселей G, которые вносят наибольший вклад в получение сигналов яркости, является большей, чем пропорции количеств пикселей у каждого из пикселей R и B других цветов.

Таким образом, матрица цветовых фильтров элемента формирования цветного изображения по третьему варианту осуществления имеет такие же признаки, как признаки (1), (2), (3) и (4) матрицы цветовых фильтров элемента 12 формирования изображения по первому варианту осуществления.

Между тем, фильтры взвешенного среднего по третьему варианту осуществления, применяемые к элементу формирования цветного изображения, имеют размер ядра 6×6, как показано толстыми рамками 9A и 9B, и устанавливаются коэффициенты фильтра, показанные на фиг. 9A и 9B.

Более точно, для коэффициентов фильтра у фильтров взвешенного среднего по третьему варианту осуществления, локальная область 6×6 пикселей извлекается из мозаичного изображения, полученного из элемента формирования цветного изображения по третьему варианту осуществления. Выделяются коэффициенты фильтра каждого цвета, соответствующие цветам пикселей в локальной области, и рассчитываются суммы коэффициентов фильтра каждого цвета. Коэффициенты фильтра устанавливаются так, чтобы пропорции сумм коэффициентов фильтра каждого цвета RGB на линиях горизонтального и вертикального направлений были равны (1:1:1).

Например, коэффициенты фильтра самой верхней строки имеют значения 2, 1, 2, 4, 2 и 1 на фиг. 9A. Может быть признано, что суммы цветов имеют значения R=4, G=1+2+1=4, и B=2+2=4, и суммы находятся в соотношении 4:4:4=1:1:1. Соотношение сохраняет справедливость для всех строк и столбцов (линий в горизонтальном и вертикальном направлениях) в коэффициентах фильтра.

Коэффициенты фильтра взвешены в фильтрах взвешенного среднего так, чтобы, когда коэффициенты фильтра сравниваются в каждой области, поделенной на размер 2×2, коэффициенты фильтра 2×2 в центральном сегменте были наибольшими, вертикальные и горизонтальные коэффициенты фильтра 2×2 поперек центрального сегмента были следующими наибольшими, а коэффициенты фильтра 2×2 в четыре углах были наименьшими.

Когда средневзвешенные значения RGB рассчитываются на основании фильтров взвешенного среднего с конфигурацией, описанной выше, и на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, отклонение цвета не происходит в цветах, основанных на средневзвешенных значениях RGB независимо от типа частотного входного сигнала в горизонтальном и вертикальном направлениях, и не происходит окрашивания, обусловленного сверткой высокочастотной волны.

Как в первом варианте осуществления, средневзвешенные значения RGB рассчитываются на основании значений пикселя у пикселей в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, и коэффициентов фильтра у фильтров взвешенного среднего. Значения пикселя целевых пикселей 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей могут интерполироваться на основании цветового отношения или цветового контраста между рассчитанными средневзвешенными значениями RGB для расчета других цветов.

Когда обработка устранения мозаичности для расчета значений пикселя RGB завершена для всех пикселей 2×2 пикселя в центральном сегменте в локальной области 6×6 пикселей, такая же обработка применяется наряду со сдвигом локальной области, извлеченной из мозаичного изображения, на два пикселя в горизонтальном или вертикальном направлении. В этом случае могут использоваться другие фильтры взвешенного среднего.

Более точно, когда есть пиксели G на верхнем левом и нижнем правом из 2×2 пикселей в центральном сегменте в локальной области 6×6 пикселей, извлеченной из мозаичного изображения, как показано на фиг. 9A, используются фильтры взвешенного среднего с коэффициентами фильтра, показанными на фиг. 9A. Когда локальная область, извлеченная из мозаичного изображения, сдвинута на два пикселя в горизонтальном направлении, как показано на фиг. 9B, и есть пиксели G на верхнем правом и нижнем левом из 2×2 пикселей в центральном сегменте локальной области, используются фильтры взвешенного среднего с коэффициентами фильтра, показанными на фиг. 9B.

{Прочее}

Хотя устройство формирования цветного изображения, включающее в себя элемент формирования цветного изображения с цветовыми фильтрами трех основных цветов RGB было описано в вариантах осуществления, настоящее изобретение не ограничено этим. Настоящее изобретение также может применяться к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех цветов, включающих в себя три основных цвета RGB и еще один цвет (например, изумрудный цвет (E)).

Настоящее изобретение также может быть применено к устройству формирования цветного изображения, включающему в себя элемент формирования цветного изображения с цветовыми фильтрами четырех дополнительных цветов, в том числе G в дополнение к C (голубому цвету), M (пурпурному цвету) и Y (желтому цвету), которые являются дополнительными цветами основных цветов RGB.

Очевидно, что настоящее изобретение не ограничено вариантами осуществления и различные модификации могут быть произведены, не выходя из сущности настоящего изобретения.

СПИСОК ОБОЗНАЧЕНИЙ ССЫЛОК

10 оптическая система формирования изображения,

12 элемент формирования цветного изображения,

14 блок обработки изображения,

16 блок обработки изображения,

18 блок возбуждения,

20 блок управления