Результат интеллектуальной деятельности: СПОСОБ УМЕНЬШЕНИЯ ШУМА ЭЛЕКТРОННОГО ИЗОБРАЖЕНИЯ

Изобретение относится к области обработки электронных изображений, а именно к современным информационным технологиям и, в частности, к способам повышения качества электронных изображений (ЭИ), полученных с использованием оптико-электронных датчиков сканерного типа. Оптико-электронные датчики данного типа установлены, например, на космических аппаратах типа IKONOS, QuickBird, EROS, Ресурс-ДК, и предназначены для формирования панхроматических, цветных ЭИ, а также многоспектральных и гиперспектральных ЭИ. Данные виды изображений различаются числом компонент ЭИ в панхроматических ЭИ компонента одна (N=1), в цветных ЭИ компонент обычно три (N=3), в многоспектральных ЭИ - до нескольких десятков, а в гиперспектральных ЭИ имеется до нескольких сотен компонент.

Заявленный способ может быть использован для уменьшения шума электронного изображения, возникающего из-за неравномерности чувствительности элементов оптико-электронных датчиков и флуктуации считывающего устройства. В результате воздействия такого шума по направлению строк и/или столбцов электронного изображения появляются квазирегулярные полосовые искажения, существенно снижающие качественные характеристики этого изображения. Данный шум характерен для панхроматических, цветных, а также многоспектральных и гиперспектральных ЭИ.

Известны способы уменьшения шума электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа.

Так, в известном способе уменьшения шума электронного изображения, описанном, например, в книге Р.А. Шовергердт "Дистанционное зондирование. Модели и методы обработки изображений", - М., Техносфера, 2010, стр.360-366, который заключается в том, что над электронным изображением выполняют преобразование Фурье, из полученных коэффициентов преобразования выделяют компоненты амплитудного спектра и компоненты фазового спектра этого изображения. Выполняют оценку характеристик шума компонент амплитудного спектра ЭИ и в соответствии с оцененными характеристиками шума формируют согласованный с этим шумом полосно-заграждающий фильтр. Компоненты амплитудного спектра ЭИ фильтруют с помощью сформированного полосно-заграждающего фильтра, над отфильтрованными компонентами амплитудного спектра и компонентами фазового спектра электронного изображения выполняют обратное преобразование Фурье, в результате которого получают электронное изображение с уменьшенным шумом.

Недостатками указанного аналога является сложность формирования полосно-заграждающего фильтра, достаточно точно согласованного с характеристиками шума компонент амплитудного спектра электронного изображения, а также необходимость ручной подстройки оператором параметров этого фильтра.

Известен также способ уменьшения шума электронного изображения, описанный, например, в патенте США №77831243 МПК G06K 9/40 (2006.06) от 24.08.2010, который заключается в том, что электронное изображение разделяют на рабочие области с заданной геометрической формой, состоящие из центрального пиксела и соседних пикселов, определяют значения взаимной корреляции между центральным пикселом и соседних пикселов очередной рабочей области, затем вычисляют разность между значениями взаимной корреляции пикселей этой области. Если вычисленная разность между значениями взаимной корреляции меньше первого предварительно сформированного порогового значения, то центральный пиксел очередной рабочей области считывают как значение соответствующего пиксела формируемого электронного изображения с уменьшенным шумом.

Иначе, если вычисленная разность между значениями взаимной корреляции меньше второго предварительно сформированного порогового значения, то увеличивают размер очередной рабочей области. Если вычисленная разность между значениями взаимной корреляции больше второго предварительно сформированного порогового значения, то уменьшают размер очередной рабочей области. Затем вычисляют значение взвешенного подобия между центральным пикселом и соседних с ним пикселов по горизонтали в очередной рабочей области, и вычисляют значение взвешенного подобия между центральным пикселом и соседних с ним пикселов по вертикали в очередной рабочей области.

Если вычисленные значения взвешенного подобия между центральным пикселом и соседних с ним пикселов по горизонтали и по вертикали в очередной рабочей области меньше третьего предварительно сформированного порогового значения, то центральный пиксел этой рабочей области считывают как значение соответствующего пиксела формируемого электронного изображения с уменьшенным шумом. Иначе над этим центральным пикселом выполняют медианную фильтрацию и отфильтрованное значение считывают как значение соответствующего пиксела формируемого электронного изображения с уменьшенным шумом.

Недостатком указанного аналога является недостаточная точность коррекции шума электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа.

Наиболее близким по своей технической сущности к заявленному способу уменьшения шума электронного изображения является способ уменьшения шума электронного изображения по патенту США №7409103 МПК G06K 9/00 (2006.06) от 05.08.2008. Способ-прототип уменьшения шума электронного изображения заключается в том, что предварительно формируют ν≥2 коэффициентов низкочастотной фильтрации по строкам и λ≥2 коэффициентов низкочастотной фильтрации по столбцам, на выходе оптико-электронного датчика формируют N≥1 компонент электронного изображения в виде матрицы исходных значений пикселов x_i,j, где l≤i≤n и l≤j≤m, n≥3 и m≥3, над строками и столбцами исходных значений пикселов яркостной компоненты электронного изображения выполняют низкочастотную фильтрацию с использованием предварительно сформированных коэффициентов, а над строками и столбцами исходных значений пикселов цветоразностных компонент электронного изображения выполняют низкочастотную фильтрацию с использованием предварительно сформированных коэффициентов, а если электронное изображение получено кодированием по блокам с последующим декодированием по блокам, то каждый из компонентов электронного изображения разделяют на блоки, соответствующие блокам кодирования и декодирования этого электронного изображения, над строками и столбцами значений пикселов блоков компонент электронного изображения выполняют низкочастотную фильтрацию, электронное изображение с уменьшенным шумом формируют с использованием дополнительной низкочастотной фильтрации значений пикселов компонент электронного изображения на границах соседних блоков.

Способ-прототип уменьшения шума электронного изображения обеспечивает частичную компенсацию искажений электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа.

Недостатком ближайшего аналога (прототипа) являются ограниченные возможности уменьшения шума электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа. Это обусловлено тем, что для современных систем с оптико-электронными датчиками этого типа, таких как IKONOS, QuickBird, EROS, Ресурс-ДК, а также в системах с многоспектральными датчиками, таких как, например, HYPERION и TacSat-3, шум сосредоточен преимущественно в высокочастотной составляющей пикселов компонент электронного изображения и при выполнении фильтрации над неразделенными низкочастотной и высокочастотной составляющими пикселов компонент электронного изображения в отфильтрованную низкочастотную составляющую вносятся дополнительные искажения, снижающие эффективность уменьшения шума электронного изображения.

Техническим результатом заявляемого решения является уменьшение шума электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа.

Указанный технический результат достигается тем, что в известном способе уменьшения шума электронного изображения, заключающимся в том, что предварительно формируют ν≥2 коэффициентов низкочастотной фильтрации по строкам и λ≥2 коэффициентов низкочастотной фильтрации по столбцам, на выходе оптико-электронного датчика формируют N≥1 компонент электронного изображения в виде матрицы исходных значений пикселов x_i,j, где l≤i≤n и l≤j≤m, n≥3 и m≥3, над строками и столбцами матрицы исходных значений пикселов компоненты электронного изображения выполняют низкочастотную фильтрацию с использованием предварительно сформированных коэффициентов, дополнительно низкочастотную фильтрацию над строками и столбцами матрицы исходных значений пикселов компоненты электронного изображения выполняют скользящим фильтром с конечным откликом, после низкочастотной фильтрации выделяют высокочастотную составляющую значений пикселов компоненты электронного изображения, для чего вычитают из исходных значений x_i,j пикселов компоненты электронного изображения соответствующие значения их низкочастотной составляющей, вычисляют математическое ожидание µ_o и среднеквадратическое отклонение σ₀ высокочастотной составляющей всех пикселов компоненты электронного изображения. Затем разделяют матрицу высокочастотной составляющей пикселов компоненты электронного изображения на столбцы или строки и вычисляют значения математического ожидания µ_j и среднеквадратического отклонения σ_j каждого j-го столбца или значения математического ожидания µ_i и среднеквадратического отклонения σ_i, каждой i-ой строки, после чего корректируют значения высокочастотной составляющей пикселов компоненты электронного изображения, соответственно, по столбцам по формуле или по строкам по формуле , где γ_i,j - откорректированные значения высокочастотной составляющей пикселов компоненты электронного изображения, а электронное изображение с уменьшенным шумом формируют суммированием значений низкочастотной составляющей пикселов компоненты электронного изображения и откорректированных значений высокочастотной составляющей этих пикселов.

Указанная новая совокупность выполняемых действий за счет коррекции значений высокочастотной составляющей пикселов компоненты электронного изображения по столбцам или по строкам в соответствии с вычисленными локальными (отдельно по строкам или по столбцам) и глобальными (по всей высокочастотной составляющей компоненты ЭИ) статистическими характеристиками обеспечивает повышение точности коррекции шума электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа. Поэтому указанная новая совокупность выполняемых действий позволит уменьшить шум электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа.

Заявленный способ поясняется чертежами, на которых показаны:

- на фиг.1 - общая схема уменьшения шума на примере одной компоненты электронного изображения;

- на фиг.2 - алгоритм уменьшения шума электронного изображения;

- на фиг.3 - порядок низкочастотной фильтрации над строками и столбцами матрицы исходных значений пикселов компоненты электронного изображения с использованием скользящего фильтра с конечным откликом;

- на фиг.4 - пример последовательности выполнения действий коррекции шума пикселов яркостной компоненты электронного изображения размером 13 на 13 пикселов;

- на фиг.5 - пример исходного электронного изображения (а) и сформированного из него электронного изображения с уменьшенным шумом с использованием способа-прототипа (б) и предлагаемым способом (в);

- на фиг.6 - результат уменьшения шума электронного изображения с использованием способа-прототипа (а) и предлагаемым способом (б).

Реализация способа ниже рассмотрена на примере общей схемы уменьшения шума электронного изображения (фиг.1). С выхода оптико-электронного датчика 1 электронное изображение поступает на вход устройства уменьшения шума 2, где в блоке низкочастотной фильтрации 2.1 с использованием записанных в блоке хранения коэффициентов фильтрации 2.2 предварительно сформированных коэффициентов низкочастотной фильтрации последовательно выполняют низкочастотную фильтрацию исходных значений пикселов компоненты электронного изображения по строкам и столбцам. Затем в блоке выделения высокочастотной составляющей 2.3 выделяют высокочастотную составляющую значений пикселов компоненты электронного изображения. Далее в вычислителе глобальных статистических характеристик 2.4 вычисляют математическое ожидание и среднеквадратическое отклонение высокочастотной составляющей всех пикселов компоненты электронного изображения. Параллельно в блоке разделения матрицы 2.5 разделяют матрицу высокочастотной составляющей пикселов компоненты электронного изображения на столбцы или строки, после чего в вычислителе локальных статистических характеристик 2.6 вычисляют значения математического ожидания и среднеквадратического отклонения каждого столбца или каждой строки. В блоке коррекции высокочастотной составляющей 2.7 с использованием вычисленных значений глобальных и локальных статистических характеристик выполняют коррекцию значений высокочастотной составляющей пикселов компоненты электронного изображения. Затем в блоке суммирования 2.8 формируют электронное изображение с уменьшенным шумом суммированием значений низкочастотной составляющей пикселов компоненты электронного изображения и откорректированных значений высокочастотной составляющей этих пикселов.

В заявленном способе для уменьшения шума электронного изображения реализуется следующая последовательность действий. Алгоритм уменьшения шума электронного изображения представлен на фигуре 2.

Известные способы предварительного формирования ν≥2 коэффициентов низкочастотной фильтрации по строкам и λ≥2 коэффициентов низкочастотной фильтрации по столбцам описаны, например, в книге Л. Гольденберг, Б. Матюшкин, М. Поляк "Цифровая обработка сигналов: Справочник". - М., Радио и связь, 1985, стр.139-155. Величины размерности ν и λ фильтра подбираются в соответствии с глубиной корреляционных зависимостей между значениями соседних пикселов компоненты электронного изображения. При выбранных значениях ν и λ величины коэффициентов низкочастотной фильтрации по строкам и по столбцам формируются таким образом, чтобы в результате низкочастотной фильтрации максимально уменьшить шум оптико-электронного датчика сканерного типа, как описано, например, в книге Б. Яне "Цифровая обработка изображений". - М., Техносфера, 2007, стр. 129-143.

В частности, низкочастотная фильтрация по строкам с использованием скользящего фильтра с конечным откликом при числе коэффициентов ν=7 описывается формулой

а низкочастотная фильтрация по столбцам при числе коэффициентов λ=7 описывается аналогичной формулой

Например, для числа коэффициентов ν=7 или λ=7 могут быть сформированы следующие значения коэффициентов низкочастотной фильтрации по строкам или по столбцам: a _-3=-0.095238; a _-2=0.14286; a _-1=0.28571; a ₀=0.33333; a ₁=0.28571; a ₂=0.14286; a ₃=-0.095238.

Например, для ν=9 или λ=9 могут быть сформированы следующие значения коэффициентов низкочастотной фильтрации по строкам или по столбцам: a _-4=-0.090909; a _-3=0.060606; a _-2=0.16883; a _-1=0.23377; a ₀=0.25541; a ₁=0.23377; a ₂=0.16883; a ₃=0.060606; a ₄=-0.090909.

На фиг.3а показан пример порядка низкочастотной фильтрации над строками и столбцами матрицы исходных значений пикселов компоненты электронного изображения с использованием скользящего фильтра с конечным откликом по строкам при числе коэффициентов ν=7, а на фиг.3б - по столбцам при λ=7.

Известные способы формирования на выходе оптико-электронного датчика N≥1 компонент электронного изображения в виде матрицы исходных значений пикселов x_i,j, где l≤i≤n и l≤j≤m, n≥3 и m≥3, описаны, например, в книге Д. Сэломон "Сжатие данных, изображений и звука". - М., Техносфера, 2006, стр.187-189. Число компонент электронного изображения может быть от одной до нескольких сотен. Например, в панхроматических электронных изображениях имеется только одна компонента (N=1). В цветных электронных изображениях чаще всего используются 3 компоненты, например, компонента яркости Y и две цветоразностные компоненты Cb и Cr. В многоспектральных и гиперспектральных электронных изображениях, описанных, например, в книге Р.А. Шовергердт "Дистанционное зондирование. Модели и методы обработки изображений", - М., Техносфера, 2010, стр.360-366, указано, что число их компонент может составлять от нескольких десятков до нескольких сотен. Для различных оптико-электронных датчиков размеры матрицы исходных значений пикселов n и m могут принимать значения до нескольких тысяч пкселов по вертикали и по горизонтали.

Пример матрицы исходных значений яркости пикселов x_i,j панхроматического ЭИ размером 13 на 13 пикселов показан на фиг.4а. Значения яркости пикселов находятся в диапазоне от 0 до 255. Видно, что соседние значения яркости пикселов имеют существенную корреляцию по строкам и столбцам матрицы.

Известные способы выполнения низкочастотной фильтрации с использованием предварительно сформированных коэффициентов над строками и столбцами матрицы исходных значений пикселов компоненты электронного изображения описаны, например, в патенте США №77831243 МПК G06K 9/40 (2006.06) от 24.08.2010. Например, можно выполнить низкочастотную фильтрацию с использованием предварительно сформированных коэффициентов над строками и столбцами матрицы исходных значений пикселов компоненты электронного изображения в соответствии с приведенными выше формулами при числе коэффициентов ν=7 и λ=7. Пример полученных значений низкочастотной составляющей пикселов компоненты электронного изображения при выполнении низкочастотной фильтрации с использованием предварительно сформированных коэффициентов над строками показан на фиг.4б. Указанная фильтрация выполнялась над показанной на фиг.4а матрицей исходных значений яркости пикселов x_i,j панхроматического ЭИ размером 13 на 13 пикселов. Видно, что в результате низкочастотной фильтрации над строками соседние по горизонтали значения яркости пикселов стали более коррелированными между собой по сравнению с исходными значениями пикселов этой же матрицы.

Пример полученных значений низкочастотной составляющей пикселов компоненты электронного изображения при выполнении низкочастотной фильтрации с использованием предварительно сформированных коэффициентов сначала над строками, а затем над столбцами показан на фиг.4в. Видно, что в результате низкочастотной фильтрации над столбцами соседние по вертикали значения яркости пикселов стали более коррелированными между собой по сравнению с исходными значениями пикселов этой же матрицы.

Известные способы выделения высокочастотной составляющей значений пикселов компоненты электронного изображения, для чего вычитают из исходных значений пикселов компоненты электронного изображения соответствующие значения их низкочастотной составляющей, описаны, например, в книге А. Сикарев, О. Лебедев "Микроэлектронные устройства формирования и обработки сложных сигналов". - М., Радио и связь, 1983, стр.106-108. Они заключаются в суммировании исходных значений x_i,j пикселов компоненты электронного изображения и соответствующего значения их низкочастотной составляющей, взятого со знаком минус. Реализация этого действия может быть выполнена, например, с использованием цифрового сумматора - микросхемы типа К155ИМ1, описанного в книге В.Шило "Популярные цифровые микросхемы; Справочник". - М., Радио и связь, 1987, стр.153-160. Вычитание из исходных значений x_i,j пикселов компоненты электронного изображения соответствующих значений их низкочастотной составляющей реализуется с использованием указанных выше цифровых сумматоров путем суммирования исходного значения x_i,j пиксела компоненты электронного изображения на прямом входе цифрового сумматора и суммирования соответствующего значения его низкочастотной составляющей на инверсном входе цифрового сумматора.

Пример полученных значений выделенной высокочастотной составляющей значений пикселов компоненты электронного изображения показан на фиг.4г.

Известные способы вычисления математического ожидания µ_o и среднеквадратического отклонения σ_o высокочастотной составляющей всех пикселов компоненты электронного изображения описаны, например, в книге В. Калининой, В. Панкина "Математическая статистика". - М., Высшая школа, 1998, стр.158-160. Указанные статистические характеристики являются двумя первыми центральными моментами высокочастотной составляющей всех пикселов компоненты электронного изображения.

Известные способы разделения матрицы высокочастотной составляющей пикселов компоненты электронного изображения на столбцы или строки описаны, например, в книге Я. Ричардсон "Видеокодирование. Н.264 и MPEG-4 - стандарты нового поколения". - М., Техносфера, 2005, стр.38-40. Для этого поочередно, начиная с первого и до последнего, из упомянутой матрицы выделяют очередной j-ый столбец значений высокочастотной составляющей пикселов компоненты электронного изображения. Аналогично, поочередно, начиная с первой и до последней, из упомянутой матрицы выделяют очередную i-ую строку значений высокочастотной составляющей пикселов компоненты электронного изображения.

Известные способы вычисления математического ожидания µ_j и среднеквадратического отклонения σ_j каждого j-го столбца или значения математического ожидания µ_i и среднеквадратического отклонения σ_i, каждой i-ой строки описаны, например, в книге В. Калининой, В. Панкина "Математическая статистика". - М., Высшая школа, 1998, стр.158-160.

Известные способы коррекции значений высокочастотной составляющей пикселов компоненты электронного изображения, соответственно, по столбцам по формуле или по строкам по формуле ; где γ_i,j - откорректированные значения высокочастотной составляющей пикселов компоненты электронного изображения, описаны, например, в книге А. Сикарев, О. Лебедев "Микроэлектронные устройства формирования и обработки сложных сигналов". - М., Радио и связь, 1983, стр.106-148. Они заключаются в последовательном выполнении действий вычитания, деления и суммирования соответствующих значений с использованием цифровых сумматоров с прямыми и инверсными входами и цифровых перемножителей и делителей.

Пример полученных скорректированных по строкам и по столбцам значений высокочастотной составляющей пикселов компоненты электронного изображения показан на фиг.4д. Видно, что в результате коррекции соседние по горизонтали и по вертикали значения высокочастотной составляющей пикселов компоненты электронного изображения стали ближе друг к другу по сравнению с показанными на фиг.4г значениями высокочастотной составляющей значений пикселов компоненты этого же электронного изображения.

Известные способы формирования электронного изображения с уменьшенным шумом суммированием значений низкочастотной составляющей пикселов компоненты электронного изображения и откорректированных значений высокочастотной составляющей этих пикселов описаны, например, в книге А. Сикарев, О. Лебедев "Микроэлектронные устройства формирования и обработки сложных сигналов". - М., Радио и связь, 1983, стр.106-108. Они заключаются в суммировании соответствующих значений с использованием цифровых сумматоров с прямыми входами.

Пример сформированного электронного изображения с уменьшенным шумом показан на фиг.4е. По сравнению с показанной на фиг.4а матрицей исходных значений яркости пикселов x_i,j ЭИ для этого же электронного изображения достигнуто уменьшение шума, возникшее из-за неравномерности чувствительности элементов оптико-электронного датчика сканирующего типа.

Проверка теоретических предпосылок заявленного способа уменьшения шума электронного изображения проверялась путем его аналитических исследований и имитационного моделирования.

Для проверки был использован фрагмент панхроматического ЭИ, сформированного сканирующей камерой «Клест» (изготовлена ОАО «КБ «Луч», г.Рыбинск) с самолета АН-2 в летних условиях. На показанном на фиг.5а исходном ЭИ присутствует заметный строчный полосовой шум, возникающий из-за неравномерности чувствительности элементов использованной сканирующей камеры. Данное ЭИ было обработано с использованием описанного выше способа - прототипа уменьшения шума электронного. Сформированное с использованием способа - прототипа электронное изображение с уменьшенным шумом показано на фиг.5б. При детальном исследовании этого изображения выявлено, что шум сканирующей камеры скорректирован не полностью из-за возникновения в ходе коррекции паразитной пространственной модуляции значений яркости пикселов ЭИ. Кроме того, этот способ коррекции добавляет на отдельные области откорректированного изображения визуально заметные «пятна», не свойственные исходному ЭИ.

Сформированное с использованием предлагаемого способа электронное изображение с уменьшенным шумом показано на фиг.5в.

Для оценки степени коррекции шума на фиг.6а показана разность значений пикселов сформированного с использованием способа-прототипа электронного изображения с уменьшенным шумом и исходного ЭИ (разность между изображениями на фиг.5б и на фиг.5а). При детальном рассмотрении этого разностного изображения видно, что шум скорректирован не полностью. Аналогичным образом, на фиг.6б показана разность значений пикселов сформированного с использованием предлагаемого способа электронного изображения с уменьшенным шумом и исходного ЭИ (разность между изображениями на фиг.5в и на фиг.5а). При детальном рассмотрении этого разностного изображения видно, что степень коррекции шума стала выше.

Для количественной оценки качества коррекции предлагаемым способом, по сравнению со способом-прототипом, использовалась пиковое отношение яркости пикселов сформированного ЭИ с уменьшенным шумом к среднеквадратическому отклонению скорректированного шума. Для показанного на фиг.5а исходного ЭИ при использовании способа-прототипа данная количественная оценка качества коррекции составила значение В_{прототип}=357,93/19,27=18,58. Для этого же исходного ЭИ при использовании предлагаемого способа данная количественная оценка качества коррекции составила значение В_предл=380,6/16,88=22,55. По данному показателю оценки качества коррекции выигрыш в уменьшении шума с использованием предлагаемого способа по сравнению со способом-прототипом составил В_предл/В_{прототип}=1,21 раза. Следовательно, по данному показателю инструментально подтверждается преимущество предлагаемого способа.

Таким образом, проведенные исследования подтверждают, что при использовании предлагаемого способа обеспечивается уменьшение шума электронного изображения, полученного с использованием оптико-электронного датчика сканерного типа.