Результат интеллектуальной деятельности: СПОСОБ ПОВЫШЕНИЯ ВИЗУАЛЬНОЙ ИНФОРМАТИВНОСТИ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ

Изобретение относится к области цифровой обработки изображений и может быть использовано для улучшения цифрового цветного или полутонового изображения.

Известен способ получения изображения повышенной визуальной информативности [1], заключающийся в том, что выполняют трехуровневую декомпозицию вейвлетом Хаара исходного изображения, представленного матрицей яркостей, путем дискретного стационарного вейвлет-преобразования с получением на третьем уровне разложения аппроксимирующей составляющей изображения в виде матрицы коэффициентов аппроксимации и матриц горизонтальных, вертикальных и диагональных детализирующих коэффициентов на каждом уровне разложения; на третьем уровне разложения вычисляют гистограмму яркости с использованием матрицы коэффициентов аппроксимации, вычисляют функцию коррекции яркости и функцию коррекции яркостного контраста с использованием гистограммы яркости и зависимости светлотного контраста от яркости, формируют матрицы коэффициентов коррекции яркостного контраста с использованием функции коррекции яркостного контраста и матрицы коэффициентов аппроксимации, преобразуют матрицу коэффициентов аппроксимации функцией коррекции яркости; выполняют свертку матрицы коэффициентов коррекции яркостного контраста аппроксимирующим оператором реконструкции; на каждом уровне разложения суммируют матрицы детализирующих коэффициентов с получением матрицы детализирующей составляющей изображения, на каждом уровне разложения сглаживают шумовую микроструктуру изображения путем преобразования детализирующей составляющей с использованием нормированной интегральной гистограммы абсолютных значений элементов матрицы детализирующей составляющей изображения; выполняют реконструкцию результирующего изображения обратным дискретным стационарным вейвлет-преобразованием с коррекцией детализирующих составляющих путем свертки операторами реконструкции на каждом уровне разложения матрицы коэффициентов аппроксимации с получением реконструированной аппроксимирующей составляющей и свертки матриц детализирующих коэффициентов, суммирования матриц реконструированных детализирующих коэффициентов с получением матрицы реконструированной детализирующей составляющей изображения, поэлементного умножения матриц реконструированной детализирующей составляющей и коэффициентов коррекции яркостного контраста на каждом уровне разложения, вычисления яркостно-контрастного распределения с использованием значений реконструированной аппроксимирующей и преобразованной детализирующей составляющих первого уровня разложения, вычисления коэффициента повышения резкости с использованием яркостно-контрастного распределения, умножения элементов матрицы преобразованной детализирующей составляющей первого уровня разложения на коэффициент повышения резкости, и поэлементного суммирования на каждом уровне разложения преобразованных матриц аппроксимирующей и детализирующей составляющих с получением аппроксимирующей составляющей следующего уровня разложения.

К недостаткам известного способа относятся: отсутствие функциональной адаптации к структуре и качеству исходного изображения; чрезмерное контрастирование больших фрагментов изображения с невыраженной детальностью, особенно заметное при обработке цветных изображений, поскольку при формировании корректирующих функций не учитывается распределение локальных контрастов обрабатываемого изображения; сглаживание шумовой микроструктуры при помощи корректирующей функции на основе вычисляемого значения шумового порога не является избирательным, приводя к потере малоразмерных образований с низким локальным контрастом, которые могут представлять интерес.

Техническим результатом заявляемого решения является повышение визуальной информативности цифровых изображений.

Технический результат достигается тем, что преобразуют исходное изображение, представленное R,G,B составляющими, в трехкомпонентную цветовую систему Lab с компонентой L, матрица которой характеризует яркость исходного изображения, и матриц компонент а и b, характеризующих его цвет; из матрицы каждой компоненты а и b вычитают среднее значение ее элементов, затем выполняют трехуровневую декомпозицию матриц компонент L,a,b вейвлетом Хаара путем дискретного стационарного вейвлет-преобразования, выполняют реконструкцию результирующего изображения обратным дискретным стационарным вейвлет-преобразованием с коррекцией составляющих декомпозиции компонент L,a,b, при этом на каждом уровне разложения выполняют операторами реконструкции свертку матриц коэффициентов аппроксимации с получением реконструированных аппроксимирующих составляющих компонент L,a,b и свертку матриц детализирующих коэффициентов компонент L,a,b с получением матриц реконструированных детализирующих коэффициентов компонент L,a,b; затем матрицы реконструированных детализирующих коэффициентов каждой из компонент L,a,b суммируют и получают реконструированные детализирующие составляющие компонент L,a,b; на третьем уровне разложения вычисляют яркостно-контрастное распределение с использованием значений реконструированных аппроксимирующей и детализирующей составляющих компоненты L, а также гистограмму яркости с использованием значений реконструированной аппроксимирующей составляющей компоненты L, затем вычисляют функцию коррекции яркости путем объединения значений гистограммы яркости, яркостно-контрастного распределения и зависимости воспринимаемого яркостного контраста от яркости, вычисляют функцию коррекции яркостного контраста с использованием функции коррекции яркости, вычисляют матрицу коэффициентов коррекции яркостного контраста с использованием функции коррекции яркостного контраста и реконструированной матрицы коэффициентов аппроксимации компоненты L; на третьем уровне разложения вычисляют цветояркостную зависимость с использованием абсолютных значений элементов матриц реконструированных аппроксимирующих составляющих компонент L,a,b, вычисляют функцию коррекции контраста по насыщенности путем объединения элементов цветояркостной зависимости и яркостно-контрастного распределения, вычисляют матрицы коэффициентов коррекции контраста по насыщенности с использованием функции коррекции контраста по насыщенности и значений элементов матрицы реконструированной аппроксимирующей составляющей компоненты L, затем поэлементно умножают матрицы реконструированных аппроксимирующих составляющих компонент а и b на матрицу коррекции контраста по насыщенности, преобразуют значения элементов реконструированной аппроксимирующей составляющей компоненты L функцией коррекции яркости; на каждом уровне разложения выполняют коррекцию яркостаого контраста путем поэлементного умножения матриц реконструированной детализирующей составляющей компоненты L и коэффициентов коррекции яркостного контраста, а также коррекцию контраста по насыщенности путем поэлементного умножения матриц реконструированных детализирующих составляющих компонент а и b и матрицы коэффициентов коррекции контраста по насыщенности, при этом на каждом уровне разложения, кроме третьего, выполняют свертку матриц коэффициентов коррекции яркостного контраста и контраста по насыщенности аппроксимирующим оператором реконструкции; суммируют матрицы скорректированных аппроксимирующей и детализирующей составляющих каждой компоненты L,a,b с получением аппроксимирующих составляющих компонент L,a,b следующего уровня разложения; затем преобразуют реконструированные компоненты L,a,b в составляющие RGB результирующего изображения.

Технический результат может быть достигнут также тем, что согласно способу выполняют анализ структуры изображения с использованием оценки яркостного контраста, вычисляемой на каждом уровне разложения как частное от деления абсолютного значения суммы детализирующих коэффициентов компоненты L на сумму коэффициентов аппроксимации компоненты L; по результатам анализа структуры изображения после получения матриц реконструированных детализирующих составляющих компонент L,a,b выполняют сглаживание шумовой микроструктуры изображения путем вычисления на каждом уровне разложения нормированной интегральной гистограммы абсолютных значений элементов матрицы реконструированной детализирующей составляющей компоненты L с получением функции коэффициентов сглаживания шумовой микроструктуры, поэлементного преобразования матриц реконструированных детализирующих составляющих компонент L,a,b изображения функцией коэффициентов сглаживания шумовой микроструктуры.

Технический результат может быть достигнут также тем, что согласно способу выполняют анализ структуры изображения с использованием оценки яркостного контраста, вычисляемой на каждом уровне разложения как частное от деления абсолютного значения суммы детализирующих коэффициентов компоненты L на сумму коэффициентов аппроксимации компоненты L; по результатам анализа структуры изображения перед суммированием матриц скорректированных аппроксимирующей и детализирующей составляющих каждой компоненты L,a,b изображения выполняют повышение резкости изображения путем вычисления яркостно-контрастного распределения с использованием значений преобразованных аппроксимирующей и детализирующей составляющих компоненты L первого уровня разложения, вычисляют коэффициент повышения резкости с использованием яркостно-контрастного распределения, умножают на коэффициент повышения резкости элементы матрицы реконструированной детализирующей составляющей изображения.

Технический результат может быть достигнут также тем, что согласно способу выполняют анализ структуры изображения с использованием оценки яркостного контраста, вычисляемой на каждом уровне разложения как частное от деления абсолютного значения суммы детализирующих коэффициентов компоненты L на сумму коэффициентов аппроксимации компоненты L; после получения матриц реконструированных детализирующих составляющих компонент L,a,b изображения выполняют сглаживание шумовой микроструктуры изображения путем вычисления на каждом уровне разложения нормированной интегральной гистограммы абсолютных значений элементов матрицы реконструированной детализирующей составляющей компоненты L с получением функции коэффициентов сглаживания шумовой микроструктуры, поэлементного преобразования матриц реконструированных детализирующих составляющих компонент L,a,b изображения функцией коэффициентов сглаживания шумовой микроструктуры, при этом перед суммированием матриц скорректированных аппроксимирующей и детализирующей составляющих каждой компоненты L,a,b выполняют повышение резкости изображения путем вычисления яркостно-контрастного распределения с использованием значений преобразованных аппроксимирующей и детализирующей составляющих компоненты L первого уровня разложения, вычисляют коэффициент повышения резкости с использованием яркостно-контрастного распределения, умножают на коэффициент повышения резкости элементы матрицы реконструированной и преобразованной детализирующей составляющей изображения.

На фиг. 1 представлена схема реализации способа повышения визуальной информативности цветных изображений, где:

src - обозначение исходного изображения;

R, G, B - обозначение компонент изображения в цветовой системе RGB;

L,a,b - обозначение компонент изображения в цветовой системе Lab;

n - уровень декомпозиции (n=0 соответствует уровню изображению);

Ν - глубина декомпозиции;

А - матрица коэффициентов аппроксимации (аппроксимирующая составляющая изображения);

D - детализирующая составляющая изображения;

D^h, D^v, D^d - матрицы горизонтальных, вертикальных и диагональных детализирующих коэффициентов;

- реконструированная аппроксимирующая составляющая изображения (результат свертки оператором реконструкции);

- реконструированная детализирующая составляющая изображения;

proc - обозначение результата обработки;

LUTa - функция коррекции яркости;

M - матрица коэффициентов коррекции.

На фиг. 2 представлена схема реализации способа по п. 2 с вычислением оценок яркостного контраста, анализом структуры изображения и сглаживанием шумовой микроструктуры, где

C_n - оценка локальных контрастов на уровне разложения n.

На фиг. 3 представлена схема реализации способа по п. 3 с вычислением оценок яркостного контраста, анализом структуры изображения и повышением резкости изображения, где

C_n - оценка локальных контрастов на уровне разложения n.

На фиг. 4 представлена схема реализации способа по п. 4 с вычислением оценок яркостного контраста, анализом структуры изображения, сглаживанием шумовой микроструктуры и повышением резкости изображения, где

C_n - оценка локальных контрастов на уровне разложения n.

Способ реализуют путем выполнения:

- преобразования исходного изображения RGB в цветовую систему Lab;

- установления цветового баланса изображения;

- декомпозиции компонент L, a, b изображения;

- реконструкции компонент L, a, b изображения с коррекцией составляющих декомпозиции компонент L, a, b;

- преобразования скорректированных компонент L, a, b в составляющие RGB результирующего изображения.

На фиг. 5 представлен пример применения описанного способа с использованием анализа структуры изображения и повышения резкости. Вверху помещено исходное изображение, внизу - результат обработки описанным способом.

На фиг. 6 представлен пример применения описанного способа с использованием анализа структуры изображения, сглаживания шумовой микроструктуры и повышения резкости. Вверху помещено исходное изображение, внизу - результат обработки описанным способом.

Преобразуют исходное изображение, представленное компонентами R, G, B, в трехкомпонентную цветовую систему Lab с компонентой L, матрица которой характеризует яркость исходного изображения, и матриц компонент a и b, характеризующих его цвет [2].

Выполняют переход от цветовой системы RGB в цветовую систему XYZ в два этапа. На первом этапе выполняют переход к линеаризованному RGB-представлению исходного изображения:

где - составляющие R, G, B исходного изображения;

На втором этапе преобразуют линеаризованное RGB-представление изображения в цветовую систему XYZ:

Затем выполняют переход от цветовой системы XYZ к системе Lab согласно следующим соотношениям:

где x_w, y_w, z_w - координаты опорного белого цвета.

Устанавливают цветовой баланс изображения путем компенсации цветовых сдвигов Δ компонент a, b:

где s - количество элементов матрицы цветовой компоненты.

Затем компенсируют цветовой сдвиг компонент a, b следующим образом:

Выполняют трехуровневую декомпозицию компонент L, a, b вейвлетом Хаара путем дискретного стационарного вейвлет-преобразования следующим образом:

где А - аппроксимирующая составляющая изображения (матрица коэффициентов аппроксимации);

* - обозначение свертки;

a, h, v, d - операторы декомпозиции;

↑ - обозначение повышающей дискретизации;

n - уровень декомпозиции;

N - глубина декомпозиции (N=3).

Выполняют реконструкцию компонент L, a, b при помощи дискретного обратного стационарного вейвлет-преобразования с коррекцией составляющих декомпозиции компонент L, a, b. На каждом уровне реконструкции выполняют свертку матриц составляющих декомпозиции каждой компоненты L, a, b операторами реконструкции:

где А - аппроксимирующая составляющая изображения, характеризующая яркостные свойства изображения (матрица коэффициентов аппроксимации);

- реконструированная аппроксимирующая составляющая изображения (матрица реконструированных коэффициентов аппроксимации);

* - обозначение свертки;

- операторы реконструкции;

↓ - обозначение понижающей дискретизации;

n - уровень декомпозиции (n=0 соответствует уровню изображения);

N - глубина декомпозиции (N=3);

D^h, D^v, D^d - матрицы горизонтальных, вертикальных и диагональных детализирующих коэффициентов;

- матрицы реконструированных горизонтальных, вертикальных и диагональных детализирующих коэффициентов.

На каждом уровне разложения формируют реконструированные детализирующие составляющие компонент L, a, b:

На уровне N вычисляют параметры яркостно-контрастной коррекции, представляющей собой улучшение глобального яркостного контраста с учетом особенности зрительного восприятия при помощи корректирующих функций.

Вычисляют яркостно-контрастное распределение ψ^L(a), используя составляющие компоненты L:

где - реконструированная аппроксимирующая составляющая яркостной компоненты L на уровне N;

- реконструированная детализирующая составляющая яркостной компоненты L на уровне N.

Вычисляют гистограмму яркости p^L(α), используя в качестве яркости значения реконструированных коэффициентов аппроксимации:

где µ - количество элементов с яркостью α.

Нормируют распределения, полученные согласно выражениям (11, 12):

где a _min, a _max - минимальное и максимальное значения элементов матрицы

s - количество элементов матриц компонент L, a, b.

Получают объединенное распределения F^L(a):

затем распределение F^L(α) объединяют с завимостью светлотного (воспринимаемого человеком) контраста от яркости

где - результат дифференцирования формулы Вышецки (Wyszecki) [3], устанавливающей соотношение между яркостью и светлотой W, характеристизующей воспринимаемую человеком яркость;

a _min, a _max - минимальное и максимальное значения элементов матрицы

Вычисляют табличную функцию коррекции яркости LUT^L(α):

где - максимальное допустимое значение коэффициентов аппроксимации компоненты L на уровне N определяется реализацией вейвлет-преобразования;

s - количество элементов матрицы компоненты L.

Затем получают функцию коэффициентов коррекции локальных яркостных контрастов R^L(α):

После чего на уровне N поэлементно формируют матрицу коэффициентов коррекции яркостного контраста

На уровне N вычисляют параметры цветояркостной коррекции, представляющей собой улучшение контраста по насыщенности при помощи корректирующих функций с учетом преобразования яркостного контраста.

Вычисляют цветояркостные распределения ψ^а,b(α), используя составляющие компонент а, b:

где - реконструированная аппроксимирующая составляющая яркостной компоненты L на уровне N;

- реконструированные аппроксимирующие составляющие цветовых компонент компоненты а и b на уровне N.

Затем вычисляют объединенное цветояркостное распределение ψ^ab(α):

Нормируют объединенное цветояркостное распределение ψ^ab(α) и получают нормированное цветояркостное распределение ψ^ab(α):

где a _min, a _max - минимальное и максимальное значения элементов матрицы

s - количество элементов матрицы компоненты L, а, b.

Дополняют нормированное цветояркостное распределение ψ^ab(α):

Вычисляют табличную функцию коррекции цветового LUT^ab(α):

где - максимальное допустимое значение коэффициентов аппроксимации компонент а, b на уровне N определяется реализацией вейвлет-преобразования;

λ - коэффициент, определяющий используемый цветовой диапазон (λ≈0.5…0.8).

Затем получают функцию коэффициентов коррекции локальных контрастов по насыщенности R^ab(α):

После чего на уровне N поэлементно формируют матрицу коэффициентов коррекции контраста по насыщенности

На уровне N выполняют коррекцию яркости, поэлементно преобразуя матрицу реконструированной аппроксимирующей составляющей яркостной компоненты L:

а также коррекцию контраста по насыщенности путем поэлементного умножения матриц реконструированных аппроксимирующих составляющих цветовых компонент а, b и матрицы коэффициентов коррекции контраста по насыщенности

где - оператор поэлементного умножения матриц.

На каждом уровне разложения n выполняют коррекцию яркостного контраста путем поэлементного умножения матрицы реконструированной детализирующей составляющей компоненты L и матрицы коэффициентов коррекции яркостного контраста

где - оператор поэлементного умножения матриц.

а также коррекцию контраста по насыщенности путем поэлементного умножения матриц реконструированных детализирующих составляющих компонент а и b и матрицы коэффициентов коррекции контраста по насыщенности

При этом на каждом уровне разложения n, кроме n=N, выполняют локальное согласование коэффициентов коррекции яркостного контраста и контраста по насыщенности с детализирующими коэффициентами и путем реконструкции матриц коэффициентов коррекции:

где - аппроксимирующий оператор реконструкции;

* - обозначение свертки;

Получают аппроксимирующие составляющие компонент L, а, b следующего уровня разложения путем суммирования матриц скорректированных аппроксимирующей и детализирующей составляющих каждой компоненты L, a, b:

Преобразуют реконструированные и скорректированные компоненты в составляющие результирующего изображения следующим образом [2].

Осуществляют переход к цветовой системе XYZ:

где - X, Y, Z матрицы компонент изображения в цветовой системе XYZ.

Затем выполняют переход к цветовой системе RGB:

где - матрицы компонент результирующего изображения в цветовой системе RGB.

Результатом является повышение визуальной информативности изображения за счет повышения различимости его локальных особенностей с разной степенью детализации при сохранении структуры исходного изображения путем преобразований яркости, яркостного контраста и контраста по насыщенности. Эти преобразования учитывают особенности зрительного восприятия и не требуют вмешательства оператора, являясь адаптивными к структуре обрабатываемого изображения. Естественная структура и отсутствие артефактов в результирующем изображении достигаются путем согласованных преобразований составляющих декомпозиции комнонент L, a, b изображения на каждом уровне разложения обрабатываемого изображения.

Существует способ повышения визуальной информативности цифровых изображений, осуществляемый с выполнением анализа структуры изображения и сглаживания шумовой микроструктуры изображения (Фиг. 2).

На уровне разложения n вычисляют оценку яркостного контраста C_n с использованием коэффициентов аппроксимации и детализирующих коэффициентов компоненты L:

Затем выполняют сравнение значений оценок яркостного контраста каждого уровня, и при (С₃<С₂<С₁) выявляют необходимость сглаживания шумовой микроструктуры.

После получения матриц реконструированных детализирующих составляющих компонент L, a, b выполняют сглаживание шумовой микроструктуры на каждом уровне разложения n. Для этого вычисляют гистограмму абсолютных значений элементов матрицы реконструированной детализирующей составляющей компоненты

где η - количество элементов со значением β.

Вычисляют нормированную интегральную гистограмму абсолютных значений элементов матрицы реконструированной детализирующей составляющей с получением функции коэффициентов сглаживания шумовой микроструктуры

где d_max - максимальное абсолютное значение элементов матрицы

Поэлементно преобразуют матрицы реконструированных детализирующих составляющих компонент L, а, b:

Применение процедуры сглаживания шумовой микроструктуры к зашумленным изображениям со слабовыраженной детальностью позволяет избежать усиления яркостного и цветового шумов в результате коррекции яркости, яркостного контраста и контраста по насыщенности, а также повысить различимость крупных и средних деталей изображения, что является повышением визуальной информативности цифровых изображений.

Существует способ повышения визуальной информативности цифровых изображений, осуществляемый с выполнением анализа структуры изображения и повышения резкости изображения (Фиг. 3).

На уровне разложения n вычисляют оценку яркостного контраста C_n согласно выражению (35). Затем выполняют сравнение значений оценок яркостного контраста каждого уровня и при (С₃>С₂>С₁) выявляют необходимость повышения резкости изображения.

Перед суммированием матриц скорректированных аппроксимирующей и детализирующей составляющих каждой компоненты L, a, b изображения выполняют повышение резкости изображения, представляющее собой усиление мелкомасштабной детальности.

Вычисляют яркостно-контрастные распределения мелкомасштабной детальности:

где Ω⁺(α), Ω^-(α) - яркостно-контрастные распределения преобразуемого изображения для положительных и отрицательных локальных яркостных контрастов компоненты L.

Получают объединенное распределение Ω(α), характеризующее зависимость мелкомасштабной детальности от яркости:

Коэффициент повышения резкости вычисляют на основе зависимости:

где K_sharp(α) - характеризует зависимость возможных значений коэффициентов усиления локальных контрастов от яркости;

Ω_доп(α) - зависимость допустимых значений локальных контрастов от яркости:

где - максимальное допустимое значение коэффициентов аппроксимации уровня l компоненты L зависит от реализации вейвлет-преобразования.

Коэффициент повышения резкости инициализируют средним значением коэффициента дополнительного контрастирования для ненулевых значений K_sharp(α):

где - максимальное допустимое значение коэффициентов аппроксимации уровня l компоненты L зависит от реализации вейвлет-преобразования.

- среднее значение коэффициента дополнительного усиления яркостных контрастов на итерации i;

s - количество ненулевых отсчетов K_sharp(α).

На последующих итерациях i коэффициент повышения резкости уточняют следующим образом:

Значение коэффициента повышения резкости Kr считается найденным при выполнении условия:

где δ - значение изменения среднего значения коэффициента дополнительного контрастирования (δ=0.1…0.01).

Повышают резкость изображения, дополнительно умножая матрицу реконструированной и преобразованной детализирующей составляющей компоненты L первого уровня (n=1) на коэффициент повышения резкости Kr:

Применение процедуры повышения резкости изображения к изображениям с высоким уровнем детализации при отсутствии шумовой микроструктуры позволяет увеличить различимость мелких деталей изображения, что является повышением визуальной информативности цифровых изображений.

Существует способ повышения визуальной информативности цифровых изображений, осуществляемый с выполнением анализа структуры изображения, сглаживания шумовой микроструктуры и повышения резкости изображения (Фиг. 4).

На уровне разложения n вычисляют оценку яркостного контраста C_n согласно выражению (35). Затем выполняют сравнение значений оценок яркостного контраста каждого уровня и при выявляют необходимость сглаживания шумовой микроструктуры и повышения резкости изображения.

После получения матриц реконструированных детализирующих составляющих компонент L, a, b выполняют сглаживание шумовой микроструктуры на каждом уровне разложения n согласно выражениям (36-38).

Перед суммированием матриц скорректированных аппроксимирующей и детализирующей составляющих каждой компоненты L, a, b изображения выполняют повышение резкости изображения согласно выражениям (39-46).

Применение процедур сглаживания шумовой микроструктуры и повышения резкости к изображениям со средним уровнем детализации и возможным наличием шумовой микроструктуры позволяет избежать усиления яркостного и цветового шумов в результате коррекции яркости, яркостного контраста и контраста по насыщенности, повысить различимость средних и мелких деталей изображения, что является повышением визуальной информативности цифровых изображений.

Источники информации

1. Патент РФ №2448367. Способ повышения визуальной информативности цифровых полутоновых изображений / приоритет изобретения от 11.04.2011 г. / Травина Е.И. - Бюл. 11 от 20.04.2012. - 16 с.

2. Вудс Р., Гонсалес Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 с.

3. Джадд Д., Вышецки Г. Цвет в науке и технике. - М.: Мир, 1978. - 296 с.