Результат интеллектуальной деятельности: Способ улучшения цифровых цветных изображений

Изобретение относится к области цифровой обработки изображений и может быть использовано для улучшения цифрового цветного изображения.

Из уровня техники известен способ улучшения контраста цветного изображения (статья Multi-Scale Retinex for Color Image Enhancement, Daniel J.Jobson и Glenn A.Woodell. NASA Langley Research Center Hampton, Virginia 23681), включающий следующие операции: конвертирование исходного изображения из цветовой системы RGB в трехкомпонентную цветовую систему, одна из составляющих которой является яркостью изображения, а две другие кодируют цвет, далее яркостная составляющая корректируется оператором Multi Scale Retinex (MSR). Данный оператор MSR включает обработку яркостей изображения тремя Гауссовыми фильтрами разной апертуры с последующим суммированием, далее скорректированные значения яркости изображения конвертируют в цветовую систему RGB.

При этом операция MSR представима в общем виде

где n обозначает номер маски с заданной апертурой, ω_n - весовой коэффициент, характеризующий вклад операции SSR_n(x,y) (1). Следовательно, итоговое значение I^MSR(x, y) рассчитывается как взвешенная сумма нескольких SSR операций над исходным изображением с использованием свертки изображения с масками разной апертуры (2). Коэффициенты маски определяются по формуле (3), с учетом необходимого условия равенства суммы всех рассчитанных коэффициентов единице (4). Для трех масок различной апертуры N=3.

К недостаткам данного способа можно отнести сложность реализации алгоритма, а также потерю цвета для низкоконтрастных изображений (уход в серое).

Известен способ улучшения цифровых изображений (патент RU №2298226, опубл. 27.04.2007 г., МПК: G06T 5/00(2006.01); H04N 1/409(2006.01), состоящий из следующих операций: выполняют фильтрацию шумов, осуществляют коррекцию глобального контраста, извлекают из цветного изображения яркостную компоненту как максимальную из R, G, В составляющих, определяют параметры локальной коррекции темных и светлых тонов, выполняют билатеральную фильтрацию яркости изображения, корректируют темные и светлые тона в канале яркости. При этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения. При этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенного в степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения, конвертируют результат коррекции в изображение в цветовую систему RGB.

Недостатком данного способа является то, что он применяется к темным и светлым тонам и не затрагивает средние тона изображений.

Наиболее близким к предлагаемому является способ, описанный в статье (статья Contrast Enhancement of Color Images Using Improved Retinex Method, авторы Neethu Simon, Ajay Kumar. IJRET: International Journal of Research in Engineering and Technology. eISSN:2319-1163 | pISSN: 2321-7308). Предложенный в статье способ, помимо модернизированного MSR, дополнительно включает оператор CLAHE (Contrast Limited Adaptive Histogram Equalization - разновидность гистограммной эквализации с ограничением), а также комплексирование результатов операторов MSR и CLAHE с применением вейвлет преобразований.

Недостатком данного способа является то, что он вносит в результирующее изображение ореол («halo» эффект), локальное переконтрастирование и данный способ также сложно реализовать в аппаратуре.

Основные недостатки всех известных решений заключаются в том, что большинство из указанных методов требуют для их реализации значительных вычислительных затрат из-за необходимости применения как правило трех Гауссовых или билатеральных фильтров разной апертуры, что существенно ограничивает возможность использования в режиме реального времени или же значительных аппаратных затрат в случае применения специальных быстрых алгоритмов свертки. Кроме того, возможны возникновение ореола вдоль резких перепадов яркости на изображении, цветовые искажения, в том числе уменьшение цветовой насыщенности, усиление интенсивности шумов из-за особенностей самого алгоритма Retinex, чрезмерное усиление средних и светлых тоновых областей, очень часто отсутствует автоматический выбор параметров приведения яркостей (поиск минимума и максимума выходных прологарифмированных значений яркости изображения после оператора MSR с последующим приведением к стандартному диапазону значений яркости). Используемые разные эмпирические формулы приведения с эмпирическими коэффициентами совместимы только с определенным классом изображений, что существенно ограничивает использование произвольных изображений.

Технический результат заявляемого технического решения заключается в уменьшении аппаратных затрат и повышении быстродействия, а также повышении качества изображения во всех аспектах: улучшение цветового контраста, увеличение насыщенности цветов, усиление резкости во всех тоновых диапазонах, осветление темных тонов изображения, сохранение баланса цветов, а также снижении уровня шумов скорректированного изображения.

Технический результат достигается тем, что способ улучшения цифровых цветных изображений состоит из следующих операций: получают исходное RGB изображение, выполняют фильтрацию шумов RGB изображения, осуществляют коррекцию глобального контраста RGB изображения, извлекают из цветного изображения яркостную компоненту из R, G, В составляющих путем преобразования RGB в трехкомпонентную цветовую систему, одна из составляющих которой является яркостью изображения, а две другие кодируют цвет, выполняют над яркостью изображения операцию Multi Scale Retinex (MSR), конвертируют полученный результат обратно в цветовую систему RGB.

При этом данный способ отличается от прототипа тем, что при осуществлении коррекции изображения в операции Multi Scale Retinex выполняют блочную фильтрацию с заданными размерами блоков. После чего производят рекурсивное определение минимума и максимума значений результата операции Multi Scale Retinex с последующей нормализацией значений яркости всего изображения к заданному диапазону. Осуществляют взвешенное суммирование значений яркости каждого пикселя контрастированного изображения и нормализованного изображения операции MSR. При этом после конвертирования трехкомпонентной схемы с преобразованной яркостной компонентой обратно в RGB дополнительно корректируют значения яркости пикселей в каждом канале RGB, без расчета средней яркости каждого канала RGB.

Сущность изобретения поясняется рисунками Фиг. 1-9, где

Фиг. 1 - структурная схема (алгоритм) способа улучшения цифровых цветных изображений;

Фиг. 2 - структурная схема блока обработки изображений;

Фиг. 3 - исходное изображение 1;

Фиг. 4 - преобразованное по способу-прототипу изображение 1;

Фиг. 5 - преобразованное по предлагаемому способу изображение 1;

Фиг. 6 - исходное изображение 2;

Фиг. 7 - преобразованное по способу-прототипу изображение 2;

Фиг. 8 - преобразованное по предлагаемому способу изображение 2;

Фиг. 9 - таблица параметров изображений: исходных, преобразованных по способу-прототипу и преобразованных по предлагаемому способу.

Способ улучшения цифровых цветных изображений включает следующие этапы (Фиг. 1):

- получают исходное изображение в системе RGB;

- выполняют фильтрацию шумов в системе RGB;

- осуществляют коррекцию глобального контраста изображения в системе RGB методом стандартной эквализации гистограммы по порогу по каждому каналу RGB;

- конвертируют контрастированное изображение из цветовой системы RGB в трехкомпонентную цветовую систему, одна из составляющих которой является яркостью изображения, а две другие кодируют цвет;

- выполняют блочную фильтрацию яркости изображения с заданными размерами блоков;

- выполняют операцию Multi Scale Retinex (MSR) над яркостью изображения;

- нормализуют результат MSR путем приведения к заданному диапазону яркости пикселей с учетом рекурсивных значений минимума и максимума значений изображений операции MSR;

- коррекцию всего изображения осуществляют за счет попиксельного суммирования в определенных соотношениях яркости контрастированного изображения и нормализованного результата операции MSR;

- конвертируют результат коррекции изображения обратно в цветовую систему RGB.

- корректируют значения яркости в каждом канале RGB без расчета средних значений RGB каналов для сохранения баланса цветов.

Способ улучшения цифровых цветных изображений осуществляется следующим образом. Получают исходное RGB изображение путем оцифровки аналогового сигнала от датчика цветного изображения, осуществляют фильтрацию шумов и глобальное контрастирование изображения по трем каналам RGB методом эквализации по порогу, вычисляют яркостную компоненту I(y, x) из RGB составляющих любым известным способом, например по одной из формул преобразования RGB в цветовую модель HSV (V - яркость) или HLS (L - яркость), осуществляют блочную фильтрацию яркости изображения с заданными размерами блоков, определяют минимум и максимум яркости изображения, корректируют изображение операцией MSR, нормализуют преобразованное изображение, конвертируют трехкомпонентную систему с преобразованным яркостным каналом (HSV или HLS) обратно в RGB, корректируют новые RGB составляющие выходного изображения для сохранения баланса цвета.

При этом блочная фильтрация осуществляется по алгоритму процедуры blkproc из пакета MathLab. Изображение разбивается на неперекрывающиеся блоки заданных размеров, внутри каждого блока по соответствующим областям изображения вычисляют среднюю яркость, значения которых помещают в центры этих блоков для будущего результата фильтрации. Затем проводят линейную интерполяцию значений яркости по строкам с центрами блоков, далее осуществляют линейную интерполяцию значений яркости по столбцам между этими строками. Таким образом, получают результат блочной фильтрации, используя минимальные ресурсы, в отличие от операции свертки.

При этом операция MSR реализуется по следующей формуле:

где оператор F_b - блочная фильтрация яркости изображения I(x,y) по алгоритму blkproc из пакета MathLab, n обозначает номер блочной фильтрации с заданной апертурой, ω_n - весовой коэффициент, характеризующий вклад операции SSR_n с применением блочной фильтрации.

При этом определяются рекурсивные минимальное и максимальное значения яркости (min, max) преобразованного изображения I^MSR(x, y) и приводят к нормированному диапазону яркостей для дальнейшего использования, например вывода на монитор

где С - максимальная яркость нормированного диапазона.

При этом суммируют в определенном соотношении нормализованный результати I(у,х), который тоже изначально нормализован

При этом после конвертации результата коррекции изображения обратно в систему RGB, корректируют значения яркости в каждом канале RGB, без расчета средних значений RGB каналов для сохранения баланса цветов по формуле

где и - яркости каналов RGB до и после коррекции,

i - номер канала RGB и i=1, 2, 3.

Примером практического применения способа улучшения цифровых цветных изображений является его использование в блоке обработки изображений для улучшения качества выходного изображения.

На Фиг. 2 показана структурная схема блока обработки изображений, включающая последовательно соединенные датчик цветного изображения (ДЦИ) 1, аналого-цифровой преобразователь (АЦП) 2, блок улучшения изображений (БУ) 3, цифроаналоговый преобразователь (ЦАП) 4.

Входное телевизионное изображение с датчика цветного изображения (ДЦИ) 1 поступает на аналого-цифровой преобразователь (АЦП) 2, где преобразуется в последовательность цифровых значений RGB сигналов, после чего поступает в блок улучшения изображения (БУ) 3, который фильтрует шумы изображения и осуществляет коррекцию глобального контраста изображения в системе RGB, конвертирует изображение из системы RGB в трехкомпонентную систему, одна из которых представляет собой яркость изображения, а остальные две кодируют цвет изображения, осуществляет блочную фильтрацию значений яркости изображения с заданными размерами блоков, выполняет операцию MSR (5), нормализует по формуле (6) и суммирует по формуле (7). Конвертируют результат коррекции обратно в систему RGB. Корректируют изображение по формуле (8) в каждом канале RGB. Вывод результата улучшения осуществляется штатными средствами блока обработки изображений через блок ЦАП 4, который преобразует цифровые значения яркости скорректированного изображения RGB в аналоговую форму сигнала, поступающего на вход цветного видеосмотрового устройства.

Сравнительные результаты, полученные при проведении экспериментальных работ, приведены на рисунках Фиг. 3-9.

На Фиг. 3 представлено исходное изображение старой фотографии, на котором имеются выцветшие участки, темные с плохо различимыми деталями участки в правой части изображения.

На Фиг. 4 представлено изображение той же сцены, обработанное по способу, описанному в прототипе. Изображение имеет проработанные детали в темных местах, восстановленные цвета яркие, местами излишне, но имеется гало, чрезмерный локальный контраст и самые темные участки стали слишком темными и потеряли различимость деталей (слева в тенях). Уровень шумов слишком большой.

На Фиг. 5 представлено изображение той же сцены, полученное предлагаемым способом. Видно полное отсутствие гало. Хорошо видны проработанные детали в темных местах, цвета восстановлены в полной мере и самое главное выдержаны общий баланс цветов и соотношение глобального и локального контрастов.

На Фиг. 6 представлено исходное изображение маяка, на котором имеются темные участки, с плохо различимыми деталями и в темном и светлом (здание маяка).

На Фиг. 7 представлено изображение той же сцены, обработанное по способу, описанному в прототипе. Изображение выглядит пересвеченным, передняя часть маяка потеряла детали, темные места неполностью проявлены, восстановленные цвета яркие, но имеется гало, чрезмерный локальный контраст.

На Фиг. 8 представлено изображение той же сцены, полученное предлагаемым способом. Видно полное отсутствие гало. Хорошо видны проработанные детали во всех темных и светлых местах, цвета восстановлены в полной мере и выдержан общий баланс цветов и соотношение глобального и локального контрастов.

На Фиг. 9 представлена таблица сравнительных параметров изображений: исходных, обработанных способом прототипа и обработанных предлагаемым способом, позволяющая сравнить качественные характеристики каждого изображения (в диапазоне яркости 0÷255 для цифровых изображений). В качестве таких характеристик обычно используют общий контраст, количество уровней и отношение сигнал/шум. Изображение лучшего качества имеет максимальный контраст, равный 1, максимальное количество уровней 256 и максимальное отношение сигнал/шум. Из таблицы видно улучшение основных характеристик изображений, обработанных предлагаемым способом, по сравнению с характеристиками исходных и обработанных способом прототипа изображений.

Полученные данные, а также визуальное сравнение позволяют сделать вывод, что предлагаемый способ улучшения цифровых цветных изображений позволяет помимо более высокого быстродействия и уменьшения аппаратных затрат повысить качество цифровых изображений за счет повышения разборчивости изображения в темных и светлых тонах, улучшения цветового контраста, увеличения насыщенности цветов, усиления резкости во всех тоновых диапазонах, сохранения баланса цветов, а также снизить интенсивность шумов скорректированного изображения.