СПОСОБ РАСПОЗНАВАНИЯ ГРАФИЧЕСКИХ ОБРАЗОВ ОБЪЕКТОВ

Изобретение относится к цифровой обработке изображений, а именно, к способам распознавания плоских изображений по их форме на основе контурного анализа, и может быть использовано в системах технического зрения.

Известен способ автоматического распознавания объектов на изображении (патент RU 2528140 С1, МПК G06K 9/48, опубликован 10.09.2014), при котором формируют эталонные изображения и запоминают их, осуществляют предварительную обработку каждого текущего изображения с целью выявления объекта и запоминают каждое текущее изображение, вычисляют взаимно корреляционную функцию эталонных и текущих изображений и производят их сравнение, формируют и запоминают контурные эталонные и текущие изображения, представляют их в виде полутоновых дистантных изображений, яркость пикселов которых пропорциональна расстоянию до ближайшего контура, выделяют (локализуют) на изображениях участки, на которых возможно наличие объекта, путем сканирования контурным эталоном с подсчетом для каждого положения эталона суммы яркостей точек дистантного полутонового изображения, накрытых контурами эталона, и из всего множества положений сканирования оставляют точки, где подсчитанные суммы яркостей меньше заданного порога, на выбранных участках изображений вычисляют взаимно корреляционную функцию текущих и эталонных изображений, после чего производят сравнение выделенных участков текущих изображений с эталонными полутоновыми дистантными изображениями этих участков и определяют положение эталона на выделенных участках, при котором достигается экстремум взаимно корреляционной функции, и определяют место нахождения объекта по положению экстремума взаимно корреляционной функции.

К недостаткам данного способа можно отнести необходимость формирования и хранения большого количества эталонных изображений, а также вычислительную сложность операции корреляционного сравнения эталонного изображения и изображения, подвергнутого операции распознавания.

Также известен способ компьютерного распознавания объектов (патент RU 2361273 С2, МПК G06K 9/62, опубликован 10.07.2009), программа которого предусматривает предварительное приведение изображения объекта, вводимого в компьютер, к нормальному, стандартному для данного способа видоизменения масштаба, поворот в требуемое положение, центрирование, вписывание в прямоугольник требуемого размера, преобразование изображения объекта в изображение, выполненное в градациях - различных степенях яркости одного цвета, на которое последовательно, поочередно накладываются изображения хранящихся в памяти компьютера шаблонов.

К особенностям, которые могут ограничить применение данного способа, можно отнести вычислительную сложность из-за необходимости указанной последовательности приведения изображения объекта, вводимого в компьютер, и длительного времени выполнения операции поочередного накладывания изображения шаблонов, хранящихся в памяти компьютера, на приведенное изображение.

Известен способ распознавания графических образов объектов с применением контурного анализа, инвариантный к поворотам и масштабированию графических образов объектов на исходном изображении, характеризующийся предварительным формированием эталонных контуров, выделением контуров графических образов объектов исходного изображения, переводом полученных контуров из пространства координат растра в комплекснозначное пространство вектор-контуров, определением меры схожести двух изображений, используя значение модуля нормированного скалярного произведения и строя взаимно корреляционную функцию контуров этих изображений, представленных в комплекснозначном пространстве вектор-контуров (Фурман Я.А. Введение в контурный анализ. - М.: ФИЗМАТЛИТ, 2003. - с. 382).

Основным недостатком известного способа является то, что его использование, в случае распознавания большого количества образов объектов определенного класса, приводит к повышению количества ложных срабатываний или же к большому количеству пропущенных объектов, в зависимости от выбираемого порогового уровня модуля нормированного скалярного произведения, характеризующего меру схожести двух изображений. Кроме того, в этом случае данный способ подразумевает хранение большого количества информации об эталонных контурах. Использование большого количества эталонных контуров приводит также к значительным временным затратам, возникающим в результате последовательного перебора эталонных контуров для вычисления значения модуля нормированного скалярного произведения и построения взаимно корреляционной функции.

Прототипом заявленного изобретения является способ распознавания графических образов объектов на исходном изображении, представленном в цифровом виде в градациях серого, инвариантный к поворотам и масштабированию графических образов объектов на исходном изображении, характеризующийся предварительным формированием эталонных контуров и эталонных фрагментов контуров, выполнением предварительной обработки исходного изображения, выделением и замыканием контуров графических образов объектов исходного изображения, переводом полученных контуров из пространства координат растра в комплекснозначное пространство вектор-контуров, выполнением структурного анализа формы изображения фильтрами, используя вычисление значения модуля нормированного скалярного произведения и строя взаимно корреляционную функцию контуров графических образов объектов исходного изображения и эталонных фрагментов контуров (Фурман Я.А. Введение в контурный анализ. - М.: ФИЗМАТЛИТ, 2003. - с. 372-379).

Основным недостатком прототипа является низкая скорость распознавания графических образов объектов на исходном изображении. Это обусловлено тем, что применение данного способа приводит к повышению вычислительной сложности процесса распознавания, возникающей в случае наличия большого количества контуров на исходном изображении, причем при использовании данного способа с заранее неизвестным характером яркостной картины исходного изображения время, необходимое для выполнения данной процедуры, неизвестно заранее, и его значение может варьироваться в широком диапазоне значений в зависимости от количества выделенных контуров на исходном изображении. Также к недостаткам прототипа следует отнести невысокую точность распознавания графических образов объектов на исходном изображении и повышенное количество ложных срабатываний из-за значительной вариабельности форм контуров графических образов объектов на исходном изображении.

Задачей заявленного изобретения является разработка способа распознавания графических образов объектов, в котором устранены недостатки аналогов и прототипа.

Техническим результатом заявленного изобретения является повышение скорости и точности распознавания графических образов объектов при одновременном уменьшении количества ложных распознаваний.

Технический результат достигается тем, что в известном способе распознавания графических образов объектов в качестве предварительно формируемых эталонных контуров используют контуры «замкнутый квадрат», «замкнутый прямоугольник», «линия», «незамкнутый прямоугольник», «шум», а эталонных фрагментов контуров - фрагменты «прямая линия», «прямой угол», ко всем контурам графических образов объектов исходного изображения последовательно применяют оценку степени близости формы каждого из контуров графических образов объектов исходного изображения к формам предварительно сформированных эталонных контуров с отнесением каждого из контуров графических образов объектов исходного изображения к одному из типов эталонных контуров и отстранением от дальнейшего рассмотрения контуров, которые не были отнесены к эталонным контурам "замкнутый квадрат" или "замкнутый прямоугольник", подсчет в каждом из оставшихся контуров количества прямолинейных участков с использованием согласованного фильтра с эталонным фрагментом контура «прямая линия», и отстранение от дальнейшего рассмотрения контуров, в которых количество прямолинейных участков меньше четырех, подсчет в каждом из оставшихся контуров количества углов, близких к прямому углу, посредством выполнения фильтрации с использованием согласованного фильтра с эталонным фрагментом контура «прямой угол», и отстранение от дальнейшего рассмотрения контуров, в которых значение количества прямых углов меньше трех, отнесение каждого из оставшихся контуров к контурам графических образов объектов, имеющих форму многоугольника.

Значение модуля нормированного скалярного произведения контура графических образов объектов исходного изображения и эталонного фрагмента контура «прямая линия», при превышении которого фиксируют прямолинейный участок контура графических образов объектов исходного изображения, принимают равным 0.79.

Значение модуля нормированного скалярного произведения контура графических образов объектов исходного изображения и эталонного фрагмента контура «прямой угол», при превышении которого фиксируют наличие угла, близкого к прямому углу, в контуре графического образа объекта исходного изображения, принимают равным 0.79.

Сущность изобретения поясняется чертежами.

На фиг. 1 представлена схема, поясняющая основные этапы выполнения способа распознавания графических образов объектов, имеющих форму многоугольника.

На фиг. 2а представлены изображения пяти типов эталонных контуров, где цифрами обозначены следующие элементы:

1 - изображение эталонного контура «замкнутый квадрат»,

2 - изображение эталонного контура «замкнутый прямоугольник»,

3 - изображение эталонного контура «линия»,

4 - изображение эталонного контура «незамкнутый прямоугольник»,

5 - изображение эталонного контура «шум».

На фиг. 2б представлены графики четырех компонент преобразований Уолша над автокорреляционными функциями пяти типов эталонных контуров.

На фиг. 3а представлено исходное изображение, содержащее образы некоторых типов объектов, в котором необходимо распознать все графические образы объектов, имеющих форму многоугольника, где цифрами обозначены следующие элементы:

6 - образ объекта «прямоугольник со сглаженными углами»,

7 - образ объекта «прямоугольник с не сглаженными углами»,

8 - образ объекта «треугольник»,

9 - образ объекта «круг»,

10 - образ объекта «кривая линия»,

11 - образ объекта «ромб».

На фиг. 3б - показано исходное изображение после выполнения операции автоконтрастирования по гистограмме изображения.

На фиг. 3в - показано исходное изображение после выполнения сглаживающей фильтрации для устранения высокочастотного шума на изображении.

На фиг. 3г - показано исходное изображение после выполнения операции выделения контуров образов объектов исходного изображения с последующим замыканием контуров.

На фиг. 4а, 5а, 6а, 7а, 8а, 9а показано графическое представление каждого образа объекта исходного изображения и соответствующего ему выделенного контура.

На фиг. 4б, 5б, 6б, 7б, 8б, 9б для каждого контура образа объекта исходного изображения показано графическое представление результата выполнения преобразования Уолша над автокорреляционной функцией, полученной в результате вычисления модуля нормированного скалярного произведения контура образа объекта исходного изображения самого на себя со сдвигом начальной точки по каждому из элементов контура образа объекта исходного изображения, где каждый из столбцов графика соответствует значению соответствующего компонента преобразования Уолша.

На фиг. 4в, 5в, 6в, 7в, 8в, 9в для каждого контура образа объекта исходного изображения представлен график, полученный в результате применения фильтрации с использованием согласованного фильтра с эталонным фрагментом контура «прямая линия», где наибольшее значение функции соответствует более точному совпадению форм участка контура образа объекта исходного изображения с эталонным фрагментом контура «прямая линия», |η_н(N)|² - модуль нормированного скалярного произведения контура образа объекта исходного изображения с эталонным фрагментом контура «прямая линия», N - количество элементов контура образа объекта исходного изображения, уровень 0,79 обозначает уровень порогового значения модуля нормированного скалярного произведения контура образа объекта исходного изображения с эталонным фрагментом контура «прямая линия», при превышении которого фиксируют прямолинейный участок контура графических образов объектов исходного изображения, Р1 - области полученной функции, в которых участки контура образа объекта исходного изображения считаются прямолинейными.

На фиг. 4г, 5г, 6г, 7г, 8г, 9г для каждого контура образа объекта исходного изображения представлен график, полученный в результате применения фильтрации с использованием согласованного фильтра с эталонным фрагментом контура «прямой угол», где наибольшее значение функции соответствует более точному совпадению форм участка контура образа объекта исходного изображения с эталонным фрагментом контура «прямой угол», |η_н(N)|² - модуль нормированного скалярного произведения контура образа объекта исходного изображения с эталонным фрагментом контура «прямой угол», N - количество элементов контура образа объекта исходного изображения, уровень 0,79 обозначает уровень порогового значения модуля нормированного скалярного произведения контура образа объекта исходного изображения с эталонным фрагментом контура «прямой угол», при превышении которого фиксируют наличие угла, близкого к прямому углу, в контуре графического образа объекта исходного изображения, Р2 - области функции, в которых участки контура считаются углами, близкими к прямому.

Принцип действия предлагаемого способа распознавания графических образов объектов, имеющих форму многоугольника, состоит в следующем.

В качестве предварительно формируемых эталонных контуров используют контуры «замкнутый квадрат», «замкнутый прямоугольник», «линия», «незамкнутый прямоугольник», «шум» (фиг. 2а), а эталонных фрагментов контуров - фрагменты «прямая линия», «прямой угол».

При формировании указанных эталонных контуров форм объектов формируют обучающую выборку, содержащую несколько сотен контуров образов для каждого из пяти типов эталонных контуров, далее для каждого контура из обучающей выборки вычисляют значения четырех компонент преобразования Уолша, затем для каждого типа эталонных контуров вычисляют математическое ожидание значений четырех компонент преобразования Уолша, формируя тем самым эталонные значения четырех компонент преобразования Уолша (фиг. 2б) автокорреляционных функций для каждого типа эталонных контуров.

При формировании указанных эталонных фрагментов контуров «прямая линия» и «прямой угол» строят следующие фрагменты контуров, представленные в комплекснозначной форме:

где (1) - эталонный фрагмент контура «прямая линия»,

(2) - эталонный фрагмент контура «прямой угол» с направлением обхода вправо-вверх,

(3) - эталонный фрагмент контура «прямой угол» с направлением обхода вверх-вправо.

В процессе распознавания исходное изображение (фиг. 3а), представленное в цифровом виде в градациях серого цвета, подвергают предварительной обработке, заключающейся в выполнении автоконтрастирования изображения (фиг. 3б) по его гистограмме и проведении сглаживающей фильтрации для устранения высокочастотного шума на исходном изображении (фиг. 3в).

Затем на исходном изображении выделяют контуры графических образов объектов с использованием детектора Канни (фиг. 2г) (Canny J.A Computational Approach for Edge Detection. IEEE Trans. Pattern Anal. Machine Intel., 1986, vol. 8, no. 6, pp. 679-698) и выполняют операцию замыкания контуров, заключающуюся в последовательном выполнении операций дилатации и эрозии контуров графических образов объекта исходного изображения.

Полученные контуры изображения переводят из пространства координат растра в комплекснозначное пространство вектор-контуров (Фурман Я.А. Введение в контурный анализ. - М.: ФИЗМАТЛИТ, 2003. - с. 20), когда каждый из элементов контура задается одним из восьми комплексных чисел:

Далее ко всем контурам графических образов объектов исходного изображения последовательно в заданном порядке применяют приведенные ниже операции.

Выполняют оценку степени близости формы каждого из контуров графических образов объектов исходного изображения к формам предварительно сформированных указанных эталонных контуров с использованием вычислений евклидова расстояния между значениями автокорреляционных функций контуров графических образов объектов исходного изображения и эталонных контуров, подвергнутых преобразованию Уолша, с применением решающих правил к результатам вычислений евклидова расстояния.

Для этого каждый из полученных контуров графических образов объектов исходного изображения подвергают операции эквализации, позволяющей привести размерность контуров графических образов объектов исходного изображения к размерности эталонных контуров (Фурман Я.А. Введение в контурный анализ. - М.: ФИЗМАТЛИТ, 2003. - с. 369). Затем вычисляют автокорреляционную функцию каждого из контуров графических образов объектов исходного изображения посредством вычисления модуля нормированного скалярного произведения контура самого на себя со сдвигом начальной точки по элементам контура.

Автокорреляционная функция контура является инвариантой к повороту контура характеристикой, а приведение всех контуров к единому значению размерности контуров за счет выполнения эквализации кода контура обеспечивает инвариантность полученной автокорреляционной функции и к изменению масштаба образов объектов на изображении (Фурман Я.А. Введение в контурный анализ. - М.: ФИЗМАТЛИТ, 2003. - с. 69). Причем, у схожих по форме контуров объектов близки и автокорреляционные функции, следовательно, автокорреляционную функцию можно использовать в качестве меры схожести контуров объектов.

К автокорреляционной функции каждого из контуров применяют преобразование Уолша, что дает возможность оперировать значением всего лишь одной (первой) компоненты преобразования Уолша в вычислении евклидова расстояния при выполнении оценки степени близости формы каждого из контуров графических образов объектов исходного изображения к формам предварительно сформированных указанных эталонных контуров.

Далее к результатам вычисления евклидова расстояния применяют решающие правила, построенные экспертами на этапе обучения. Пример одного из решающих правил приведен ниже:

Построенные правила позволяют отнести каждый из контуров графических образов объектов исходного изображения к одному из эталонных контуров «замкнутый квадрат», «замкнутый прямоугольник», «линия», «незамкнутый прямоугольник», «шум».

Те контуры графических образов объектов исходного изображения, которые не были отнесены к эталонным контурам "замкнутый квадрат" или "замкнутый прямоугольник" отстраняются от дальнейшего рассмотрения.

На фиг. 8б изображены четыре первые компоненты преобразования Уолша над автокорреляционной функцией контура «кривая линия», присутствующего на исходном изображении (фиг. 3а поз. 10). На текущем этапе распознавания данный контур относится к типу эталонных контуров «шум» и исключается из дальнейшего рассмотрения.

К оставшейся части контуров графических образов объектов исходного изображения применяют операцию подсчета количества прямолинейных участков контура посредством выполнения фильтрации с использованием согласованного фильтра с эталонным фрагментом контура «прямая линия» (формула (1)).

Суть фильтрации заключается в вычислении взаимно корреляционных функций ненормированного по длине рассматриваемого контура графического образа объекта исходного изображения с эталонным фрагментом контура «прямая линия» посредством последовательного вычисления модуля нормированного скалярного произведения контура графического образа объекта исходного изображения и эталонного фрагмента контура типа «прямая линия» с перемещением эталонного фрагмента контура по элементам контура графического образа объекта исходного изображения за счет последовательного совмещения первого элемента эталонного фрагмента контура «прямая линия» с каждым из элементов контура графического образа объекта исходного изображения. Длину эталонного фрагмента контура выбирают экспериментально, исходя из размеров искомых объектов, меньше длины контура графического образа объекта исходного изображения.

По графикам полученной взаимно корреляционной функции (фиг. 4в-9в) проводят подсчет количества прямолинейных участков контура, где под прямолинейным участком контура подразумевают последовательность элементов контура заданной длины с диапазоном значений взаимно корреляционной функции выше определенного уровня П1, сравнивают полученное значение количества прямолинейных участков с пороговым значением К1 количества прямолинейных участков контура.

При этом, значение модуля нормированного скалярного произведения контура графических образов объектов исходного изображения и эталонного фрагмента контура «прямая линия» П1, при превышении которого фиксируют прямолинейный участок контура графических образов объектов исходного изображения, принимают равным 0.79, пороговое значение количества прямолинейных участков контура К1 принимают равным 4.

Данные значения - П1, равное 0.79, и К1, равное 4, - подобраны экспериментально, исходя из соотношения количества ложных срабатываний и количества нераспознанных объектов в процессе распознавания графических образов объектов, имеющих форму многоугольника, в тестовых изображениях, схожих по контексту яркостного наполнения с исходными изображениями.

Те контуры графических образов объектов исходного изображения, в которых количество прямолинейных участков контура К1 меньше 4, отстраняются от дальнейшего рассмотрения.

Например, в процессе распознавания образов объектов прямоугольной формы на исходном изображении, представленном на фиг. 3а с использованием заданных значений П1 и К1, из рассмотрения исключаются объекты отмеченные позициями 8, 9, изображенные на фиг. 6а, 7а, так как на графиках полученных взаимно корреляционных функций (фиг. 6в, 7в) отчетливо видно, что количество пиков кривой, обозначенных Р1 на фиг. 6в равно:

а количество пиков кривой, обозначенных Р1 на фиг. 7в равно:

К оставшейся части контуров графических образов объектов исходного изображения применяют операцию подсчета количества углов, близких к прямому углу, посредством выполнения фильтрации с использованием согласованного фильтра с эталонным фрагментом контура «прямой угол», причем в качестве эталонного фрагмента контура «прямой угол» последовательно используют два фрагмента: эталонный фрагмент контура «прямой угол» с направлением обхода вправо-вверх (формула (2)) и эталонный фрагмент контура «прямой угол» с направлением обхода вверх-вправо (формула (3)).

Суть фильтрации заключается в вычислении взаимно корреляционных функций ненормированного по длине рассматриваемого контура графического образа объекта исходного изображения с эталонным фрагментом контура «прямой угол» посредством последовательного вычисления модуля нормированного скалярного произведения контура графического образа объекта исходного изображения и эталонного фрагмента контура «прямой угол» с перемещением эталонного фрагмента контура по элементам контура графического образа объекта исходного изображения за счет последовательного совмещения первого элемента эталонного фрагмента контура «прямой угол» с каждым из элементов контура графического образа объекта исходного изображения. Длину эталонного фрагмента контура выбирают экспериментально, исходя из размеров искомых объектов, меньше длины контура графического образа объекта исходного изображения.

По графикам полученной взаимно корреляционной функции (фиг. 4г-9г) проводят подсчет количества углов, близких к прямому углу, где под углом, близким к прямому углу контура, подразумевают последовательность элементов контура заданной длины с диапазоном значений взаимно корреляционной функции выше определенного уровня П2, сравнивают полученное значение количества углов, близких к прямому углу, с пороговым значением К2.

При этом, значение модуля нормированного скалярного произведения контура графических образов объектов исходного изображения и эталонного фрагмента контура «прямой угол» П2, при превышении которого фиксируют наличие угла, близкого к прямому углу, контура графических образов объектов исходного изображения, принимают равным 0.79, пороговое значение количества углов, близких к прямому углу контура, К2 принимают равным 3.

Данные значения - П2, равное 0.79, и К2, равное 3, - подобраны экспериментально, исходя из соотношения количества ложных срабатываний и количества нераспознанных объектов в процессе распознавания графических образов объектов, имеющих форму многоугольника, в тестовых изображениях, схожих по контексту яркостного наполнения с исходными изображениями.

Те контуры графических образов объектов исходного изображения, в которых количество углов, близких к прямому углу, К2 меньше 3, отстраняются от дальнейшего рассмотрения.

Например, в процессе распознавания графических образов объектов, имеющих форму многоугольника, на исходном изображении, представленном на фиг. 3а объекты, отмеченные позициями 6, 7, 11 на фиг. 3а, изображенные на фиг. 4а, 5а, 9а удовлетворяют поставленному условию сравнения с пороговым значением количества углов К2, так как на всех графиках (фиг. 4г, 5г, 9г) взаимно корреляционных функций отчетливо видно, что количество пиков Р2 равно:

Данные контуры (фиг. 4а, 5а, 9а) принимают за контуры образов объектов, имеющих форму многоугольника.

Использование предлагаемого способа позволит, по сравнению с прототипом, повысить скорость и точность распознавания графических образов объектов исходного изображения, имеющих форму многоугольника, при одновременном уменьшении количества ложных распознаваний, за счет исключения части контуров графических образов объектов на этапе оценки степени близости формы контуров к формам эталонных контуров «замкнутый квадрат», «замкнутый прямоугольник», «линия», «незамкнутый прямоугольник», «шум», с последующим осуществлением структурного анализа формы контуров, включающим выполнение подсчета в каждом из контуров количества прямолинейных участков контура, отстранение от дальнейшего рассмотрения контуров, в которых количество прямолинейных участков контура меньше четырех, выполнение подсчета в каждом из оставшихся контуров количества углов, близких к прямому углу и отстранение от дальнейшего рассмотрения тех контуров графических образов объектов исходного изображения, в которых значение количества прямых углов меньше трех.