Результат интеллектуальной деятельности: Способ формирования цветного QR-кода по изображениям лиц и устройство для его осуществления

Изобретение относится к автоматике и вычислительной технике и предназначено для совместного представления изображений лиц и связанной с ними лицевой биометрической и документальной информации в компактной графической форме, что позволит эффективно использовать это компактное представление для регистрации, аутентификации, идентификации, поиска и распознавания людей в системах контроля доступа и системах трансграничного контроля, в системах видео наблюдений и системах "человек-компьютер, а также в криминалистике и краниологии.

На сегодняшний день уже стало ясно, что лицевые биометрические технологии способны обеспечить весь комплекс задач распознавания людей, совершающих доступ к ресурсам и обмен информацией с соответствующими системами, а технологии штрихового кодирования позволяют эффективно реализовать автоматизацию сопутствующих процессов: унификацию и каталогизацию документов и удостоверений личности, быструю проверку их аутентичности и безошибочный обмен данными о клиентах по универсальным стандартам и международным каналам и т.д. Именно поэтому, интерес к проблеме представления биометрической информацией в рамках штрихового кодирования, не ослабевает с момента появления первых попыток использования штрихового кодирования в биометрии.

Известен способ представления изображений лиц и его фенотипа в рамках QR-кода (Jung Е., Kim J., Woo S., Kim S. "Simplification of face image using feature points" - Proc. 5th International Conference on Soft Computing and Intelligent Systems, Okayama, Japan, 2010, P. 1071-1073). Способ основан на представлении морфо- и фенотипа цветного изображения в модели RGB лица человека в компактной численной форме и реализуется так, что каждая отдельная часть лица (примитив): волосы, брови, губы и кожа лица представляется одним значением компонент Red, Green, Blue и одним общим вербальным представлением соответствующей цветовой гаммы. Недостатком способа является чрезвычайно упрощенное представление информации о лице, его примитивах и его фенотипе, что оказалось недостаточным в целях дальнейшего использования этой сборной информации в практических приложениях. Кроме того, данный способ не позволяет разместить эту информацию в рамках QR-кодов для реальных размеров и характеристик фенотипов изображений лиц.

Известен способ формирования штрихкода по изображениям лиц ("Способ формирования штрихкода по изображениям лиц и устройство для его осуществления" - патент RU 2542886, Бюллетень №6 от 27.02.2015). Способ основан на процедуре анализа изображения лица, экстракции из него набора яркостных признаков, представляющих лицо, и преобразовании квантованных значений признаков в окончательный штрихкод. Недостатком способа является его ориентация на символики линейных штриховых кодов EAN (European Article Number), имеющих ограниченную информационную емкость, не допускающую возможность записи буквенной информации и специальных цифровых знаков. Следствием этого стала не возможность записи в этих символиках не только самого изображения лица, но и любой другой ценной информации о лице.

Наиболее близким является способ формирования цветных QR-кодов для биометрии (Nazym Kaziyeva, Georgy Kukharev, and Yuri Matveev. Barcoding in Biometrics and Its Development // Int. Conference Computer Vision and Graphics (17-19.09.2018, Warsaw, Poland), Lecture Notes in Computer Science11114, pp. 464-471. DOI.org/10.1007/978-3-030-00692-1_40), заключающийся в формировании цветного QR-кода на основе трех компонент RGB, выбираемых из состава полутоновых изображений лиц и полутоновых QR-кодов, - путем их размещения на местах слоев Red, Green и Blue формируемого цветного QR-кода, причем документальную и биометрическую информацию о изображении лица содержат полутоновые QR-коды, входящие в цветной QR-код. Формирование цветного QR-кода по описанному способу связано с выполнением следующих процедур: анализа входного цветного изображения лица с вычислением координат антропометрических точек лица (АПТ) - как биометрической информации, подготовки сообщений по этой биометрической информации и сообщений с документальной информацией о входном изображении; генерации QR-кодов по подготовленным сообщениям; декомпозиции цветного изображения на компоненты R, G и В и выбор одной или двух из них для использования в цветном QR-коде; формировании цветного QR-кода по одной или двум выбранным компонентам (из R, G, В) и сгенерированным QR-кодам. Эти процедуры определяют и полный состав устройства, реализующего формирование цветного биометрического QR-кода. Из источника можно определить состав устройства, реализующего способ. Устройство состоит из блока 1 анализа входного цветного изображения, блока 2 подготовки сообщений, блока 3 генерации QR-кодов по сообщениям, блока 4 декомпозиции цветного изображения, блока 5 формирования цветных QR-кодов, причем первый вход устройства является входом блока анализа входного цветного изображения, первый выход которого соединен с первым входом блока подготовки сообщений, второй вход которого является вторым входом устройства, выход блока подготовки сообщений соединен со входом блока генерации QR-кодов, выход которого соединен с первым входом блока формирования цветных QR-кодов, второй вход которого соединен с выходом блока декомпозиции цветного изображения, вход которого соединен со вторым выходом блока анализа входного цветного изображения, выход блока формирования цветных QR-кодов является выходом устройства. Схема устройства показана на Фиг. 1.

Недостатками способа являются: нестабильность "прямого" чтения информации с цветных QR-кодов, необходимость одновременного использования нескольких типов цветного QR-кода для записи различных лицевых биометрических характеристик и связанная с этим принципиальная неосуществимость реализации цветного QR-кода с более широким представлением биометрической информации о лицах; незащищенность биометрической информации из QR-кодов, входящих в цветной QR-код, от чтения. В совокупности все это снижает возможности широкого применения цветного QR-кода в биометрии и универсальность его использования в приложениях биометрии.

Решается задача совершенствования способов представления лицевой информации в цветных QR-кодах.

Техническим результатом является повышение репрезентативности этой информации, ее защищенности и универсальности. Указанный технический результат достигается за счет того, что в способе формирования оригинального цветного QR-кода со структурой PIP (Photo-INFO-Photo), состоящем в том, что выполняется анализ входного цветного изображения лица, в рамках которого определяется оригинальный размер изображения лица и выполняется его корректировка, формируется биометрическая информация - координаты антропометрических точек лица, значения яркости изображения лица в этих координатах и (опционально) другие морфометрические данные изображения лица, составляются два сообщения-оригинала с биометрической и одно сообщение-оригинал с документальной информацией, по этим сообщениям-оригиналам генерируются три полутоновых QR-кода, формируется оригинальный цветной QR-код со структурой PIP путем замены компоненты G входного цветного изображения на полутоновый QR-код с документальной информацией, затем выполняется встраивание двух QR-кодов с биометрической информацией на место LSB-слоев компонент R и В сформированного цветного QR-кода со структурой PIP, а устройство для его осуществления состоит из последовательно соединенных блока анализа входного цветного изображения, блока подготовки сообщений-оригиналов, блока генерации QR-кодов по сообщениям-оригиналам, последовательно соединены блок формирования цветного QR-кода со структурой PIP и блок встраивания бинарных QR-кодов в LSB-слои компонент R и В, при этом второй выход блока анализа входного цветного изображения соединен с первым входом блока формирования цветного QR-кода со структурой PIP, второй вход которого, соединен с первым выходом блока генерации QR-кодов по сообщениям-оригиналам, второй выход которого соединен со вторым входом блока встраивания бинарных QR-кодов в LSB-слои компонент R и В, а выход блока является выходом устройства.

Сущность изобретения поясняется следующими графическими материалами:

Фиг. 2 - схематически показана реализация описанного процесса от входного цветного изображения к цветному QR-коду и далее к заполненному контейнеру, включающему: оригинальный цветной QR-код со структурой PIP с встроенными в него двумя QR-кодами с вложенной в них дополнительной лицевой биометрической информацией.

Фиг. 3 - представлена функциональная схема устройства для осуществления способа;

Фиг. 4 - представлена процедура коррекции размера входного цветного изображения (здесь и далее, в качестве примера входного изображения лица использовано изображение тестовой базы CUHK Face Sketch Database CUFS, размещенной на сайте: http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html).

Фиг. 5 - представлен результат отображения вычисленных координат АПТ на изображении лица; QR-код, с вложенной в него биометрической информацией - координатами АПТ и краткой информацией для идентификации лица, по которому вычислялись эти координаты АПТ; справа показан QR-код с вложенной в него полной документальной информацией о входном изображении лица.

Фиг. 6 - представлен результат вычисления значений яркостей пикселей входного изображения в координатах АПТ, рассматриваемые как интегральная биометрическая характеристика фенотипа лица, и показан соответствующий QR-код, с вложенной в него этой биометрической информацией;

Фиг. 7 - представлены три полутоновые компоненты: компонента R, QR-код с документальной информацией (INFO) и компонента В оригинального цветного QR-кода со структурой PIP, а также составляющие их битовые слои в состоянии, когда оригинальный цветной QR-код стал "заполненным контейнером". В этом случае, первые битовые слои содержат соответственно LSB-слои QR-кодов ANTRO, INFO и PHENO.

Фиг. 8 - представлены полутоновые компоненты с отображением уровня яркости, как взвешенной кумулятивной суммы значений по текущим слоям.

Фиг. 9 - представлены входное изображение лица, цветной QR-код со структурой PIP как пустой контейнер и цветной QR-код со структурой PIP, как заполненный контейнер.

Фиг. 10 - представлен цветной QR-код со структурой PIP - как заполненный контейнер, прочитанный из него "водяной знак" в виде QR-кода ANTRO, прочитанные из QR-кода координаты АПТ, представленные в регулярной сетке знаками "*".

Фиг. 11 - представлен пример документального сообщения, прочитанного из QR-кода INFO и пример "водяного знака" в виде QR-кода PHENO с прочитанным сообщением из QR-кода PHENO.

Способ осуществляется с помощью устройства, функциональная схема которого изображена на Фиг. 3. Устройство состоит из последовательно соединенных блока 1 анализа входного цветного изображения, блока 2 подготовки сообщений-оригиналов, блока 3 генерации QR-кодов по сообщениям-оригиналам, последовательно соединены блок 4 формирования цветного QR-кода со структурой PIP и блок 5 встраивания бинарных QR-кодов в LSB-слои компонент R и В, при этом второй выход блока 1 анализа входного цветного изображения соединен с первым входом блока 4 формирования цветного QR-кода со структурой PIP, второй вход которого, соединен с первым выходом блока 3 генерации QR-кодов по сообщениям-оригиналам, второй выход которого соединен со вторым входом блока 5 встраивания бинарных QR-кодов в LSB-слои компонент R и В, а выход блока 5 является выходом устройства.

На первый вход устройства подаются цветные цифровые изображения с лицами, причем лицо на изображении являются единственным объектом, занимает более 80% площади изображения и не требуют дополнительного выполнения детекции лиц.

В блоке 1 выполняется анализ входного изображения, включающий определение и корректировку оригинального размера изображения лица, определение координат антропометрических точек, значений яркости в этих координатах, и другие необходимые морфометрические данные. На этом этапе реализуются способы, представленные: в монографии «Методы обработки и распознавания изображений лиц в задачах биометрии». - Под ред. М.В. Хитрова - СПб: Политехника / 2013 и статье Kazemi V., Sullivan J. "One millisecond face alignment with an ensemble of regression trees" // Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Columbus, USA, 2014. P. 1867-1874.

Пусть оригинальный размер цветного изображения лица определяется тремя измерениями: M×N×q, где М и N - число строк и столбцов изображения, причем M>N и q=3, для цветных изображений. Корректировка оригинального размера изображения лица, выполняется с учетом размеров генерируемого QR-кода, размер которого M_QR×M_QR определяется соотношением M_QR=17+4×V, для целых значений параметра V версий QR-кодов 1<V≤40.

Тогда, если M_QR>М, то входное изображение увеличивается до размера M_QR×(M_QR(N/M)). В противном случае входное изображение уменьшается до размера M_QR×(M_QR(N/M)). При этих операциях (увеличения и уменьшения) учитывается пропорция (N/M) между шириной и высотой лица. Заканчивается корректировка "присоединением" к полученному результату белых полей с яркостью 255, выравнивающих ширину изображения до величины M_QR. Оригинальный размер M×N цветного изображения лица сохраняется для последующей записи в биометрический QR-код ANTRO. Примеры описанных корректировок показаны на Фиг. 4.

В блоке 2 реализуется подготовка сообщений-оригиналов путем компоновки полученных в блоке 1 цифровых данных биометрической информации и буквенно-цифровых данных документальной информации в данные типа "строка". Здесь реализуются способы, подробно представленные в статье Кухарев Г.А., Казиева Н., Цымбал Д.А. "Технологии штрихового кодирования для задач лицевой биометрии: современное состояние и новые решения" // Научно-технический вестник ИТМО, 2018. Т. 18. №1. С. 72-86.

Так, например, на основе 68 вычисленных координат АПТ лица:

Х=[x1 х2 х3 … х68] и Y=[y1 у2 у3 … у68],

двух значений размера изображения лица, содержащего М строк и N столбцов, и, взятого из тестовой базы CUHK Face Sketch Database, имени лица, например,

NAME='Base CUFS: Femalef-039-01.jpg'

составляется следующее сообщение M1:

M1=['M x1 х2 х3 … x68 N y1 у2 у3 … y68#' NAME],

которое для конкретных данных может иметь, например, следующий вид:

M1='218 32 21…66 169 109125…45 # Base CUFS: Femalef-039-01.jpg'

Здесь знак "#" выполняет роль разделителя для отделения имени лица от числовой информации (что используется, например, при расшифровке сообщения из QR-кода).

Значения яркости цветного изображения лица в 68 координатах АПТ в исходном виде представляются как массив размером 68×3 числовых значений, а в форме сообщения-оригинала - как строка из 204 чисел, образованных в результате конкатенации 68×3 числовых значений. При этом сообщение М2 принимает вид:

М2='r1 r2 … r68 g1 g2 … g68 b1 b2 … b68',

где: r1…r68 - значения яркости для компоненты R;

g1…g68 - значения яркости для компоненты G,

b1…b68 - значения яркости для компоненты В,

Документальная информация, представляющая, например, ту же тестовую базу изображений лиц: CUHK Face Sketch Database (CUFS), оригинальное имя входного изображения лица: 'photo:f-039-01.jpg' и сайт, где находится эта база:

http://mmlab.ie.cuhk.edu.hk/archive/facesketch.html

записывается тремя короткими сообщениями со своими знаками-разделителями:

М31='CUHK Face Sketch Database (CUFS) #'

M32='photo: f-039-01.jpg #'

M33='http://mmlab.ie.cuhk.edu.hk/archive/facesketch.htm'

которые далее объединяются в общее сообщение-оригинал:

М3=[М31 М32 М33].

Сообщения-оригиналы сохраняют семантическую структуру цифровых данных биометрической информации и структуру документальной информации, что упрощает как процесс генерации по ним QR-кодов, так и их декодирование и чтение сообщений из них.

В блоке 3 реализуется процедура генерации QR-кодов по сообщениям-оригиналам. Идеи реализации этих процедур представлены в статье: Казиева Н. "Модуль онлайн-системы генерации QR-кода с координатами антропометрических точек изображения лица" // Сборник трудов VII Всероссийского конгресса молодых ученых (Санкт-Петербург, 17-20 апреля 2018 г.) - 2018. - Т. 2. - С. 28-30 и реализованы в "Программе онлайн генерации QR-кода с координатами антропометрических точек изображения лица", зарегистрированной в реестре Государственной регистрации программ для ЭВМ - свидетельство №2018612643 по дате 21.02.2018.

При этом сначала в блоке 3 генерируются бинарные QR-коды, а затем они автоматически трансформируются в полутоновые QR-коды в процессе их записи в память и чтения их из памяти в формате ".png", чем достигается представление QR-кодов без шумов сжатия, обеспечивается полное сохранение информации в обменных операциях с памятью, а также не искажение записанной информации при дальнейшем представлении QR-кодов в форме LSB - слоев (слоев с наименее значащими битами). Перечисленные характеристики создают условия широкого применения полутоновых QR-кодов с форматом ".png", в других приложениях.

На Фиг. 4 показано входное цветное изображение лица с АПТ на нем и результат генерации QR-кода ANTRO - по данным АПТ лица и его имени, а также результат генерации QR-кода INFO - по документальным данным, приведенным выше при описании функций блока 2. Под всеми изображениями показаны их размеры. QR-коды сгенерированы как бинарные и для размера M_QR=117, что соответствует значению параметра V=25.

На Фиг. 6 приведены значения яркости цветного изображения лица в 68 координатах АПТ, которые можно интерпретировать как интегральную характеристику фенотипа лица, а также соответствующий QR-код PHENO.

Для различных приложений биометрии, могут быть сгенерированы и другие комплектации QR-кодов. Например, один с биометрической информацией, а два с документальной информацией - базовой и расширенной, или все три QR-кода с биометрической информацией.

В блоке 4, компонента G входного цветного изображения, поступившего из блока 1, заменяется на полутоновый QR-код INFO, чем создается оригинальный цветной QR-код со структурой PIP.

При этом выполняется перепись входного цветного изображения I, представляемого матрицей M_QR×M_QR×3 в соответствующий по размеру рабочий массив C_QR, подготавливаемый под оригинальный цветной QR-код со структурой PIP, так, что:

C_QR=I

в котором:

C_QR(:,:,1)=R;

C_QR(:,:,2)=G;

C_QR(:,:,3)=B.

Далее, выполняется процедура замены компоненты G на QR-код INFO так, что

C_QR(:,:,2)=QR_INFO,

где: QR_INFO - QR-код INFO.

В результате чего получается новый графический объект - оригинальный цветной QR-код со структурой PIP:

C_QR(:,:,1)=R;

C_QR(:,:,2)=QR_INFO;

C_QR(:,:,3)=B.

В блоке 5, из полутоновых QR-кодов ANTRO и PHENO, поступивших из блока 3, выделяются LSB-слои, которые встраиваются на место LSB-слоев компонент R и В оригинального цветного QR-кода со структурой PIP.

В общем случае, выделение LSB-слоев реализуется с помощью математической процедуры "взятия по модулю 2" следующим способом:

LSB_QR=(QR)mod2,

где: QR - полутоновый QR-код размером M_QR на M_QR пикселей (или M_QR×M_QR);

LSB_QR - младший битовый слой размером M_QR×M_QR;

mod2 - операция взятия по модулю 2.

Фактически, операция взятия по модулю 2 записывает в пустую матрицу размером M_QR×M_QR цифру 1, если значение байта в соответствующем пикселе восьмислойной матрицы QR-кода - нечетное, и 0 в противном случае. Для полутоновых QR-кодов - ANTRO и PHENO получаем два слоя LSB:

LSB_ANTRO=(QR_ANTRO)mod2;

LSB_PHENO=(QR_PHENO)mod2.

Встраивание выделенных LSB-слоев QR-кодов ANTRO и PHENO на место LSB-слоев компонент R и В достигается выполнением следующих действий:

1. Выполнением следующих трех действий матричной алгебры:

R_QR=R-(R)mod2+LSB_ANTRO;

B_QR=В-(B)mod2+LSB_PHENO,

где: R и В - компоненты R и В оригинального цветного QR-кода со структурой PIP;

R_QR, B_QR - компоненты R и В со встроенными в них QR-кодами.

Таким образом, по завершению этого действия, компоненты из состава R и В содержат встроенные в них соответствующие QR-коды. Именно с этого момента, можно считать, что компоненты R и В становятся "заполненными контейнерами", с вложенными в них сообщениями-оригиналами.

2. Выполнением процедуры записи компонент R_QR и B_QR новый графический объект C_QR, который становится цветным QR-кодом со структурой PIP с встроенными в него двумя QR-кодами с вложенными в них сообщениями, содержащими биометрическую информацию:

C_3QR=C_QR;

C_3QR(:,:,1)=R_QR;

C_3QR(:,:,2)=QR_INFO;

C_3QR(:,:,3)=B_QR,

где C_3QR - матрица размером M_QR×M_QR×3, представляющая собой цветной QR-код с тремя QR-кодами - один замещает компоненту G, а два других встроены в компоненты R и B.

Для более полного и ясного понимания внутренней "трансформации" трех компонент R, G и В в компоненты R_QR, QR_INFO, B_QR представим графические примеры на Фиг. 7 - Фиг. 8.

Так на Фиг. 7 представлены все три компоненты R_QR, QR_INFO, B_QR и составляющие их битовые слои для C_3QR. И обратим внимание на то, что во всех компонентах LSB-слои (битовый слой 1) представляют QR-коды ANTRO, INFO и PHENO. Как отмечалось выше, показанные на Фиг. 5 и Фиг. 6 бинарные QR-коды, в процессе записи их память в формате ".png", преобразуются в полутоновые. В этом случае, например, все восемь битовых слоев полутонового QR-кода INFO будут одинаковыми. В то же время 7 старших битовых слоев в компонентах R_QR и B_QR соответствуют содержанию битовых слоев оригинального цветного QR-кода со структурой PIP или содержанию битовых слоев входного цветного изображения лица.

Фиг. 8, - где представлены полутоновые компоненты R_QR, INFO и B_QR оригинального цветного QR-кода со структурой PIP, находящегося в состоянии "заполненного контейнера", а все слои показаны с отображением уровня яркости, как взвешенной кумулятивной суммы значений по текущим слоям.

Отображение уровней яркости, в форме взвешенных кумулятивных сумм (CumSum) по текущим слоям, получаются следующим образом:

где: S_(i) - i-й слой, определяемый для всех i, как бинарная матрица порядка M_QR;

2^(i-1) - весовой коэффициент, учитывающий позицию слоя.

В компонентах R_QR и B_QR видно, как восстанавливается внешний вид полутонового изображения лица от слоя к слою, причем в конечном кумулятивном результате совершенно не видно шумов наложения от вложенного в компоненты R и BQR-кодов ANTRO и PHENO. Это происходит потому, что LSB-слой (или встроенный QR-код) содержит только битовые значения 0 и 1 с весовым коэффициентом равным 1, и изменения, привносимые ими в кумулятивную сумму, не заметны для человеческого глаза.

На Фиг. 9 показаны три графических объекта: входное цветное изображение, оригинальный QR-код со структурой PIP и сформированный цветной QR-код со структурой PIP со встроенными в него двумя QR-кодами с вложенными в них сообщениями, содержащими биометрическую информацию. Отметим, что мы не замечаем видимых отличий между последними двумя графическими объектами. Этот факт был объяснен выше.

На Фиг. 10 показан окончательный результат формирования объявленного в патенте QR-кода, а именно - цветной QR-код со структурой PIP со встроенными в него двумя QR-кодами с вложенными в них сообщениями, содержащими биометрическую информацию. Под ним показан QR-код, считанный с компоненты R_QR, - являющийся QR-кодом ANTRO, а справа от него - графическое представление расположения антропометрических точек, восстановленное из сообщения, вложенного в QR-код ANTRO.

На Фиг. 11 показаны два QR-кода считанные с компонент INFO и B_QR, а под ними - часть информации, прочитанной из соответствующих сообщений.

Таким образом, предлагаемый способ позволяет повысить репрезентативность представления лицевой информации в цветных QR-кодах за счет того, что в оригинальный цветной QR-код со структурой PIP, в компоненту G вложена документальная информация о человеке, а в компоненты R и В встроены два "водяных знака в форме QR-кодов" с размещением в них сообщений с дополнительной лицевой биометрической информацией (координаты антропометрических точек лица и значения яркости изображения лица в этих координатах - как интегральной характеристики фенотипа лица, размер входного изображения и морфометрические параметры лица), полученной непосредственно из исходного цветного изображения лица.

Получаемое при этом компактное графическое представление всей информации позволит расширить рамки применения QR-кодов, как хранителей и носителей информации, позволит реализовать обмен данными по универсальным стандартам и международным каналам без потери какой-либо ее части и/или ее подмены, а также ограничить несанкционированный доступ к ней, что обеспечит ее защищенность.

При этом устройство для реализации предлагаемого способа, выполняется в виде платы, в состав которой входит, по крайней мере, один сигнальный процессор.