Результат интеллектуальной деятельности: МЕТОДЫ ОБНАРУЖЕНИЯ ВВЕДЕННЫХ ПОЛЬЗОВАТЕЛЕМ КОНТРОЛЬНЫХ МЕТОК

ОБЛАСТЬ ПРИМЕНЕНИЯ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к области сбора данных и обработки документов с применением оптического распознавания символов (OCR) и интеллектуального распознавания символов (ICR).

УРОВЕНЬ ТЕХНИКИ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Методы OCR/ICR по существу применяются для преобразования изображений печатных документов в машиночитаемые и редактируемые форматы, а также для извлечения данных из документов. Как правило, устройства с поддержкой OCR/ICR выполняют компьютеризованное сканирование документов и машинный анализ полученных сканированных изображений (т.е. файлов сканированных документов).

Однако сферы применения обработки документов со сбором данных, такие как анализ документов, имеющих предварительно отформатированные поля для пользовательских контрольных меток (например, формы, контрольные списки, анкеты и т.д.), на объекте / в режиме реального времени, могут потребовать ускоренной обработки по сравнению с применением традиционных методов OCR/ICR.

ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Описаны методы применения мобильного обрабатывающего устройства для обработки контрольных меток в документах, имеющих предварительно отформатированные поля для ввода контрольных меток.

В одном варианте реализации цифровая камера, связанная с мобильным обрабатывающим устройством, применяется для генерации файла, содержащего двухмерное оцифрованное изображение такого документа. Затем применяются идентификаторы, позволяющие отличить один документ от другого, и маркеры, определяющие местоположение и ориентацию фрагментов, содержащих предварительно отформатированные поля, для генерации файла, в котором двухмерное оцифрованное изображение изменено в соответствии с ориентацией и размером цифрового шаблона документа.

С применением шаблона оцифрованные изображения предварительно отформатированных полей извлекаются и анализируются в электронном виде на присутствие в них введенных пользователем контрольных меток. Присутствие контрольных меток обнаруживается путем вычитания пикселей фона и определения ситуации, когда количество оставшихся пикселей превышает первый предварительно выбранный порог, или ситуации, когда отношение количества пикселей, не относящихся к фону, к общему количеству пикселей превысит второй предварительно выбранный порог.

Различные другие объекты и варианты реализации изобретения более подробно описаны ниже. Предполагается, что элементы одного варианта реализации изобретения могут быть использованы в других вариантах его реализации без дополнительного перечисления.

Раскрытие изобретения не представляет собой в полной мере и в полном объеме настоящее изобретение и не должно считаться таковым. Все объекты, элементы и преимущества настоящего изобретения станут очевидны из следующего подробного письменного описания и в соответствии с прилагаемыми чертежами.

Новые элементы, которые считаются характерными для описания, изложены в прилагаемых пунктах формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На ФИГ. 1 показана схема, на которой представлен способ применения мобильного обрабатывающего устройства для обработки контрольных меток в документе, имеющем предварительно отформатированные поля для ввода контрольных меток, в соответствии с одним вариантом реализации настоящего изобретения.

На ФИГ. 2 показан пример документа, имеющего предварительно отформатированные поля для ввода контрольных меток и применяемого в настоящем описании для иллюстрации способа, изображенного на ФИГ. 1.

На ФИГ. 3 показано графическое изображение примера цифрового шаблона документа, изображенного на ФИГ. 2.

На ФИГ. 4 показан иллюстративный снимок документа, изображенного на ФИГ. 2, сгенерированный с применением цифровой камеры, связанной с мобильным обрабатывающим устройством.

На ФИГ. 5 показано оцифрованное изображение примера предварительно отформатированного поля в документе, изображенном на ФИГ. 2, с пользовательской меткой.

На ФИГ. 6 показан пример платформы, на которой используется способ, изображенный на ФИГ. 1, в соответствии с одним вариантом реализации настоящего изобретения.

Изображения на чертежах упрощены для целей иллюстрации и приведены без соблюдения масштаба.

Для облегчения понимания на чертежах по возможности используются совпадающие номера позиций для обозначения по существу совпадающих элементов чертежей, за исключением того, что к ним при необходимости могут быть добавлены дополнительные буквенно-цифровые элементы и/или суффиксы для различения таких элементов.

ОСУЩЕСТВЛЕНИЕ НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

Объекты, элементы и преимущества настоящего изобретения описаны ниже в отношении мобильных обрабатывающих устройств с применением связанных с ними цифровых камер для обработки контрольных меток в документах, имеющих предварительно отформатированные поля для ввода контрольных меток. Предполагается, что по меньшей мере фрагменты настоящего изобретения также могут использоваться с другими типами обрабатывающих устройств (например, настольными компьютерами, связанными с автономными или встроенными цифровыми камерами) или для анализа других типов документов (например, компьютерной графики, мишеней для стрельбы и т.д.) или их оцифрованных изображений.

На ФИГ. 1 показана схема, на которой представлен способ 100 применения мобильного обрабатывающего устройства для обработки контрольных меток в документе, имеющем предварительно отформатированные поля для ввода контрольных меток, в соответствии с одним вариантом реализации настоящего изобретения, а на ФИГ. 2 показан пример документа 200, имеющего предварительно отформатированные поля и применяемого в настоящем описании для иллюстрации способа, изображенного на ФИГ. 1. Для лучшего понимания изобретения рекомендовано рассматривать ФИГ. 1 и 2 одновременно.

Способ 100 начинается с этапа 102 и переходит к этапу 110.

На этапе 110 с применением цифровой камеры, встроенной или иным образом связанной (т.е. соединенной с помощью связи) с мобильным обрабатывающим устройством, выполняется снимок документа, имеющего предварительно отформатированные поля для ввода пользовательских контрольных меток, после того как документ был оформлен (т.е. в него были введены контрольные метки) пользователем документа. Примеры подходящего мобильного обрабатывающего устройства включают в себя, без ограничений, мобильный телефон, мобильное вычислительное устройство (например, планшетный компьютер, карманный персональный компьютер (КПК) или ноутбук) и цифровую камеру с возможностью подключения к сети Интернет.

В памяти мобильного обрабатывающего устройства или связанной с ним цифровой камеры сохраняется снимок сфотографированного документа в форме цифрового файла, считываемого процессором. Данный файл в настоящем описании называется «первым файлом».

По существу первый файл содержит двухмерное оцифрованное изображение сфотографированного документа и также может включать в себя частичное изображение объекта (-ов), окружающего (-их) или удерживающего (-их) документ (например, стола, на котором происходит фотосъемка документа, и т.п.). Для краткости далее любой (-ые) цифровой (-ые) файл (-ы), считываемый (-ые) процессором, будет (-ут) называться «файлом (-ами)».

В одном варианте реализации файл, содержащий чистую (т.е. без введенных пользователем контрольных меток) копию документа, загружается на мобильное обрабатывающее устройство из соответствующей базы данных и затем воспроизводится с применением принтера, соединенного с помощью связи с мобильным обрабатывающем устройством. Альтернативно загруженная копия документа может быть передана в электронном виде с применением мобильного обрабатывающего устройства ее предполагаемым пользователям и распечатана пользователями.

Чистой копии документа по существу присваиваются маркеры, определяющие местоположение и ориентацию фрагмента документа, содержащего предварительно отформатированные поля. Альтернативно в качестве таких маркеров могут применяться линии границы некоторых предварительно отформатированных полей. В качестве дополнительной возможности, чистая копия документа также может включать в себя символы или коды, определяющие документ или его конкретный фрагмент (например, страницу).

В документе контрольные метки могут быть введены от руки («рукописные» контрольные метки, введенные с применением ручек, карандашей или других письменных принадлежностей), с применением штампующего устройства или принтера. Такие контрольные метки могут иметь произвольную одинаковую или различную форму или исполнение.

По существу плотность (т.е. контраст) следов введенных пользователем контрольных меток должна быть достаточной для того, чтобы они были видны невооруженным глазом. Однако в некоторых сферах применения контрольные метки могут быть сгенерированы с применением письменных принадлежностей, оставляющих следы, которые не видны невооруженным глазом при освещении традиционными источниками света или солнечным светом, но видны датчикам цифровой камеры, связанной с мобильным обрабатывающим устройством.

Как представлено на ФИГ. 2, пример документа 200 включает в себя идентификатор или поле идентификатора 210, маркеры 220 и множество текстовых блоков 230, часть которых имеют соответствующие предварительно отформатированные поля 232 для ввода контрольных меток 234. По существу документ 200 может представлять собой одностраничную статью (как показано) или многостраничную статью.

Для иллюстрации показанные предварительно отформатированные поля 232 являются прямоугольными областями, отделенными с применением непрерывных линий границами. Специалистам в данной области будет понятно, что предварительно отформатированные поля могут иметь различные геометрические свойства или могут быть снабжены другими средствами отделения от других элементов текстовых блоков 230.

Идентификатор 210 (например, штрих-код (как показано), код Quick Response (QR) и т.д.) может применяться для определения или маркировки документа 200 или его конкретной страницы. Альтернативно или дополнительно для определения конкретных страниц в многостраничном документе 200 могут применяться отдельные символы 210.

Маркеры 220 определяют местоположение и ориентацию фрагментов документа, содержащих предварительно отформатированные поля 232. Маркеры 220 могут иметь различные геометрические структуры (например, «+» (как показано), круг, квадрат и т.п. или их комбинацию).

Для повышения точности определения областей, на которых расположены предварительно отформатированные поля 232, маркеры 220 по существу размещены на расстоянии друг от друга в различных областях документа 200 (например, по меньшей мере в трех углах (как показано)). Альтернативно линии границы трех или более предварительно отформатированных полей 232, не размещенных на одной и той же линии, могут применяться в качестве маркеров 220 (например, удаленно размещенные предварительно отформатированные поля 232₁ и 232₃ или 232₇).

Текстовые блоки 230 по существу включают в себя одну или несколько строк текста (показаны в виде строк 236, например, вопрос в анкете или пункт контрольного списка) или графические изображения (не показаны).

Предварительно отформатированные поля 232 для ввода контрольных меток 234 могут быть снабжены условными обозначениями, связанными с содержимым (для иллюстрации показаны условные обозначения «ДА» и «НЕТ»). В документе 200 для иллюстрации произвольно выбранные пользовательские контрольные метки 234 введены в предварительно отформатированные поля 232₁-232₇.

Каждый из этапов 120-150 ниже может быть выполнен с применением процессора мобильного обрабатывающего устройства или удаленного процессора, соединенного с помощью связи с мобильным обрабатывающим устройством. В описанном ниже предпочтительном варианте реализации этапы 120-150 для иллюстрации выполнены с применением вычислительных ресурсов и прикладных программ мобильного обрабатывающего устройства.

На этапе 120 мобильное обрабатывающее устройство анализирует первый файл для обнаружения в нем цифровых изображений маркеров, определяющих местоположение предварительно отформатированных полей, и символов, определяющих документ или его конкретные страницы.

В отношении документа 200 на этапе 120 процессор мобильного обрабатывающего устройства исполняет прикладную программу для обнаружения в первом файле документа 200 идентификатора 210 и маркеров 220 (или альтернативно линий границ выбранной группы предварительно отформатированных полей 232, как описано выше со ссылкой на этап 110).

На этапе 130 мобильное обрабатывающее устройство исполняет прикладную программу, которая применяет первый файл для генерирования второго файла сфотографированного документа, в котором двухмерное цифровое изображение документа изменено в электронном виде для соответствия ориентации и размеру его цифрового шаблона. Файл, содержащий цифровой шаблон документа, можно загрузить из соответствующего источника в любое время до исполнения этапа 130, а затем сохранить в базе данных таких файлов на мобильном обрабатывающем устройстве.

Цифровой шаблон в форме компьютерного кода по существу показывает масштабированное (например, увеличенное или уменьшенное) схематичное изображение, включающее в себя маркеры, идентификационные поля и предварительно отформатированные поля сфотографированного документа. В одном варианте реализации такое наложение (или регистрация изображения) достигается путем совмещения маркеров двухмерного цифрового изображения, содержащихся в первом файле, с соответствующими маркерами цифрового шаблона того же документа.

По существу двухмерное цифровое изображение, содержащееся в первом файле, представляет собой оптически искаженный снимок сфотографированного документа, и могут быть сделаны различные снимки документа (-ов) под разными углами, на разных расстояниях или с различными параметрами масштабирования. Нормализация отдельных снимков документа позволяет совмещать двухмерное цифровое изображение документа с его цифровым шаблоном и в частности определять местоположение предварительно отформатированных полей для ввода контрольных меток на двухмерном цифровом изображении документа. Нормализация отдельных снимков документа представляет собой предварительную обработку двухмерного цифрового изображения, которая может включать в себя автоматическое определение ориентации страницы, автоматическое кадрирование страницы, коррекцию искажений перспективы, масштабирование и т.д.

На ФИГ. 3 показано графическое изображение примера цифрового шаблона 300 документа 200, изображенного на ФИГ. 2. В показанном иллюстративном варианте реализации графическое изображение цифрового шаблона 300 представляет собой эскиз документа 200, который содержит графические изображения, информацию о местоположении и типах данных основных полей 320, 342 и 332 - маркеров 220, идентификационного поля 210 и предварительно отформатированных полей 232 соответственно.

На ФИГ. 4 показан иллюстративный снимок (т.е. графическое изображение) 400 документа 200, изображенного на ФИГ. 2, сгенерированный цифровой камерой, связанной с мобильным обрабатывающим устройством. Изображение 400 содержится в первом файле и представляет собой геометрически искаженный и смещенный относительно центра снимок документа 200.

Для совмещения с цифровым шаблоном 300 (описан выше со ссылкой на ФИГ. 3) изображение 400 изменяют в электронном виде так, чтобы обеспечить, чтобы маркеры 220 документа 200 совпадали с соответствующими маркерами 320 цифрового шаблона 300. В одном варианте реализации на этапе 130 изображение 400 масштабируется в электронном виде и поворачивается в направлениях стрелок 401- 403. Измененное в электронном виде изображение 400 сохраняется в мобильном обрабытвающем устройстве как второй файл документа 200.

На этапе 140 с применением цифрового шаблона в качестве маски оцифрованные изображения предварительно отформатированных полей извлекаются из второго файла и выборочно сохраняются в третьем файле сфотографированного документа. После этого для освобождения памяти мобильного обрабатывающего устройства второй файл сфотографированного документа может быть удален.

Извлеченные оцифрованные изображения содержат только снимки предварительно отформатированных полей, в совокупности представляющих малую часть реального объема документа. Как таковой третий файл намного меньше (т.е. занимает меньше места в памяти) второго файла.

В отношении сфотографированного документа 200 и его цифрового шаблона 300 фрагменты, соответствующие областям 332 шаблона 300, извлекаются в электронном виде из второго файла документа 200. Извлеченные фрагменты графически соответствуют областям предварительно отформатированных полей 232 документа 200. Извлеченные фрагменты выборочно сохраняются в третьем файле документа 200, после чего более крупный второй файл документа 200 может быть удален.

На этапе 150 оцифрованные изображения предварительно отформатированных полей сфотографированного документа получают из третьего файла документа и в электронном виде анализируют на предмет присутствия в них введенных пользователем контрольных меток.

В одном варианте реализации рассчитывается общее количество N₁ пикселей в оцифрованном изображении предварительно отформатированного поля и количество N₂ пикселей фона. Затем количество N₂ вычитают из количества N₁. Когда количество оставшихся пикселей превышает первый предварительно выбранный порог, считается, что в предварительно отформатированном поле обнаружена контрольная метка.

В другом варианте реализации рассчитывается соотношение R=(N₁- N₂)/N₁.

Когда числовое значение отношения R превышает второй предварительно выбранный порог, считается, что в предварительно отформатированном поле обнаружена контрольная метка.

На ФИГ. 5 показано оцифрованное изображение 500 примера предварительно отформатированного поля 232 документа 200 с пользовательской контрольной меткой. Изображение 500 получают из третьего файла документа и для иллюстрации оно включает в себя оцифрованное изображение введенной пользователем контрольной метки 502 (показанной, например, в предварительно отформатированных полях 232₁, 232₃ и 232₆ на ФИГ. 2).

Изображение 500 включает в себя множество пикселей N₁, в котором имеется N₂ фоновых (светлых) пикселей 504, а оставшиеся пиксели N₁-N₂ - это не относящиеся к фону (т.е. по меньшей мере частично затемненные) пиксели, которые в совокупности образуют цифровое изображение введенной пользователем контрольной метки 502.

Результаты накопления и подсчета обнаруженных контрольных меток из множества документов можно показать на дисплее мобильного обрабатывающего устройства или сохранить в нем или удаленно для дальнейшего анализа (например, статистического анализа) или для справки. Кроме того, мобильное обрабатывающее устройство может представлять различные ошибки / диагностические сообщения (присутствие противоречивых контрольных меток, отсутствие необходимых контрольных меток, ошибки обработки изображения или ошибки распознавания / идентификации изображения и т.д.).

В других вариантах реализации множество документов, имеющих предварительно отформатированные поля для ввода пользовательских контрольных меток, могут быть сфотографированы до того, как их цифровые изображения будут по меньшей мере частично обработаны на присутствие контрольных меток. Альтернативно фрагменты такого анализа могут быть выполнены в мобильном обрабатывающем устройстве в виде его подпрограммы обработки фоновых данных.

После завершения этапа 150 способ 100 заканчивается на этапе 152.

На ФИГ. 6 показан пример платформы 600, на которой используется способ 100, изображенный на ФИГ. 1, в соответствии с одним вариантом реализации настоящего изобретения. Обычному специалисту в данной области будет понятно, что аппаратные и программные конфигурации, изображенные на ФИГ. 6, могут варьироваться без отклонения от сущности или объема изобретения.

Платформа 600 по существу включает в себя мобильное обрабатывающее устройство 610, необязательные периферийные устройства 640 (например, дисплеи, принтеры и т.д.) и необязательную внешнюю / удаленную цифровую камеру 606А. В некоторых вариантах реализации (как показано) платформа 600 также может быть подключена к сети 650 (например, к внутренней, локальной/глобальной сети (LAN/WAN) или сети Интернет). Устройство 610 может быть реализовано, например, в виде мобильного цифрового телефона, цифровой камеры с доступом к сети Интернет, КПК, планшета общего назначения/специализированного планшета или мобильного компьютера.

При реализации в виде мобильного цифрового телефона устройство 610 по существу включает в себя пользовательский интерфейс (например, сенсорный экран) 602, РЧ-модуль 604, цифровую камеру 606, процессор 612, модуль памяти 614, вспомогательные системы 618, системный интерфейс 602 и контроллер ввода/вывода (I/O) 616, обеспечивающий возможность связи с периферийными устройствам 640 и сетью 650. Компоненты устройства 610 могут быть реализованы в виде аппаратных устройств, программных модулей, программно-аппаратного обеспечения или их комбинации. Альтернативно или дополнительно такое устройство 610 может быть связано (т.е. соединено с помощью связи) с внешней/удаленной цифровой камерой 606А (например, цифровой камерой с высоким разрешением).

В показанном варианте реализации в модуле памяти 614 хранятся операционная система (ОС) 620 и прикладные программы (т.е. программные продукты для компьютера) 622. Альтернативно по меньшей мере фрагменты ОС 620 и прикладных программ 622 могут находиться на удаленном вычислительном устройстве (например, сервере в сети 650), соединенном с помощью связи сустройством 610.

В устройстве 610 прикладные программы 622 включают в себя программу(-ы) обнаружения контрольной метки 624 и необязательную базу данных 626 цифровых шаблонов обработанных документов. В число считываемых процессором команд, подаваемых программой(-ами) 624, входят команды, в результате выполнения которых устройство 610 выполняет следующее: (i) генерацию с применением цифровой камеры, связанной с устройством, первого электронного файла, содержащего двухмерное оцифрованное изображение документа, имеющего предварительно отформатированные поля для ввода контрольных меток, и (ii) применение устройства или удаленного процессора для: (а) обнаружения в первом файле символов, определяющих документ, и маркеров, определяющих местоположение и ориентацию фрагментов, содержащих предварительно отформатированные поля, (b) генерирования второго файла, в котором двухмерное оцифрованное изображение изменено в соответствии с ориентацией и размером цифрового шаблона документа, (с) применения цифрового шаблона для извлечения в электронном виде из второго файла оцифрованных изображений предварительно отформатированных полей, и (d) обнаружения контрольных меток в предварительно отформатированных полях на основе количества пикселей в них, не относящихся к фону.

Другие считываемые процессором команды программ(-ы) 624 дополнительно указывают на функции и элементы, описанные выше в отношении способа 100. Считываемые процессором команды необязательно или дополнительно также обеспечивают пользователям устройства 610 доступ к ресурсам компьютерной сети или архитектуре облачных вычислений.

Объекты настоящего изобретения были описаны выше в отношении методов применения мобильного обрабатывающего устройства для обработки пользовательских контрольных меток в документах, имеющих предварительно отформатированные поля для ввода контрольных меток. Однако предполагается, что фрагменты настоящего изобретения могут быть альтернативно или дополнительно реализованы в виде отдельных программных продуктов или элементов других программных продуктов. Также предполагается, что все утверждения, в которых перечислены принципы, объекты, варианты реализации изобретения и его конкретные примеры, охватывают как структурные, так и функциональные эквиваленты изобретения.

Специалистам в данной области будет понятно, что в устройства, способы и программные продукты настоящего изобретения могут быть внесены различные изменения без отклонения от сущности или объема изобретения. Таким образом, предполагается, что настоящее изобретение включает в себя изменения, которые находятся в рамках объема изобретения и его эквивалентов.