Результат интеллектуальной деятельности: СПОСОБ И УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ

Настоящая заявка основана на и испрашивает приоритет китайской патентной заявки №2015108131405, поданной 20 ноября 2015 г., все содержание которой включено в настоящий документ посредством ссылки.

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к области обработки изображений, в частности, к способу и устройству обработки изображений.

УРОВЕНЬ ТЕХНИКИ

[0002] В настоящее время по мере развития распознавания изображений проводится все больше исследований глубоких смыслов, выраженных изображениями. Однако существующие системы автоматического текстового описания изображений предоставляют только простые описания людей или объектов изображений, а, следовательно, пользователь не может получить информацию о взаимоотношениях между людьми в соответствии с такими описаниями.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0003] Варианты осуществления настоящего изобретения предлагают способ и устройство обработки изображений, как описано далее.

[0004] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предлагается способ обработки изображений, содержащий следующие этапы:

распознают лицо на изображении пользователя;

получают информацию о личности, соответствующей распознанному лицу, содержащую по крайней мере однозначный идентификатор человека, соответствующего данному лицу, и отношения между человеком, соответствующим лицу, и пользователем;

получают информацию о съемке изображения, где информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения; и

формируют описание изображения в соответствии с информацией о личности и информацией о съемке.

[0005] В некоторых случаях получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы:

получают заданную базу личных данных, содержащую соответствующие связи между лицами и информацией о личности;

сравнивают распознанное лицо с лицами из заданной базы личных данных для поиска лица в заданной базе личных данных, соответствующего распознанному лицу; и

получают информацию о личности, соответствующей распознанному лицу из заданной базы личных данных, соответствующему распознанному лицу.

[0006] В некоторых случаях получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы:

получают контактную информацию пользователя, содержащую головные портреты и информацию о личности контактных лиц;

сравнивают распознанное лицо с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу; и

получают информацию о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[0007] В некоторых случаях формирование описания изображения в соответствии с информацией о личности и информацией о съемке содержит следующие этапы:

распознают объект на изображении для определения наименования этого объекта; и

формируют описание изображения в соответствии с информацией о личности, информацией о съемке и наименованием объекта.

[0008] В некоторых случаях указанный способ дополнительно содержит следующие этапы:

группируют изображения пользователя; и

формируют описание каждой группы изображений в соответствии с описанием каждого изображения в группе.

[0009] В некоторых случаях группировка изображений пользователя содержит следующие этапы:

группируют изображения по крайней мере по одному из следующих признаков: время съемки, место съемки и лиц на изображениях.

[0010] В некоторых случаях указанный способ дополнительно содержит следующие этапы:

демонстрируют группы и описания каждой группы изображений при получении команды просмотра, направляемой пользователем.

[0011] В некоторых случаях демонстрация групп и описаний каждой группы изображений дополнительно содержит следующие этапы:

демонстрируют изображения в каждой группе и описания изображений в режиме показа слайдов.

[0012] В соответствии со вторым аспектом вариантов осуществления настоящего изобретения предлагается устройство обработки изображений, содержащее:

распознающий модуль, выполненный с возможностью распознавания лиц на изображении пользователя;

определяющий модуль, выполненный с возможностью определения информации о личности, соответствующей лицу, распознанному распознающим модулем; при этом информация о личности содержит по крайней мере однозначный идентификатор человека в соответствии с лицом и отношения между этим человеком и пользователем;

запрашивающий модуль, выполненный с возможностью получения информации о съемке, содержащей по крайней мере один из аспектов: время съемки и место съемки; и

первый формирующий модуль, выполненный с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем, и информацией о съемке, полученной запрашивающим модулем.

[0013] В некоторых случаях определяющий модуль дополнительно содержит:

первый запрашивающий субмодуль, выполненный с возможностью получения заданной базы личных данных, содержащей соответствующие связи между лицами и информацией о личности;

первый сравнивающий субмодуль, выполненный с возможностью сравнения лица, распознанного распознающим модулем, с лицами в заданной базе личных данных, полученной первым запрашивающим субмодулем, для поиска лица в заданной базе личных данных, соответствующего распознанному лицу; и

второй запрашивающий субмодуль, выполненный с возможностью определения информации о личности, соответствующей лицу в заданной базе личных данных, соответствующему распознанному лицу.

[0014] В некоторых случаях определяющий модуль содержит:

третий запрашивающий субмодуль, выполненный с возможностью получения контактной информации пользователя, содержащей головные портреты и информацию о личности контактных лиц;

второй сравнивающий субмодуль, выполненный с возможностью сравнения лица, распознанного распознающим модулем, с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу; и

четвертый запрашивающий субмодуль, выполненный с возможностью получения информации о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[0015] В некоторых случаях первый формирующий модуль содержит:

распознающий субмодуль, выполненный с возможностью распознавания объекта на изображении для определения наименования такого объекта; и

формирующий субмодуль, выполненный с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем, информацией о съемке, полученной запрашивающим модулем, и наименованием объекта, распознанного распознающим субмодулем.

[0016] В некоторых случаях устройство дополнительно содержит:

группирующий модуль, выполненный с возможностью группировки изображений пользователя; и

второй формирующий модуль, выполненный с возможностью формирования описания каждой группы изображений в соответствии с описанием каждого изображения в группе, сформированным первым формирующим модулем.

[0017] В некоторых случаях группирующий модуль выполнен с возможностью группировки изображений по крайней мере по одному из следующих признаков: время съемки и место съемки изображений, определенные запрашивающим модулем, и лица на изображениях, распознанные распознающим модулем.

[0018] В некоторых случаях устройство дополнительно содержит:

демонстрационный модуль, выполненный с возможностью демонстрации групп и описаний каждой группы изображений, сформированных вторым формирующим модулем, при получении команды просмотра, направляемой пользователем.

[0019] В некоторых случаях демонстрационный модуль выполнен с возможностью демонстрации изображений в каждой группе и описаний изображений, сформированных первым формирующим модулем, в режиме показа слайдов.

[0020] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предлагается устройство для обработки изображений, содержащее:

процессор; и

память, выполненную с возможностью хранения команд, исполняемых процессором,

при этом процессор выполнен с возможностью:

распознавания лица на изображении пользователя;

получения информации о личности, соответствующей распознанному лицу, содержащей по крайней мере однозначный идентификатор человека, соответствующего лицу, и отношения между человеком, соответствующим лицу, и пользователем;

получения информации о съемке изображения, где информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения; и

формирования описания изображения в соответствии с информацией о личности и информацией о съемке.

[0021] В соответствии с техническими решениями в вариантах осуществления настоящего изобретения могут быть достигнуты следующие технические результаты.

[0022] В варианте осуществления изобретения распознают лицо на изображении и формируют описание изображения в соответствии с информацией о личности, соответствующей лицу, а также информацией о съемке изображения, таким образом, формируют более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0023] В другом варианте осуществления из обретения могут точно получить информацию о личности на изображении, следовательно, могут сформировать более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0024] Еще в одном варианте осуществления изобретения формируют описание изображения в сответствии с разными типами соответствующей информации об изображении, делая описание, таким образом, более точным, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0025] Еще в одном варианте осуществления изобретения изображения описывают группой, демонстрируя сгруппированные изображения и их описание, таким образом, пользователь может оперативно получать точную информацию о каждой группе изображений, и пользовательский опыт улучшается.

[0026] Следует понимать, что как предшествующие общие описания, так и нижеследующие подробные описания являются лишь примерами, служат лишь для пояснения и не ограничивают настоящее изобретение.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0027] Сопровождающие чертежи, включенные в настоящий документ и составляющие его часть, иллюстрируют варианты осуществления изобретения, соответствующие настоящему раскрытию, и вместе с настоящим описанием служат для пояснения принципов настоящего изобретения.

[0028] Фиг. 1 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

[0029] Фиг. 2 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0030] Фиг. 3 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0031] Фиг. 4 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0032] Фиг. 5 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0033] Фиг. 6 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

[0034] Фиг. 7 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с примерным вариантом осуществления настоящего изобретения.

[0035] Фиг. 8 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0036] Фиг. 9 представляет собой блок-схему, иллюстрирующую первый формирующий модуль в соответствии с примерным вариантом осуществления настоящего изобретения.

[0037] Фиг. 10 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0038] Фиг. 11 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения.

[0039] Фиг. 12 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

[0040] Фиг. 13 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0041] Далее будут подробно рассмотрены примерные варианты осуществления изобретения, иллюстрируемые сопровождающими чертежами. Дальнейшее описание ссылается на сопровождающие чертежи, в которых одинаковые номера на разных чертежах обозначают одинаковые или подобные элементы, если не указано иное. Варианты осуществления, рассмотренные в нижеследующем описании примерных вариантов осуществления изобретения, не представляют все варианты осуществления, соответствующие настоящему изобретению. Напротив, они представляют собой лишь примеры устройств и способов, соответствующих аспектам, относящимся к настоящему изобретению согласно прилагаемой формуле изобретения.

[0042] Варианты осуществления настоящего изобретения представляют техническое решение, относящееся к терминалу или серверу. В соответствии с данным решением распознают лицо на изображении, получают информацию о личности, соответствующей распознанному лицу, и формируют описание изображения в соответствии с информацией о личности.

[0043] Терминал может быть представлен любым устройством с функцией обработки изображений, таким как мобильный телефон, компьютер, цифровой передающий терминал, устройство рассылки сообщений, игровая консоль, планшетный компьютер, медицинское устройство, тренировочное оборудование, карманный персональный компьютер и т.д.

[0044] Фиг. 1 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 1, способ обработки изображения, применяемый терминалом или сервером, содержит следующие этапы.

[0045] На этапе S11 распознают лицо на изображении.

[0046] Например, могут использовать способы, основанные на выделении геометрических признаков, матричные способы и способы, основанные на использовании модели. Среди них матричные способы можно классифицировать на способы, основанные на корреляционном распознавании, способы собственных лиц, способы линейного дискриминантного анализа, способы разложения по сингулярным числам матрицы, способы нейросетей, способы сопоставления динамических связей и т.п. Способы, основанные на использовании модели, включают в себя способы, основанные на скрытой Марковской модели, активной модели формы и активной наглядной модели и т.д.

[0047] На этапе S12 получают информацию о личности, соответствующей распознанному лицу. Информация о личности содержит по крайней мере однозначный идентификатор человека, соответствующего лицу, и отношения между человеком, соответствующим лицу, и пользователем.

[0048] Идентификатор человека может представлять собой идентификатор, определяющий личность человека, например, имя, сетевой аккаунт, ник, кодовое имя человека и т.д. Отношения между человеком и пользователем могут подразумевать семейные отношения, родство, отношения одноклассников, отношения коллег, отношения друзей и т.д.

[0049] На этапе S13 получают информацию о съемке изображения. Информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения.

[0050] Информацию о съемке изображения могут получать из заменяемого файла образа (сокращенно - ЗФ О (exif)) изображения. ЗФ О содержит метаданные, специально сформированные для фотографий цифровой камеры и содержащие по крайней мере следующие типы информации о записи цифровых фотографий:

время съемки, фотооборудование (например, основной блок оборудования, линзы, фотовспышка и т.д.), параметры съемки (например, выдержка затвора, апертурное число объектива, скорость ISO, фокусное расстояние, режим измерения экспозиции и т.д.), параметры обработки изображения (например, резкость, контраст, цветовая насыщенность, баланс белого и т.д.), описание изображения и информация об авторском праве, место съемки (например, данные системы глобального позиционирования (GPS) и т.д.), уменьшенное изображение и т.д.

[0051] На этапе S14 формируют описание изображения в соответствии с информацией о личности и информацией о съемке.

[0052] Например, путем распознавания лица (лиц) на изображении могут определить, что лица на изображении являются лицами родителей пользователя, а полученная информация об изображении содержит время съемки - 1 октября 2015 г. - и место съемки - Тяньанымэнь. Таким образом, в процессе анализа изображения получают следующую информацию: "родители", "1 октября 2015 г.", "Тяньанымэнь" и т.д. Затем могут сформировать описание изображения (например, "с родителями на Тяньанымэнь 1 октября 2015 г.", "поездка в Пекин с родителями 1 октября 2015 г." и т.д.) с использованием абстрактной формирующей технологии из технологий обработки естественного языка (например, извлекающего алгоритма или абстрагирующего алгоритма).

[0053] В данном варианте осуществления распознают лицо(а) и формируют описание изображения в соответствии с информацией о личности, соответствующей лицу(ам) и информацией о съемке изображения, таким образом, формируют более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0054] В другом варианте осуществления изобретения информацию о личности, соответствующей распознанному лицу, могут получать с использованием одного из следующих вариантов реализации.

[0055] I. Информацию о личности, соответствующей лицу, получают с использованием заданной базы личных данных

[0056] Фиг. 2 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 2, получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы.

[0057] На этапе S21 получают заданную базу личных данных, где заданная база личных данных со держит соответствующие св язи между лицами и информацией о личности.

[0058] На этапе S22 распознанное лицо сравнивают с лицами в заданной базе личных данных для поиска лица в заданной базе личных данных, соответствующего распознанному лицу.

[0059] На этапе S23 получают информацию о личности, соответствующей лицу из заданной базы личных данных, соответствующему распознанному лицу.

[0060] Пользователь может заранее установить заданную базу личных данных. Например, заданную базу личных данных формируют, получая фотографии лиц членов семьи и указывая идентификатор или семейные отношения, соответствующие фотографии лица каждого члена семьи. Дополнительно или вместо этого в заданную базу личных данных могут добавлять одноклассников, друзей, коллег и т.п.

[0061] II. Информацию о личности, соответствующей лицу, получают с использованием контактной информации пользователя

[0062] Фиг. 3 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 3, получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы.

[0063] На этапе S31 получают контактную информацию пользователя. Контактная информация содержит головные портреты и информацию о личности контактных лиц.

[0064] На этапе S32 распознанное лицо сравнивают с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу.

[0065] На этапе S33 получают информацию о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[0066] Таким образом, информацию о личности, соответствующей лицу на изображении, могут получить с использованием головных портретов контактных лиц из списка контактов.

[0067] В данном варианте осуществления эти два варианта реализации могут также объединять, то есть получают информацию о личности, соответствующей лицу на изображении, в соответствии как с заданной базой личных данных, так и с контактной информацией из списка контактов.

[0068] В данном варианте осуществления можно получить точную информацию о личности людей на изображении путем определения информации о личности, соответствующей лицу, с использованием одного из указанных выше вариантов реализации или их комбинации, таким образом, в соответствии с информацией о личности можно затем сформировать более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0069] В другом варианте осуществления изобретения для формирования более точного описания изображения могут дополнительно получать другую информацию об изображении (например, информацию о съемке, информацию о других объектах, помимо лиц на изображении и т.д.).

[0070] Фиг. 4 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 4, формирование описания изображения в соответствии с информацией о личности и информацией о съемке изображения дополнительно содержит следующие этапы.

[0071] На этапе S41 распознают объект на изображении для определения наименования этого объекта.

[0072] Для распознавания объекта(ов), присутствующего(их) на изображении, могут использовать такие алгоритмы как R-CNN и fast-CNN. Например, сначала выделяют возможные подходящие участки на изображении, а затем к объектам, изображенным на выделенных участках, применяют классификацию сверточной нейронной сети СНС (CNN).

[0073] На этапе S42 формируют описание изображения в соответствии с информацией о личности, информацией о съемке и наименованием объекта.

[0074] Например, если время съемки изображения - 1 октября 2015 г., место съемки - площадь Тяньанымэнь, лица на изображении - лица родителей пользователя, а распознанные объекты, представленные на изображении, включают цветы, национальный флаг и т.п., то сформированное описание может быть таким: "на церемонии поднятия флага с родителями на площади Тяньанымэнь 1 октября 2015 г."

[0075] Кроме того, помимо информации о личности, информации о съемке и наименования объекта, при автоматическом описании изображения могут принимать во внимание другую информацию (например, информацию о погоде в день, когда было сделано изображение, событие, происходящее во время и в месте съемки и т.д.)

[0076] В данном варианте осуществления описание формируют в соответствии с разными типами соответствующей информации об изображении, делая описание, таким образом, более точным, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0077] В другом варианте осуществления изобретения изображения могут группировать и формировать общее описание для каждой группы изображений. Фиг. 5 представляет собой схему, иллюстрирующую способ обработки изображений в соответствии с данным примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 5, способ дополнительно содержит следующие этапы.

[0078] На этапе S51 группируют изображения пользователя.

[0079] На этапе S52 формируют описание каждой группы изображений в соответствии с описанием каждого изображения в группе изображений.

[0080] Например, могут выделять некоторые репрезентативные фрагменты текста из описаний отдельных изображений в каждой группе с использованием извлекающего алгоритма, а затем объединять их для формирования описания каждой группы изображений.

[0081] Изображения могут группировать по обстановке съемки. Группировка изображений пользователя содержит следующие этапы:

группировка изображений по крайней мере по одному из следующих факторов: время съемки и место съемки изображений и лица на изображениях.

[0082] Например, пользователь может сгруппировать фотографии, снятые 1 октября 2015 г., в одну группу, фотографии, снятые на площади Тяньанымэнь, в одну группу, все фотографии, на которых изображены лица родителей пользователя, в одну группу, фотографии, снятые на площади Тяньанымэнь 1 октября 2015 г., в одну группу, фотографии, на которых изображены лица родителей пользователя, снятые 1 октября 2015 г., одну группу, фотографии, на которых изображены лица родителей пользователя, снятые на площади Тяньанымэнь, в одну группу, или фотографии, на которых изображены лица родителей пользователя, снятые на площади Тяньанымэнь 1 октября 2015 г., в одну группу.

[0083] Фотографии, снятые в одной и той же обстановке, могут точно разделять, группируя эти фотографии на основании такой информации, как информация о съемке фотографий и лица на фотографиях, обеспечивая, таким образом, последующее точное автоматическое описание каждой группы фотографий.

[0084] Пользователь может просматривать изображения группами, и соответствующие группы и описание каждой группы изображений демонстрируются при получении команды просмотра, направляемой пользователем. Кроме того, изображения в каждой группе и описания изображений могут демонстрироваться в режиме показа слайдов.

[0085] В данном варианте осуществления изображения описывают группами, демонстрируя сгруппированные изображения и их описание, благодаря чему пользователь может оперативно получать точную информацию о каждой группе изображений, и пользовательский опыт улучшается.

[0086] Далее раскрываются ваарианты осуществления устройства, представленного в настоящем изобретении, которое могут применять для реализации вариантов осуществления способа, представленного в настоящем изобретении.

[0087] Фиг. 6 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Данное устройство может быть реализовано как часть электронного устройства или как целое электронное устройство с использованием программного обеспечения, аппаратного обеспечения или и программного и аппаратного обеспечения. Как показано на Фиг. 6, устройство обработки изображений содержит:

распознающий модуль 61, выполненный с возможностью распознавания лица на изображении пользователя.

[0088] Например, распознающий модуль 61 может использовать способы, основанные на выделении геометрических признаков, матричные способы и способы, основанные на использовании модели. Среди них матричные способы можно классифицировать на способы, основанные на корреляционном распознавании, способы собственных лиц, способы линейного дискриминантного анализа, способы разложения по сингулярным числам матрицы, способы нейросетей, способы сопоставления динамических связей и т.п. Способы, основанные на использовании модели, включают в себя способы, основанные на скрытой Марковской модели, активной модели формы и активной наглядной модели и т.д.

[0089] Определяющий модуль 62 выполнен с возможностью определения информации о личности, соответствующей лицу, распознанному распознающим модулем 61; при этом информация о личности содержит по крайней мере однозначный идентификатор человека в соответствии с лицом и отношения между этим человеком и пользователем.

[0090] Идентификатор человека может представлять собой идентификатор, определяющий личность человека, например, имя, сетевой аккаунт, ник, кодовое имя человека и т.д. Отношения между человеком и пользователем могут подразумевать семейные отношения, родство, отношения одноклассников, отношения коллег, отношения друзей и т.д.

[0091] Запрашивающий модуль 63 выполнен с возможностью получения информации о съемке, содержащей по крайней мере один из аспектов: время съемки и место съемки.

[0092] Информацию о съемке изображения могут получать из заменяемого файла образа (сокращенно - ЗФО) изображения. ЗФО содержит метаданные, специально сформированные для фотографий цифровой камеры и содержащие по крайней мере следующие типы информации о записи цифровых фотографий:

время съемки, фотооборудование (например, основной блок оборудования, линзы, фотовспышка и т.д.), параметры съемки (например, выдержка затвора, апертурное число объектива, скорость ISO, фокусное расстояние, режим измерения экспозиции и т.д.), параметры обработки изображения (например, резкость, контраст, цветовая насыщенность, баланс белого и т.д.), описание изображения и информация об авторском праве, место съемки (например, данные системы глобального позиционирования (GPS) и т.д.), уменьшенное изображение и т.д.

[0093] Первый формирующий модуль 64 выполнен с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем 62 и информацией о съемке, полученной запрашивающим модулем 63.

[0094] Например, распознающий модуль 61 распознает лицо(а) на изображении, определяющий модуль 62 определяет, что лица на изображении являются лицами родителей пользователя, а информация об изображении, полученная запрашивающим модулем 63, содержит время съемки - 1 октября 2015 г. - и место съемки - Тяньанымэнь. Тогда первый формирующий модуль 64 может использовать абстрактную формирующую технологию из технологий обработки естественного языка для формирования следующего описания изображения: "с родителями на Тяньанымэнь 1 октября 2015 г.", "поездка в Пекин с родителями 1 октября 2015 г." и т.д.

[0095] В данном варианте осуществления распознающий модуль 61 распознает лицо(а) на изображении, а первый формирующий модуль 64 формирует описание изображения в соответствии с информацией о личности, соответствующей лицу(ам), определенными определяющим модулем 62, и информацией о съемке изображения, полученной запрашивающим модулем 63, таким образом, формируют более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[0096] В другом варианте осуществления изобретения информацию о личности, соответствующей распознанному лицу, могут получать с использованием одного из следующих вариантов реализации.

[0097] I. Информацию о личности, соответствующей лицу, получают с использованием заданной базы личных данных

[0098] Фиг. 7 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 7, определяющий модуль 62 содержит:

первый запрашивающий субмодуль 71, выполненный с возможностью получения заданной базы личных данных, содержащей данные о соответствующей связи между лицами и информацией о личности;

первый сравнивающий субмодуль 72, выполненный с возможностью сравнения лица, распознанного распознающим модулем 61, с лицами в заданной базе личных данных, полученной первым запрашивающим субмодулем 71, для поиска лица в заданной базе личных данных, соответствующего распознанному лицу;

второй запрашивающий субмодуль 73, выполненный с возможностью определения информации о личности, соответствующей лицу в заданной базе личных данных, соответствующему распознанному лицу.

[0099] Пользователь может заранее установить заданную базу личных данных. Например, заданную базу личных данных формируют, получая фотографии лиц членов семьи и указывая идентификатор или семейные отношения, соответствующие фотографии лица каждого члена семьи. Дополнительно или вместо этого в заданную базу личных данных могут добавлять одноклассников, друзей, коллег и т.п.

[00100] II. Информацию о личности, соответствующей лицу, получают с использованием контактной информации пользователя

[00101] Фиг. 8 представляет собой блок-схему, иллюстрирующую определяющий модуль в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 8, определяющий модуль 62 содержит:

третий запрашивающий субмодуль 81, выполненный с возможностью получения контактной информации пользователя, содержащей головные портреты и информацию о личности контактных лиц;

второй сравнивающий субмодуль 82, выполненный с возможностью сравнения лица, распознанного распознающим модулем, с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу;

четвертый запрашивающий субмодуль 83, выполненный с возможностью определения информации о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[00102] Таким образом, информацию о личности, соответствующей лицу на изображении, могут получать с использованием головных портретов контактных лиц из списка контактов.

[00103] В данном варианте осуществления эти два варианта реализации могут также объединять, то есть получают информацию о личности, соответствующей лицу на изображении, в соответствии как с заданной базой личных данных, так и с контактной информацией из списка контактов.

[00104] В данном варианте осуществления могут получать точную информацию о личности людей на изображении путем определения информации о личности, соответствующей лицу, с использованием одного из указанных выше вариантов реализации или их комбинации, таким образом, в соответствии с информацией о личности могут затем сформировать более точное описание изображения, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[00105] В другом варианте осуществления изобретения для формирования более точного описания изображения могут дополнительно получать другую информацию об изображении (например, информацию о съемке, информацию о других объектах, помимо лиц на изображении и т.д.).

[00106] Фиг. 9 представляет собой блок-схему, иллюстрирующую первый формирующий модуль в соответствии с примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 9, в некоторых случаях первый формирующий модуль 64 содержит:

распознающий субмодуль 91, выполненный с возможностью распознавания объекта на изображении для определения наименования такого объекта. Для распознавания объекта(ов), присутствующего(их) на изображении, могут использовать такие алгоритмы как R-CNN и fast-CNN. Например, сначала выделяют возможные подходящие участки на изображении, а затем к объектам, изображенным на выделенных участках, применяют классификацию СНС.

[00107] Формирующий субмодуль 92 выполнен с возможностью формирования описания изображения в соответствии с информацией о личности, определенной определяющим модулем 62, информацией о съемке, полученной запрашивающим модулем 63, и наименованием объекта, распознанного распознающим субмодулем 91.

[00108] Например, если время съемки изображения - 1 октября 2015 г., место съемки - площадь Тяньанымэнь, лица на изображении - лица родителей пользователя, а распознанные объекты, представленные на изображении, включают цветы, национальный флаг и т.п., то сформированное описание может быть таким: "на церемонии поднятия флага с родителями на площади Тяньанымэнь 1 октября 2015 г."

[00109] Кроме того, помимо информации о личности, информации о съемке и наименования объекта, при автоматическом описании изображения могут принимать во внимание другую информацию (например, информацию о погоде в день, когда было сделано изображение, событие, происходящее во время и в месте съемки и т.д.)

[00110] В данном варианте осуществления описание формируют в соответствии с разными типами соответствующей информации об изображении, делая описание, таким образом, более точным, способность к автоматическому описанию изображения улучшается и приближается к способности описания изображения человеком, пользователь может оперативно получать точную информацию о каждом изображении, и пользовательский опыт улучшается.

[00111] В другом варианте осуществления изобретения изображения могут группировать и формировать общее описание для каждой группы изображений. Фиг. 10 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 10, устройство дополнительно содержит:

группирующий модуль 65, выполненный с возможностью группировки изображений пользователя;

второй формирующий модуль 66, выполненный с возможностью формирования описания каждой группы изображений в соответствии с описанием каждого изображения в группе, сформированным первым формирующим модулем 63.

[00112] В другом варианте осуществления изобретения группирующий модуль 65 выполнен с возможностью группировки изображений по крайней мере по одному из следующих признаков: время съемки и место съемки изображений, определенные запрашивающим модулем 63, и лица на изображениях, распознанные распознающим модулем 61.

[00113] Например, пользователь может сгруппировать фотографии, снятые 1 октября 2015 г., в одну группу, фотографии, снятые на площади Тяньанымэнь, в одну группу, все фотографии, на которых изображены лица родителей пользователя, в одну группу, фотографии, снятые на площади Тяньанымэнь 1 октября 2015 г., в одну группу, фотографии, на которых изображены лица родителей пользователя, снятые 1 октября 2015 г., одну группу, фотографии, на которых изображены лица родителей пользователя, снятые на площади Тяньанымэнь, в одну группу, или фотографии, на которых изображены лица родителей пользователя, снятые на площади Тяньанымэнь 1 октября 2015 г., в одну группу.

[00114] Фотографии, снятые в одной и той же обстановке, могут точно разделять, группируя эти фотографии на основании такой информации, как информация о съемке фотографий и лица на фотографиях, обеспечивая, таким образом, последующее точное автоматическое описание каждой группы фотографий.

[00115] Фиг. 11 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с другим примерным вариантом осуществления настоящего изобретения. Как показано на Фиг. 11, устройство дополнительно содержит:

демонстрационный модуль 67, выполненный с возможностью демонстрации групп и описаний каждой группы изображений, сформированных вторым формирующим модулем, при получении команды просмотра, направляемой пользователем.

[00116] В некоторых случаях демонстрационный модуль 67 выполнен с возможностью демонстрации изображений в каждой группе и описаний изображений, сформированных первым формирующим модулем, в режиме показа слайдов.

[00117] Пользователь может просматривать изображения группами, и соответствующие группы и описания каждой группы изображений демонстрируются при получении команды просмотра, направляемой пользователем. Кроме того, изображения в каждой группе и описания изображений могут демонстрироваться в режиме показа слайдов.

[00118] В данном варианте осуществления изображения описывают группами, демонстрируя сгруппированные изображения и их описание, благодаря чему пользователь может оперативно получать точную информацию о каждой группе изображений, и пользовательский опыт улучшается.

[00119] В данном раскрытии также предлагается устройство для обработки изображений, содержащее:

процессор;

память, выполненную с возможностью хранения команд, исполняемых процессором,

при этом процессор выполнен с возможностью:

распознавания лица на изображении пользователя;

получения информации о личности, соответствующей распознанному лицу, содержащей по крайней мере однозначный идентификатор человека, соответствующего лицу, и отношения между человеком, соответствующим лицу, и пользователем;

получения информации о съемке изображения, где информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения; и

формирования описания изображения в соответствии с информацией о личности и информацией о съемке.

[00120] Фиг. 12 представляет собой блок-схему, иллюстрирующую устройство 1700 обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения, применимое к терминальному устройству. Например, устройством 1700 может быть камера, звукозаписывающее устройство, мобильный телефон, компьютер, цифровой передающий терминал, устройство рассылки сообщений, игровая консоль, планшетный компьютер, медицинское устройство, тренировочное оборудование, карманный персональный компьютер и т.п.

[00121] В соответствии с Фиг. 12 устройство 1700 может включать в себя один или несколько следующих компонентов: обрабатывающий компонент 1702, память 1704, питающий компонент 1706, мультимедийный компонент 1708, аудио компонент 1710, интерфейс 1712 ввода-вывода, сенсорный компонент 1714 и коммуникационный компонент 1716.

[00122] Обрабатывающий компонент 1702 обычно осуществляет общее управление всеми операциями устройства 1700, например, операциями, связанными с демонстрациям, телефонными вызовами, передачей данных, функционированием камеры, операциями записи. Обрабатывающий компонент 1702 может включать в себя один или несколько процессоров 1720 для исполнения команд для выполнения всех или некоторых этапов указанных способов. Кроме того, обрабатывающий компонент 1702 может включать в себя один или несколько модулей, способствующих взаимодействию между обрабатывающим компонентом 1702 и другими компонентами. Например, обрабатывающий компонент 1702 может включать в себя мультимедийный модуль, способствующий взаимодействию между мультимедийным компонентом 1708 и обрабатывающим компонентом 1702.

[00123] Память 1704 выполнена с возможностью хранения различных типов данных для поддержки операций устройства 1700. В число примеров таких данных входят команды любых прикладных программ или способов, выполняемых на устройстве 1700, контактные данные, данные телефонной книги, сообщения, изображения, видеоматериалы и т.д. Память 1704 может быть реализована с использованием любого типа энергозависимого или энергонезависимого запоминающего устройства или их сочетания, например, с использованием статического запоминающего устройства с произвольным доступом (Static Random Access Memory, SRAM), электрически стираемого программируемого постоянного запоминающего устройства (Electrically Erasable Programmable Read-Only Memory, EEPROM), стираемого программируемого постоянного запоминающего устройства (Erasable Programmable Read-Only Memory, EPROM), программируемого постоянного запоминающего устройства (Programmable Read-Only Memory, PROM), постоянного запоминающего устройства (Read-Only Memory, ROM), магнитной памяти, флэш-памяти, магнитного или оптического диска.

[00124] Питающий компонент 1706 обеспечивает питанием различные компоненты устройства 1700. Питающий компонент 1706 может содержать систему управления питанием, один или более источников питания и любые другие компоненты, имеющие отношение к генерированию питания, управлению питанием и распределению питания в устройстве 1700.

[00125] Мультимедийный компонент 1708 содержит экран, обеспечивающий выходной интерфейс между устройством 1700 и пользователем. В некоторых вариантах осуществления изобретения экран может содержать жидкокристаллический дисплей (ЖКД) и сенсорную панель (СП). Если экран содержит сенсорную панель, то данный экран может быть реализован как сенсорный экран, выполненный с возможностью приема сигналов ввода от пользователя. Сенсорная панель содержит один или более сенсорных датчиков, выполненных с возможностью восприятия прикосновений, передвижений и жестов на сенсорной панели. Сенсорные датчики могут воспринимать не только границу области прикосновения или передвижения, но также и длительность и давление, имеющие отношение к данному прикосновению или передвижению. В некоторых вариантах осуществления изобретения мультимедийный компонент 1708 содержит переднюю камеру и/или заднюю камеру. Передняя камера и/или задняя камера может принимать внешние мультимедийные данные, когда устройство 1700 находится в рабочем режиме, например, в режиме фото- или видеосъемки. И передняя камера, и задняя камера может быть системой с ненастраиваемым объективом или может иметь техническую возможность фокусировки и оптической трансфокации (зума).

[00126] Аудио компонент 1710 выполнен с возможностью приема и/или вывода аудиосигналов. Например, аудио компонент 1710 содержит микрофон, выполненный с возможностью приема внешнего аудиосигнала, когда устройство 1700 находится в рабочем режиме, например, в режиме разговора, режиме записи и режиме распознавания голоса. Принятый аудиосигнал может быть затем сохранен в памяти 1704 или передан через коммуникационный компонент 1716. В некоторых вариантах осуществления изобретения аудио компонент 1710 дополнительно содержит динамик, выполненный с возможностью выдачи аудиосигналов.

[00127] Интерфейс 1712 ввода/вывода обеспечивает интерфейс между обрабатывающим компонентом 1702 и периферийным интерфейсным модулем, например, клавиатурой, чувствительным к нажатию колесиком, кнопками и т.п. В число указанных кнопок могут входить кнопка возврата в исходное состояние, кнопка регулировки громкости, кнопка запуска и кнопка блокировки, но приведенный перечень не накладывает никаких ограничений.

[00128] Сенсорный компонент 1714 содержит один или более датчиков для получения информации о состоянии различных аспектов устройства 1700. Например, сенсорный компонент 1714 может обнаруживать открытое/закрытое состояние устройства 1700, относительное положение компонентов устройства 1700, к примеру, дисплея и клавиатуры, изменение положение устройства 1700 или компонента устройства 1700, присутствие или отсутствие контакта пользователя с устройством 1700, ориентацию или ускорение/замедление устройства 1700 и изменение температуры устройства 1700. Сенсорный компонент 1714 может содержать датчик приближения, выполненный с возможностью обнаружения присутствия близко расположенных объектов без какого-либо физического контакта. Сенсорный компонент 1714 также может содержать светочувствительный датчик, например, датчик изображения типа CMOS или CCD для использования в прикладных программах для получения изображений. В некоторых вариантах осуществления изобретения сенсорный компонент 1714 также может содержать датчик ускорения, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.

[00129] Коммуникационный компонент 1716 выполнен с возможностью осуществления проводной или беспроводной связи между устройством 1700 и другими устройствами. Устройство 1700 может осуществлять доступ к беспроводной сети с использованием какого-либо стандарта связи, например, WiFi, 2G, 3G или их сочетания. В примерном варианте осуществления связной компонент 1716 принимает широковещательный сигнал или соответствующую широковещательно передаваемую информацию из внешней системы управления передачей через широковещательный канал. В примерном варианте осуществления связной компонент 1716 дополнительно содержит модуль ближней связи (Near Field Communication, NFC) для осуществления связи на небольших расстояниях. Например, модуль NFC может быть реализован с использованием технологии радиочастотной идентификации (Radio Frequency Identification, RFID), инфракрасной передачи данных (Infrared Data Association, IrDA), сверхширокополосной технологии (Ultra Wideband, UWB), технологии Bluetooth (ВТ) и других технологий.

[00130] В примерных вариантах осуществления изобретения устройство 1700 для реализации вышеописанных способов может быть реализовано с использованием одной или нескольких специализированных интегральных схем (Application Specific Integrated Circuit, ASIC), цифровых сигнальный процессоров (Digital Signal Processor, DSP), цифровых устройств обработки сигнала (Digital Signal Processing Device, DSPD), программируемых логических устройств (Programmable Logic Devices, PLD), программируемых матриц логических элементов (Field Programmable Gate Array, FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных компонентов.

[00131] В примерных вариантах осуществления изобретения также предусмотрен долговременный машиночитаемый носитель информации, содержащий команды, например, содержащиеся в памяти 1704, которые могут быть выполнены процессором 1720 устройства 1700 с целью реализации вышеописанных способов. Например, энергонезависимым машиночитаемым носителем информации может быть ROM, RAM, CD-ROM, магнитная лента, гибкий диск, оптическое запоминающее устройство и т.п.

[00132] Фиг. 13 представляет собой блок-схему, иллюстрирующую устройство обработки изображений в соответствии с примерным вариантом осуществления настоящего изобретения. Например, устройством 1900 может быть сервер. Устройство 1900 содержит обрабатывающий компонент 1922, который, в свою очередь, содержит один или более процессоров, и ресурсы памяти, представленные памятью 1932, для хранения команд (например, приложений), выполняемых обрабатывающим компонентом 1922. Приложения, сохраненные в памяти 1932, могут содержать один или более модулей, каждый из которых соответствует группе команд. Кроме того, обрабатывающий компонент 1922 выполнен с возможностью выполнения команд для реализации вышеописанных способов.

[00133] Устройство 1900 также может содержать питающий компонент 1926, выполненный с возможностью управления питанием устройства 1900; проводной или беспроводной сетевой интерфейс 1950, выполненный с возможностью подключения устройства 1900 к сети; и интерфейс 1958 ввода/вывода. Устройство 1900 может функционировать с использованием операционной системы, сохраненной в памяти 1932 (например, Windows Server™, Mac OS X™, Unix™, Linux™, FreeBSD™ и т.п).

[00134] Также предлагается энергонезависимый машиночитаемый накопитель, включая команды, которые, при их исполнении процессором устройства 1700 или 1900, обеспечивают реализацией устройством 1700 или 1900 вышеописанного способа обработки изображений. Данный способ содержит следующие этапы:

распознают лицо на изображении пользователя;

получают информацию о личности, соответствующей распознанному лицу, содержащую по крайней мере однозначный идентификатор человека, соответствующего данному лицу, и отношения между человеком, соответствующим лицу, и пользователем;

получают информацию о съемке изображения, где информация о съемке содержит по крайней мере один из аспектов: время съемки и место съемки изображения; и

формируют описание изображения в соответствии с информацией о личности и информацией о съемке.

[00135] В некоторых случаях получение информации о личности в соответствии с распознанным лицом содержит следующие этапы:

получают заданную базу личных данных, содержащую соответствующие связи между лицами и информацией о личности;

сравнивают распознанное лицо с лицами из заданной базы личных данных для поиска лица в заданной базе личных данных, соответствующего распознанному лицу; и

получают информацию о личности, соответствующей распознанному лицу из заданной базы личных данных, соответствующему распознанному лицу.

[00136] В некоторых случаях получение информации о личности, соответствующей распознанному лицу, содержит следующие этапы:

получают контактную информацию пользователя, содержащую головные портреты и информацию о личности контактных лиц;

сравнивают распознанное лицо с головными портретами контактных лиц для поиска головного портрета контактного лица, соответствующего распознанному лицу; и

получают информацию о личности, соответствующей головному портрету контактного лица, соответствующему распознанному лицу.

[00137] В некоторых случаях формирование описания изображения в соответствии с информацией о личности и информацией о съемке содержит следующие этапы:

распознают объект на изображении для определения наименования этого объекта; и

формируют описание изображения в соответствии с информацией о личности, информацией о съемке и наименованием объекта.

[00138] В некоторых случаях указанный способ дополнительно содержит следующие этапы:

группируют изображения пользователя; и

формируют описание каждой группы изображений в соответствии с описанием каждого изображения в группе.

[00139] В некоторых случаях группировка изображений пользователя содержит следующие этапы:

группируют изображения по крайней мере по одному из следующих признаков: время съемки, место съемки и лиц на изображениях.

[00140] В некоторых случаях указанный способ дополнительно содержит следующие этапы:

демонстрируют группы и описание каждой группы изображений при получении команды просмотра, направляемой пользователем.

[00141] В некоторых случаях демонстрация групп и описаний каждой группы изображений дополнительно содержит следующие этапы:

демонстрируют изображения в каждой группе в режиме показа слайдов.

[00142] Другие варианты осуществления настоящего изобретения должны быть очевидны специалисту в данной области техники из рассмотрения настоящего описания и практического использования раскрытого здесь изобретения. Настоящая заявка подразумевает охват всех разновидностей, использований или адаптаций настоящего изобретения, следующих из его общих принципов, и включает такие отклонения от настоящего изобретения, полагая их находящимися в известной или общепринятой практике в данной области техники. Настоящее описание и варианты осуществления изобретения следует рассматривать лишь в качестве примера, а фактический объем и сущность изобретения ограничиваются только прилагаемой формулой изобретения.

[00143] Следует понимать, что настоящее изобретение не ограничено точной структурой, описанной выше и показанной на чертежах, а без выхода за пределы своего объема может иметь разнообразные модификации и изменения. Объем изобретения ограничен только прилагаемой формулой изобретения.