СОЗДАНИЕ И РАСПРОСТРАНЕНИЕ АННОТИРОВАННОЙ ИНФОРМАЦИИ

Предшествующий уровень техники

Компьютеры, смартфоны и другие типы устройств используются, чтобы выполнять различные типы действий. Некоторые из этих действий включают в себя инициирование поисков, сбор и организацию информации и отправку и прием сообщений. Дополнительно многие устройства являются многофункциональными устройствами, например смартфон может функционировать как устройство передачи речи и данных и как камера. Возрастающее количество функций, которые могут быть реализованы на одном устройстве, и возрастающая доступность возможности соединения с этими устройствами позволяет людям выполнять много разных функций с использованием одного устройства. Например, в прошлом отправка фотографии в социальную сеть включала в себя производство фотографии с помощью камеры и затем загрузку ее в социальную сеть с использованием компьютера. Теперь человек может делать фотоизображение на смартфоне и затем может посылать фотоизображение в его учетную запись социальной сети из телефона.

В то время как люди часто выполняют последовательность действий, которые связаны друг с другом (например, выполнение поиска на смартфоне и затем отправка по электронной почте других результатов поиска), платформы, на которых люди выполняют эти связанные действия, часто трактуют действия как являющиеся отдельными. Человек может сделать фотографию, выполнить поиск изображений, относящихся к фотографии, и послать в социальную сеть сообщение о фотографии, - все из смартфона. Однако человек, который выполняет эти действия, обычно рассматривает разные действия как отдельные события, часто включающие в себя отдельные части программного обеспечения. Частью причины, по которой эти действия рассматриваются как отдельные, является то, что локальная и удаленная программная инфраструктура не поддерживает связывание этих действий вместе. Разные действия могут быть частью одиночного потока данных. Например, поиск ресторана и затем запись сообщения (поста) социальной сети о ресторане являются частью одиночной последовательности действий, касающихся одиночного понятия (т.е. ресторана). Но программное обеспечение, которое используется, чтобы выполнять эти разные действия, часто терпит неудачу в поддержке взаимосвязи между этими действиями.

Сущность изобретения

Создание, аннотирование и распространение информации может выполняться как часть объединенной обработки. Такая обработка может обеспечивать поток информации в качестве социальных мультимедийных данных.

Выполнение обработки, чтобы создавать, аннотировать и распространять данные, может начинаться с создания документа. Документ может составлять любой тип информации, такой как текст, изображения, звук и т.д. Например, запрос из двух или трех слов может быть маленьким текстовым документом. Или цифровая фотография может быть документом изображения. Как только такой документ создается, он может посылаться в службу реагирования, которая реагирует на документ некоторым способом. Например, служба реагирования может пытаться обеспечить информацию, относящуюся к документу. Поисковая машина, которая реагирует на запрос, может быть одним аспектом службы реагирования. Однако служба реагирования может выполнять другие типы действий. Например, служба реагирования может реагировать на фотографию посредством попытки идентифицировать человека или объект на фотографии. Или служба реагирования может реагировать на запись звука посредством попытки определить, является ли запись записью известной песни. Как только служба реагирования реагирует на документ, она обеспечивает информацию в ответ.

Информация, которая обеспечивается в ответ на документ, может рассматриваться как аннотации к документу. Например, если кто-то вводит текстовый запрос, такой как "Марокканская пища", любые результаты поиска (например, названия, адреса и унифицированные указатели ресурса ("URL") одного или более марокканских ресторанов) могут рассматриваться как аннотации к запросу. Или если документ является изображением статуи, то служба реагирования может идентифицировать статую, показанную на изображении, так что название статуи может быть аннотацией. Документ и его аннотации могут формировать часть аннотированного документа.

Пользователь может использовать аннотированный документ различными способами. Например, пользователь может решить прикрепить некоторые из аннотаций к документу как метаданные. Таким образом, если пользователь делает фотографию знаменитой статуи, служба реагирования может предоставлять название статуи. Это название может затем становиться частью метаданных для фотографии. Дополнительно пользователь может решить распространять документ и/или некоторые или все из его аннотаций некоторым способом. Например, как только фотография, упомянутая выше, аннотируется названием статуи на фотографии, эта фотография и ее аннотация могут посылаться в онлайновый фотоальбом. Или пользователь может делать фотографию и ее аннотацию частью сообщения состояния в социальной сети. Программное обеспечение на устройстве пользователя может обеспечивать обработку получения реакции на документ, определение того, какие аннотации ассоциировать с документом, и распространение документа в другие места.

В одном примере процесс создания документа и получения реакции на этот документ осуществляется на мобильном устройстве, таком как смартфон или наладонный компьютер. Программное обеспечение, установленное на мобильном устройстве, может помогать пользователю получать реакцию на данные, которые были созданы на устройстве. Например, провайдер службы реагирования может обеспечивать приложение, которое может устанавливаться на телефоне. Если пользователь делает фотографию, приложение может обеспечивать кнопку на экране, которую пользователь может нажимать, чтобы посылать фотографию в службу реагирования и чтобы получать аннотации к фотографии от службы реагирования. Приложение может обеспечивать аналогичные возможности для текста, звука или любого другого типа информации. Более того, приложение может обеспечивать обработку по распространению или передаче документа и его аннотаций. Например, приложение может создавать наброски сообщений социальной сети или электронных писем для одобрения пользователем. Или приложение может посылать аннотированные фотографии в онлайновые фотоальбомы. В этом смысле приложение может обеспечивать создание социальных мультимедийных данных с использованием как информации, которая захватывается на устройстве пользователя (документ), так и информации, которая обеспечивается удаленной службой (аннотации).

Этот раздел «Сущность изобретения» обеспечивается для введения подборки понятий в упрощенной форме, которые дополнительно описываются ниже в разделе «Подробное описание». Этот раздел «Сущность изобретения» не предназначен, чтобы идентифицировать ключевые признаки или существенные признаки заявленного изобретения, и также не предназначен, чтобы использоваться для ограничения объема заявленного изобретения.

Краткое описание чертежей

Фиг.1 является блок-схемой иллюстративного сценария, в котором устройство может собирать информацию и в котором служба реагирования может реагировать на информацию.

Фиг.2 является блок-схемой некоторых иллюстративных деталей документов, аннотаций и того, как аннотированные документы могут использоваться.

Фиг.3 является диаграммой последовательности операций иллюстративной обработки, в которой документы могут создаваться, аннотироваться и/или распространяться.

Фиг.4-6 являются блок-схемами иллюстративных сценариев, в которых социальные мультимедийные данные могут создаваться на устройстве.

Фиг.7 является блок-схемой иллюстративных компонентов, которые могут использоваться в сочетании с вариантами осуществления изобретения, описанными здесь.

Подробное описание

Компьютеры и другие устройства часто используются, чтобы выполнять действия, такие как инициирование поисков, сбор и организация информации и отправка и прием сообщений. Люди печатают запросы в поисковых машинах, чтобы запрашивать информацию. Они делают фотоизображения с помощью смартфона или загружают фотоизображения в их компьютеры из изолированных камер. Они захватывают и передают аудиоинформацию с помощью микрофонов. Они посылают электронные письма, посылают информацию в блоги или социальные сети и посылают фотографии в сайты совместного использования фотографий. Обычно эти действия рассматриваются как являющиеся концептуально отдельными. Многие люди рассматривают выполнение поиска как являющееся полностью отдельным действием от отправки в социальную сеть, или производства фотоизображения, или записи звука. В некоторых случаях эти представления отражаются в, или усиливаются посредством, использования разных устройств для выполнения действий. Например, человек может использовать свой настольный компьютер, чтобы организовывать альбомы фотографий, загруженных из изолированной камеры. Это тот же человек может использовать браузер на смартфоне, чтобы посещать поисковую машину для нахождения информации об объекте, который появляется на одной из фотографий.

Однако тенденции в вычислительной технике предлагают способы для объединения многих из действий, которые люди выполняют на их устройствах. Одна тенденция состоит в том, что малые устройства имеют больше возможностей, чем они имели в прошлом. Они продолжают получать больше возможностей, и возможность соединения этих устройств продолжает улучшаться. Беспроводные телефоны и музыкальные проигрыватели часто имеют камеры, большие количества памяти и хранения и достаточную мощность обработки, чтобы исполнять значительные операционные системы и приложения. Соединение между этими устройствами и остальным миром является более быстрым и более дешевым, чем оно было в прошлом. Сотовые сети теперь поддерживают высокоскоростную передачу данных, и многие устройства могут переключаться между сотовой связью и более быстрыми и более дешевыми сетями WiFi, когда сети WiFi являются доступными. Многие устройства имеют камеры, качество которых конкурирует с качеством автономных камер. По этим причинам беспроводные телефоны и другие малые устройства могут становиться главным типом устройств, которые люди используют для захвата информации и взаимодействия с миром.

Если малые устройства являются фокусной точкой для пользователей, чтобы взаимодействовать с миром, этот факт подсказывает новые парадигмы того, как рассматривать информацию, и новые системы и способы, которые могут строиться вокруг этих парадигм. В одном примере становится удобным думать о любой информации, которая может захватываться на устройстве, как о типе документа, на который может вырабатываться реакция посредством удаленной службы. Более того, становится удобным думать о самой реакции как о типе аннотации к документу. Эти документы и их аннотации могут рассматриваться как форма социальных мультимедийных данных. Эти социальные мультимедийные данные могут ассоциироваться с пользователями, которые создают их, и могут передаваться другим, таким же способом, как другие социальные мультимедийные данные.

Например, текстовый запрос для поисковой машины может рассматриваться как маленький документ (возможно документ из двух или трех слов), процесс генерирования результатов поиска может рассматриваться как реакция на этот документ, и сами результаты могут рассматриваться как аннотации к этому документу. Этот набор аналогий просто прикрепляет ярлыки к действиям, которые выполняются в ходе выполнения поиска. Но эти аналогии подсказывают способы для использования информации, которая содержится в поиске, также как информации об обстоятельствах, окружающих поиск. Например, если человек ищет "Марокканская пища" на его мобильном телефоне в шесть вечера из деловой части города Сиэтла (как определяется посредством часов телефона и технологии определения местоположения), то может делаться заключение, что человек хочет пообедать в марокканском ресторане в Сиэтле. Факт, что поиск имеет место и его результаты, может упаковываться как сообщение социальной сети. Например, в дополнение к возврату результата, такого как "Марракешский Ресторан", этот результат может также упаковываться в форме сообщения, такого как "Тим ест в Марракешском Ресторане в Сиэтле", которое может посылаться в социальную сеть, размещаться в онлайновом дневнике ресторанов, в которых Тим ел, или может использоваться любым другим способом. Другими словами, факт, что Тим ищет марокканский ресторан в Сиэтле, комбинируется с некоторой другой информацией, которая приходит из удаленной службы реагирования (которая может располагаться в "облаке"), и эта скомбинированная информация может распространяться, полностью или частично, как часть социальных мультимедийных данных.

В дополнение к поискам другие типы взаимодействий с малым устройством могут использоваться способами, аналогичными тем, что описаны выше. Например, пользователь может использовать камеру на смартфоне, чтобы делать фотографию. Сама фотография, вместе с информацией, касающейся того, где и когда фотография была сделана, может посылаться в службу реагирования. Пользователь может посылать фотографию как тип запроса, в котором пользователь запрашивает службу реагирования идентифицировать объект на фотографии, или программное обеспечение на устройстве может быть сконфигурированным с возможностью запрашивать службу реагирования обеспечивать любую информацию, какую она может, всякий раз, когда какие-либо данные захватываются посредством устройства. Служба реагирования может затем реагировать на изображение и другую информацию посредством идентификации объекта на фотографии. (Например, служба может отвечать посредством изречения: "Это является фотоизображением Фримонтского тролля в Сиэтле", что служба может определить на основе местоположения, в котором фотография была сделана, и посредством сравнения захваченного изображения с другими фотоизображениями Фримонтского тролля.) В этом смысле фотография является документом, и идентификация объекта на фотографии является аннотацией (или частью аннотации) к фотографии. Фотография, ее аннотация (аннотации) и/или информация на основе аннотаций может затем распространяться и/или сохраняться. Например, фотография и аннотация, идентифицирующая фотографию, могут посылаться в онлайновую службу совместного использования фотографий для хранения в одном из фотоальбомов пользователя. Или электронное письмо или сообщение социальной сети, касающееся телефона (например, "Тим находится в Сиэтле и нашел Фримонтского тролля"), может создаваться и посылаться через соответствующие каналы связи.

Один способ, чтобы осуществлять предшествующие сценарии, состоит в том, чтобы устанавливать тип клиентского программного обеспечения на устройство, которое обеспечивает возможность пользователям запрашивать реакцию на любой тип ввода. Например, поставщик информационных услуг может обрабатывать тип службы, которая хранит базу данных индексированной информации, где служба может использовать информацию в базе данных, чтобы реагировать на различные типы ввода. Служба может исполнять программы стороны сервера, которые принимают часть ввода и которые обращаются к базе данных, чтобы определять, что является известным о вводе. Поисковая машина является ограниченным примером этого типа службы в смысле, что поисковые машины содержат текстовые индексы для текстовых данных, данных изображения, видеоданных и т.д., которые могут использоваться, чтобы реагировать на текстовые запросы. Однако более общая служба реагирования может брать произвольную часть данных (например, текст, изображение, видео, аудио и т.д.) и может оценивать данные любым соответствующим способом, чтобы определять, что является известным о данных. Служба реагирования может затем обеспечивать свою реакцию. Поставщик услуг информации, который обеспечивает этот тип службы, может обеспечивать клиентское приложение, подлежащее установке на мобильные телефоны и другие типы устройства. Когда пользователь собирает любую информацию на устройстве (посредством ли клавиатурного ввода, ввода камеры, ввода микрофона и т.д.), пользователь может вызывать клиентское приложение для этого ввода. Клиентское приложение может затем посылать ввод и возможно любую относящуюся информацию - такую как время, когда ввод был захвачен, или местоположение устройства во время, когда ввод был захвачен - в службу реагирования. Клиентское приложение может затем комбинировать исходный ввод и реакцию в аннотированный документ. Клиентское приложение может дополнительно обеспечивать сохранение и/или передачу исходного ввода и аннотаций, собранных извне устройства. Например, клиентское приложение может использоваться, чтобы сохранять фотографию в фотоальбоме или компоновать и посылать сообщение социальной сети, как в примерах, описанных выше.

Обращаясь теперь к чертежам, фиг.1 показывает иллюстративный сценарий, в котором устройство может собирать информацию и в котором служба реагирования может реагировать на информацию. В показанном сценарии устройство 102 используется, чтобы собирать информацию, такую как текст, изображения, аудио и т.д. Устройство 102 может быть беспроводным телефоном, музыкальным проигрывателем, видеопроигрывателем, наладонным компьютером или может быть устройством, которое реализует любую комбинацию этих функций. В одном примере устройство 102 является "смартфоном", который выполняет различные функции передачи речи и данных и который также исполняет различные типы программных приложений. Однако устройство 102 может быть любым типом устройства.

Устройство 102 может содержать различные типы компонентов. Некоторые из этих компонентов показаны на фиг.1. Экран 104 может отображать текст и изображения, некоторые могут также иметь функциональные возможности тактильного распознавания, чтобы обеспечивать возможность экрану 104 функционировать в качестве устройства ввода. Клавиатура 106, или некоторый другой тип механизма пользовательского ввода, может обеспечивать возможность пользователю вводить текст. Клавиатура 106 может осуществляться как кнопки на устройстве 102 или может быть реализована как "виртуальная клавиатура" на экране 104, если экран 104 обеспечивает функциональные возможности тактильного распознавания. Микрофон 108 захватывает аудиоинформацию. Камера 110 захватывает визуальную информацию и может использоваться, чтобы захватывать неподвижные и/или движущиеся изображения. Громкоговоритель 112 обеспечивает аудиовывод. Устройство 102 может иметь компоненты, которые обеспечивают ему возможность осуществлять связь с миром вне устройства 102. Например, устройство 102 может быть оснащено сотовым радиоустройством 116 и/или радиоустройством 114 WiFi. Сотовое радиоустройство 116 обеспечивает возможность устройству 102 осуществлять связь с сотовыми телефонными сетями. Радиоустройство WiFi обеспечивает возможность устройству 102 осуществлять связь с беспроводным маршрутизатором или беспроводной точкой доступа, которая может обеспечивать возможность устройству 102 осуществлять связь через сети, такие как сеть Интернет. Устройство 102 может иметь один тип радиоустройства, но не другой. Или в другом примере устройство 102 имеет оба типа радиоустройств (и возможно другие типы соединений передачи данных, такие как радио Bluetooth, порт Ethernet и т.д.), и может переключаться между разными типами передачи данных в зависимости от того, какие средства связи являются доступными.

Устройство 102 может осуществлять связь со службой 118 реагирования. Служба 118 реагирования, как описано выше, может принимать некоторый тип документа 120 (например, текст, изображения, аудио и т.д.), может пытаться определять, что является известным об этих данных, и может реагировать на эти данные посредством обеспечения некоторого типа аннотации 122 для данных. Например, служба 118 реагирования может обеспечивать машину 124 текстового поиска, которая идентифицирует текстовые документы, изображения, аудиофайлы и т.д., которые относятся некоторым образом к текстовому запросу. Служба 118 реагирования может обеспечивать средство 126 сравнения изображений, которое сравнивает входное изображение с известными изображениями, или средство 128 сравнения аудио, которое сравнивает входной звук с известными звуками. Служба 118 реагирования может содержать базу 130 данных, которая содержит индексы различных типов информации, чтобы обеспечивать возможность машине 124 текстового поиска, средству 126 сравнения изображений и средству 128 сравнения аудио реагировать на документ 120. Таким образом, в одном примере документ 120 содержит текстовый запрос, и аннотации, которые посылаются в качестве реакции на текстовый запрос, являются набором результатов поиска (например, текстовые документы, изображения, аудиофайлы и т.д., которые некоторым образом связаны с текстовым запросом). В других примерах документ 120 представляет изображение или звук и аннотации, которые посылаются в качестве реакции на документ, являются информацией об изображении или звуке, как, например, идентификация того, что или кто появляется показанным на изображении, либо название песни или другого исполнения, которое представляется источником происхождения звука. Это является некоторыми примерами данных, которые могут обеспечиваться в службу 118 реагирования. Однако, в общем, любой тип данных может обеспечиваться в службу 118 реагирования, и служба 118 реагирования может реагировать на эти данные любым способом.

Устройство 102 может иметь некоторые вычислительные функциональные возможности. Один тип вычислительных функциональных возможностей - это функциональная возможность получать и исполнять приложения. В примере по фиг.1 устройство 102 показано как исполняющее клиентское приложение 132. Клиентское приложение 132 является приложением, которое помогает пользователю устройства 102 использовать службу 118 реагирования. Документ 120 может захватываться на устройстве 102, где документ 120 может принимать любую форму (например, текст, изображения, аудио и т.д.). При приеме пользовательской инструкции клиентское приложение 132 может посылать документ 120 в службу 118 реагирования. Например, клиентское приложение 132 может обеспечивать пользовательский интерфейс 134, который содержит окно 136 поиска и кнопку 138 поиска (которая в этом примере показана посредством символа увеличительного стекла). Когда пользователь вводит текст в окно 136 поиска и нажимает кнопку 138 поиска, текст в окне 136 поиска становится документом 120, и клиентское приложение 132 посылает эти данные в службу 118 реагирования. В качестве другого примера, пользователь может использовать камеру 110 на устройстве 102, чтобы захватывать изображение 140 (которое в этом примере является изображением скульптуры "Овал с точками"). В этом случае устройство 102 может отображать захваченное изображение на экране 104. Клиентское приложение 132 может отображать кнопку 138 поиска с изображением, так что нажатие пользователем кнопки 138 поиска приводит к тому, что изображение 140 посылается в службу 118 реагирования. В этом случае изображение 140 становится документом 120.

В ответ на отправку документа 120 в службу 118 реагирования клиентское приложение 132 может принимать, от службы 118 реагирования, аннотацию 122 к документу 120. Как описано выше, аннотация 122 может являться набором результатов поиска, идентификацией изображения, идентификацией звука или любым другим соответствующим типом информации. Клиентское приложение 132 может представлять аннотацию 122 пользователю, но может также помогать пользователю предпринимать некоторое дополнительное действие в ответ на аннотацию. Например, клиентское приложение 132 может предлагать сообщение состояния социальной сети, которое связано с данными и/или их аннотацией (например, "Тим ест марокканскую пищу" или "Тим нашел статую Фримонтского тролля"). Или клиентское приложение 132 может компоновать электронное письмо, отправлять изображение на сайт совместного использования фотографий или обеспечивать ссылку для приобретения коммерчески доступной записи песни, которую служба 118 реагирования идентифицировала. Клиентское приложение 132 может также обеспечивать возможность пользователю просматривать аннотации и обеспечивать указание того, какие аннотации пользователь хочет ассоциировать с документом 120 в качестве метаданных.

Фиг.2 показывает некоторые иллюстративные детали документов, аннотаций и того, как аннотированные документы могут использоваться. Пользователь 202 может быть человеком, который носит устройство 102. Как отмечено выше, устройство 102 может быть беспроводным телефоном, музыкальным проигрывателем, наладонным компьютером и т.д. Более того, устройство 102 может иметь устройства ввода, такие как клавиатура 106, камера 110 и микрофон 108. С использованием одного или более из этих устройств ввода пользователь 202 может создавать документ 120, который может являться текстом, изображением, звуком или любой комбинацией этих или других компонентов. Как описано выше, является удобным думать о документе как охватывающем любой тип контента, на который может осуществляться реагирование некоторым способом. Таким образом, даже небольшое количество текста (например, поисковый запрос 204 из одного или двух слов) является документом. Неподвижное изображение 206, видео 208 или звуковая запись 210 являются другими примерами документов.

Устройство 102 может посылать документ 120 в службу 118 реагирования. Устройство 102 может использовать приложение (например, клиентское приложение 132, показанное на фиг.1), чтобы посылать документ 120 в службу 118 реагирования, но документ 120 может посылаться любым способом. Например, пользователь 202 может просто открывать браузер на устройстве 102 и посещать веб-сайт службы 118 реагирования, тем самым посылая документ 120 (например, поисковый запрос) в службу 118 реагирования через этот веб-интерфейс.

Служба 118 реагирования реагирует на документ 120 некоторым способом - например, посредством выполнения поиска, идентификации изображения или аудиоклипа и т.д. - и генерирует аннотацию 122 на основе этой реакции. Например, если реакция является выполнением поиска, то аннотация 122 может содержать один или более результатов поиска. Или если реакция является идентификацией изображения, то аннотация 122 может быть текстовой строкой, которая идентифицирует объект или человека в изображении.

Когда аннотации возвращаются в устройство 102, может вырабатываться аннотированный документ 212. Аннотированный документ 212 может генерироваться посредством клиентского приложения (например, клиентского приложения 132, показанного на фиг.1), но может вырабатываться посредством любого компонента (компонентов). Аннотированный документ 212 может содержать исходный документ 120 и аннотацию 122. Аннотации могут содержать, например, набор результатов поиска (этап 214), идентификацию изображения или звука (этап 216) или некоторый другой тип реакции (этап 218).

После того как аннотированный документ 212 создан, по отношению к этому аннотированному документу могут выполняться различные действия. В одном примере аннотированный документ (или часть аннотированного документа, или некоторые из аннотаций) может распространяться (этап 220) в места, отличающиеся от местоположения устройства 102. С использованием вышеописанного примера пользователя, который осуществляет поиск марокканского ресторана после того, как результатами поиска такой ресторан идентифицирован, пользователь может захотеть отразить в социальной сети тот факт, что он или она ест в этом ресторане. Или в качестве другого примера, если пользователь делает фотографию, и служба 118 реагирования аннотирует фотографию посредством идентификации объекта, показанного на фотографии, пользователь может захотеть послать саму фотографию и идентификацию того, что находится на фотографии, в альбом в онлайновой службе совместного использования фотографий. Это является некоторыми примерами того, как информация, содержащаяся в аннотированном документе, может распространяться в местоположение вне устройства 102. Приложение (например, клиентское приложение 132, показанное на фиг.1) может обеспечивать это распространение (например, посредством подготовки набросков сообщений социальной сети для одобрения пользователя 202), но распространение может выполняться посредством любых компонентов.

Другое действие, которое может происходить относительно аннотированного документа, состоит в том, что ассоциация между аннотированным документом и идентификационной информацией его создателя может сохраняться некоторым способом (этап 222). Например, обычно, когда пользователи создают запросы, запросы просто исчезают после того, как на них был получен ответ. Однако, когда запрос рассматривается как документ, на который может быть получена реакция, запрос может быть ассоциирован с пользователем 202, который создал запрос, и эта ассоциация может сохраняться после того, как на запрос был получен ответ. Аналогично, если пользователь 202 захватывает фотографию и запрашивает службу 118 реагирования реагировать на эту фотографию, фотография может быть ассоциирована с пользователем 202 (например, посредством сохранения фотографии в онлайновом альбоме, который принадлежит пользователю 202), и эта ассоциация может сохраняться после того, как на запрос был получен ответ.

Фиг.3 показывает, в форме блок-схемы последовательности операций, иллюстративную обработку, в которой документы могут создаваться, аннотироваться и распространяться. Перед обращением к описанию фиг.3 следует отметить, что диаграмма последовательности операций из фиг.3 описывается в качестве примера со ссылкой на компоненты, показанные на фиг.1 и 2, хотя обработка из фиг.3 может выполняться в любой системе и не ограничена сценарием, показанным на фиг.1 и 2. Дополнительно диаграмма последовательности операций на фиг.3 показывает пример, в котором этапы обработки выполняются в конкретном порядке, как показано посредством линий, соединяющих этапы, но различные этапы, показанные на этой диаграмме, могут выполняться в любом порядке или в любой комбинации или подкомбинации.

На этапе 302 пользователь генерирует документ на устройстве. Документ может быть, например, текстом, который вводится с помощью клавиатуры устройства (этап 304), изображением, захваченным с помощью камеры устройства (этап 306), или аудио, захваченным с помощью микрофона устройства (этап 308). После того как документ сгенерирован на устройстве, документ может посылаться в службу 118 реагирования (на этапе 310). Как описано выше, служба 118 реагирования может использовать компоненты, такие как машина текстового поиска, устройство сравнения изображений, устройство сравнения аудио и т.д., чтобы вырабатывать соответствующую реакцию на документ. Как только служба 118 реагирования реагирует на документ, служба 118 реагирования генерирует и возвращает аннотации к документу (на этапе 312). Как описано выше, аннотации могут содержать результаты поиска, идентификацию изображения или звука либо любую другую информацию, которая генерируется в ответ на документ.

На этапе 314 документ может комбинироваться с его аннотацией, чтобы вырабатывать аннотированный документ. Например, набор результатов поиска может прикрепляться к запросу, который сгенерировал эти результаты. Или если документ, который был послан в службу реагирования, был изображением, то идентификация объекта, показанного в изображении, может быть аннотацией, и эта идентификация может ассоциироваться с изображением. В некотором смысле аннотации являются типом метаданных, которые описывают документ. В одном примере пользователю может даваться вариант выбора, чтобы выбирать, какие из аннотаций, возвращенных службой 118 реагирования, подлежат прикреплению к документу в качестве метаданных (на этапе 316). Например, если пользователь делает фотоизображение статуи Фримонтского тролля в Сиэтле, и служба 118 реагирования идентифицирует объект на фотоизображении как «Фримонтский тролль», пользователь может запрашиваться, хочет ли он или она пометить изображение как «Фримонтский тролль». Если это так, то эта пометка эффективно становится формой метаданных, которые прикрепляются к изображению.

На этапе 318 аннотированный документ может сохраняться таким способом, который ассоциирует документ с пользователем, который создал документ. Например, если пользователь делает фотоизображение, фотоизображение может сохраняться в одном из онлайновых фотоальбомов пользователя в службе совместного использования фотографий или может посылаться в профиль пользователя в социальной сети. На этапе 320 аннотированный документ (или некоторая часть аннотированного документа) может распространяться другим пользователям, которые могут быть в местоположении, удаленном от устройства, на котором аннотированный документ был создан. Например, документ и/или его аннотации (или некоторые из его аннотаций, или некоторая информация, выведенная из документа или его аннотаций) может посылаться в социальную сеть (этап 322), посылаться другим пользователям посредством электронной почты (этап 324) или посылаться в сайт совместного использования контента, такой как сайт совместного использования фотографий или сайт блогов (этап 326). Следует отметить, что один аспект контента, который рассматривается как социальные мультимедийные данные, состоит в том, что контент имеет тенденцию быть ассоциированным с пользователем (нежели анонимным, как обычный поисковый запрос) и имеет тенденцию передаваться другим пользователям (нежели держаться исключительно в частном хранилище пользователя). В этом смысле обработка, описанная на фиг.3, может способствовать созданию социальных мультимедийных данных с помощью подсоединенных наладонных устройств.

Фиг.4-6 показывают некоторые иллюстративные сценарии, в которых социальные мультимедийные данные могут создаваться на устройстве.

Фиг.4 показывает иллюстративный сценарий, в котором пользователь выполняет поиск, чтобы найти ресторан. Пользователь 202 находится в городе в местоположении, показанном посредством звездочки. Пользователь 202 находится рядом с пересечением Первой (First) и Главной (Main) улиц. Предприятия и другие учреждения в окрестности пользователя 202 включают в себя почтовое отделение 402, здание 404 суда, ресторан 406 пиццы, марокканский ресторан 408, гостиницу 410, продовольственный магазин 412 и библиотеку 414. Пользователь 202 переносит устройство 102, которое может являться смартфоном, наладонным компьютером, музыкальным проигрывателем и т.д. Пользователь 202 хочет найти расположенный рядом марокканский ресторан, так что пользователь 202 использует клавиатуру 106, чтобы ввести запрос "марокканская пища" в его устройство. Например, пользователь 202 может использовать клиентское приложение 132 (показанное на фиг.1), чтобы вводить запрос, подлежащий передаче в службу 118 реагирования. Или пользователь 202 может использовать браузер, чтобы посещать веб-сайт службы 118 реагирования, в этом случае пользователь 202 вводит запрос в этот веб-сайт.

После того как пользователь 202 ввел запрос, в службу 118 реагирования может передаваться различная информации. Эта информация может включать в себя сам запрос (блок 416), широту и долготу, в которых пользователь был расположен, когда запрос был сделан (блок 418), и время, в которое запрос был сделан (блок 420). Устройство 102 может быть оснащено некоторой функциональной возможностью идентифицировать свое собственное местоположение (например, компонентами, которые триангулируют местоположение устройства 102 на основе его положения относительно сотовых вышек, или глобальной системой позиционирования (GPS), которая определяет местоположение устройства 102 на основе сигналов от спутников). Эти компоненты могут обеспечивать информацию, содержащуюся в блоке 418. Более того, устройство 102 может иметь часы, и информация времени в блоке 420 может выводиться из этих часов.

Служба 118 реагирования принимает различные порции информации в блоках 416-420 и реагирует на эту информацию. Например, на основе запроса в блоке 416 служба 118 реагирования знает, что пользователь 202 ищет марокканскую пищу. На основе информации местоположения в блоке 418 служба 118 реагирования знает, что пользователь 202 находится в Сиэтле. И на основе информации времени в блоке 420 служба 118 реагирования знает, что пользователь 202, вероятно, ищет, где пообедать. На основе этих порций информации служба реагирования возвращает некоторую информацию в устройство 102. Эта информация показана в блоке 422, которая содержит название и адрес марракешского ресторана - т.е. марокканский ресторан 408, который находится рядом с пользователем 202. Информация, показанная в блоке 422, составляет тип аннотации к информации, которую служба 118 приняла от устройства 102.

На основе обеспеченной аннотации может создаваться аннотированный документ 424. Аннотированный документ содержит исходную информацию 426, которая была передана в службу 118 реагирования ("Марокканская пища, Сиэтл, 6:37 после полудня"), и также содержит ответ 428 службы 118 реагирования ("Марракешский ресторан"). Дополнительно аннотированный документ может содержать набросок 430 сообщения в стиле социальной сети ("Тим ест в Марракешском ресторане в Сиэтле в четверг вечером."). Это сообщение может быть выложено в социальную сеть 432. Например, клиентское приложение 132 (показанное на фиг.1) может отображать набросок 430 и может запрашивать пользователя 202, хочет ли он послать текст в этом наброске в социальную сеть. Если это так, это приложение может делать сообщение от имени пользователя 202.

Фиг.5 показывает пример, в котором документ, созданный пользователем 202, является изображением. В этом примере пользователь 202 переносит устройство 102, которое включает в себя камеру 110. Пользователь 202 видит скульптуру 502 и делает ее фотографию. В этом примере скульптура 502 является скульптурой "Овал с точками", расположенной на кампусе университета Принстона. Как только фотография сделана, устройство 102 передает фотографию в службу 118 реагирования. Передача этой фотографии в службу 118 реагирования может обеспечиваться посредством клиентского приложения 132 (показанного на фиг.1). Например, после того как фотография была сделана, фотография может появляться на экране устройства 102, и над фотографией может появляться кнопка, которая приглашает пользователя 202 передать фотографию в службу 118 реагирования. Если пользователь нажимает кнопку, то фотография 504 может передаваться в службу 118 реагирования. Может также передаваться другая информация. Например, может также передаваться местоположение 506, в котором фотография была сделана.

Служба 118 реагирования реагирует на информацию, которую она приняла, посредством попытки идентифицировать объект на фотографии. Например, служба 118 реагирования может иметь индексированную базу данных фотографий и может пытаться сравнить то, что показано на фотографии с фотографиями в своей базе данных. Дополнительно служба 118 реагирования может иметь некоторую модель того, какие объекты располагаются в конкретных географических местоположениях, и, таким образом, служба 118 реагирования может использовать местоположение 506, чтобы пытаться идентифицировать объект на фотографии. На основе информации, обеспеченной в службу 118 реагирования, служба 118 реагирования может определять, что объект на фотографии является скульптурой "Овал с точками". Таким образом, служба 118 реагирования обеспечивает аннотацию 508, содержащую эту информацию.

После того как аннотация обеспечена, аннотированный документ 510 может создаваться. Этот аннотированный документ может включать в себя исходный документ (т.е. фотографию 504 скульптуры 502) и аннотацию 508. Аннотированный документ также может содержать другую информацию, имеющую отношение к фотографии, такую как дата, время и место, в котором фотография была сделана (этап 512). Дополнительно аннотированный документ может содержать набросок сообщения социальной сети (этап 514) («Тим нашел скульптуру «Овал с точками»»). Информация, содержащаяся в аннотированном документе 510, может использоваться различными способами. Например, пользователь 202 может подписываться на службу 516 совместного использования фотографий, и фотография и некоторые из ее аннотаций могут посылаться в альбом в этой службе. Таким образом, пользователь 202 может иметь альбом, названный "Поездка Тима в Нью-Джерси". Фотография, вместе с пометками, идентифицирующими то, что находится на фотографии, и где и когда фотография была сделана (что все является примерами метаданных), может посылаться в этот альбом. В качестве другого примера, черновое сетевое сообщение (этап 514) может посылаться в социальную сеть 432. Отправка информации в альбом и/или социальную сеть может выполняться посредством приложения на устройстве 102 (например, посредством клиентского приложения 132, показанного на фиг.1).

Фиг.6 показывает пример, в котором документ, созданный пользователем 202, является захватом аудио. В этом примере пользователь 202 находится в кофейне 602. Пользователь 202 носит устройство 102, которое оснащено микрофоном 108. Кофейня 602 имеет громкоговоритель 604, который проигрывает конкретную песню. Пользователь 202 хочет знать, что это за песня, так что пользователь 202 использует микрофон 108 на устройстве 102 для захвата звука, приходящего из громкоговорителя. Документ 606, содержащий это захваченное аудио, создается и передается в службу 118 реагирования.

Служба 118 реагирования реагирует на документ 606 посредством сравнения аудио в этом документе со своей собственной базой данных. На основе этого сравнения служба реагирования определяет, что песней, содержащейся в аудиодокументе, является «Rhapsody in Blue» ("Рапсодия в стиле блюз"). Таким образом, служба реагирования возвращает аннотации к этому документу. Одна аннотация является названием 608 песни. Другая аннотация является ссылкой 610 на песню в онлайновом музыкальном магазине, которая может использоваться для приобретения песни.

После того, как аннотации возвращены, может создаваться аннотированный документ 612. Аннотированный документ 612 может содержать документ 606, который содержит захваченное аудио, название 608 песни, содержащейся в аудиодокументе, и ссылку 610 на продающуюся версию песни. Дополнительно аннотированный документ 612 может содержать набросок 614 сообщения в стиле социальной сети, касающегося факта, что пользователь 202 слышал песню "Рапсодия в стиле блюз".

Пользователь 202 может затем делать различные действия по отношению к элементам в аннотированном документе 612. Например, пользователь 202 может следовать по ссылке 610, чтобы приобрести коммерчески доступную версию "Рапсодии в стиле блюз" из онлайнового музыкального магазина 616. Если пользователь 202 действительно приобретает песню, то приобретенная версия песни 618 может становиться другой аннотацией к аудиоклипу, который пользователь 202 захватил. Дополнительно эта песня может помещаться в музыкальную библиотеку 620 пользователя 202. Так как время, в которое пользователь 202 захватил аудиоклип, может быть известным (например, устройство 102 может быть оснащено часами и может записывать время, в которое пользователь 202 захватил аудиоклип), этот факт может сохраняться в музыкальной библиотеке 620 в качестве типа аннотации к песне. Например, текст "Впервые услышано в кофейне 2/19/2010" (этап 622) может сохраняться вместе с приобретенной версией песни 618. В качестве другого примера, набросок 614 сообщения социальной сети может посылаться в социальную сеть 432.

Фиг.7 показывает иллюстративную среду, в которой могут развертываться аспекты изобретения, описанные здесь.

Компьютер 700 включает в себя один или более процессоров 702 и один или более компонентов 704 запоминания данных. Процессор (процессоры) 702 являются обычно микропроцессорами, такими как те, которые находятся в персональном настольном компьютере или портативном компьютере, сервере, наладонном компьютере или другом типе вычислительного устройства. Компонент (компоненты) 704 запоминания данных являются компонентами, которые выполнены с возможностью хранения данных в течение либо короткого, либо долгого срока. Примеры компонента (компонентов) 704 запоминания данных включают в себя жесткие диски, съемные диски (включая оптические и магнитные диски), энергозависимое и энергонезависимое оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), флэш-память, магнитную ленту и т.д. Компонент (компоненты) запоминания данных являются примерами машиночитаемых носителей данных. Компьютер 700 может содержать, или быть ассоциированным с, дисплей 712, который может быть монитором на основе электронно-лучевой трубки (CRT), монитором на основе жидкокристаллического дисплея (LCD) или любым другим типом монитора.

Программное обеспечение может храниться в компоненте (компонентах) 704 запоминания данных и может исполняться на упомянутом одном или более процессоре (процессорах) 702. Примером такого программного обеспечения является программное обеспечение 706 создания социальных мультимедийных данных, которое может осуществлять некоторую или всю из функциональности, описанной выше в соединении с фиг.1-6, хотя может использоваться любой тип программного обеспечения. Программное обеспечение 706 может быть реализовано, например посредством одного или более компонентов, которые могут быть компонентами в распределенной системе, отдельными файлами, отдельными функциями, отдельными объектами, отдельными линиями кода и т.д. Компьютер (например, персональный компьютер, серверный компьютер, ручной компьютер и т.д.), в котором программа хранится на жестком диске, загружается в RAM и исполняется на процессоре (процессорах) компьютера, служит типичным примером сценария, изображенного на фиг.6, хотя изобретение, описанное здесь, не ограничено этим примером.

Описанное здесь изобретение, может быть реализовано как программное обеспечение, которое хранится в одном или более из компонента (компонентов) 704 запоминания данных и которое исполняется на одном или более из процессора (процессоров) 702. В качестве другого примера, изобретение может быть реализовано как инструкции, которые хранятся на одном или более машиночитаемых носителях данных. Материальные носители, такие как оптические диски или магнитные диски, являются примерами носителей данных. Инструкции могут существовать на невременных носителях. Такие инструкции, когда исполняются посредством компьютера или другой машины, могут предписывать компьютеру или другой машине выполнять одно или более действий способа. Инструкции для выполнения действий могут храниться на одном носителе или могут быть распределены по множественным носителям, так что инструкции могут появляться коллективно на упомянутом одном или более машиночитаемых запоминающих носителях, независимо от того, находятся ли все из инструкций на одном и том же носителе.

Дополнительно любые действия, здесь описанные (независимо от того, показаны ли они на диаграмме или нет), могут выполняться посредством процессора (например, одного или более из процессоров 702) как часть способа. Таким образом, если здесь описываются действия A, B и C, то может выполняться способ, который содержит действия A, B и C. Более того, если здесь описываются действия A, B и C, то может выполняться способ, который содержит использование процессора, чтобы выполнять действия A, B и C.

В одной иллюстративной среде компьютер 700 может быть коммуникативно соединенным с одним или более другими устройствами посредством сети 708. Компьютер 710, который может быть подобным в структуре компьютеру 700, является примером устройства, которое может соединяться с компьютером 700, хотя другие типы устройств также могут быть таким образом соединенными.

Хотя изобретение было описано на языке, характерном для структурных признаков и/или методологических действий, следует понимать, что объем изобретения, определяемый прилагаемой формулой изобретения, не необязательно ограничен такими конкретными признаками или действиями, описанными выше. Скорее, конкретные признаки и действия, описанные выше, раскрыты как иллюстративные формы осуществления формулы изобретения.