Результат интеллектуальной деятельности: УСТРОЙСТВО УСТАНОВЛЕНИЯ ЗАИНТЕРЕСОВАННОСТИ ЗРИТЕЛЯ ПРИ ПРОСМОТРЕ КОНТЕНТА

Область техники, к которой относится изобретение

Описано устройство установления, в реальном времени, степени заинтересованности зрителя при просмотре контента на бытовом электронном устройстве посредством биометрии. Изобретение включает в себя способность, в реальном времени, отслеживать и осуществлять мониторинг биометрических характеристики взгляда зрителя, в частности, глаз зрителя при просмотре контента на бытовом электронном устройстве.

Уровень техники

Производители и распространители медиа-контента в настоящее время получают коммерческую информацию о типах, количестве, жанрах и т.д. контента, который потребляют бытовые электронные устройства. Однако известна только доля потребленного контента бытовыми электронными устройствами, которые принадлежат производителю электронного устройства. Более того, производители электронных устройств не были способны определить, какой процент типов, жанров и т.д. нравится покупателям электронных устройств производителя. Кроме того, до данного момента не существовало способа незаметного получения биометрической информации.

Раскрытие изобретения

Настоящее изобретение направлено на установку множества датчиков на трехмерные очки (3D), которые пользователь надевает при просмотре 3D контента, чтобы незаметно собирать биометрическую информацию о пользователе, так чтобы можно было доставить персонализированный с высокой точностью контент пользователю в любое место.

Краткое описание чертежей

На фиг. 1 показано устройство 3D отображения и то, как пользователь, носящий 3D-очки с отслеживающими устройствами, смотрит на 3D дисплей.

На фиг. 2А показаны места, куда направлены глаза зрителя на устройстве отображения, а на фиг. 2B показан график автокалибровки на основании фиг. 2А.

На фиг. 3 показан способ использования изобретения.

На фиг. 4 показаны дополнительные датчики для 3D-очков.

Осуществление изобретения

Настоящее изобретение направлено на обеспечение устройства установления, в реальном времени, заинтересованности зрителя при просмотре им контента, включая контент интернет-протокола (IP), на бытовом электронном устройстве посредством биометрии. Бытовое электронное устройство может представлять собой бытовое электронное устройство с возможностью выхода в интернет. Используют отслеживание и мониторинг взгляда зрителя в реальном времени. В частности, отслеживают глаза пользователя, когда он просматривает контент на бытовом электронном устройстве. Полученные биометрические данные представляют собой пристальный взгляд глаз, фиксацию, движения и расширение зрачка, а также биометрические данные, обсуждаемые ниже. Полученные биометрические данные используют для того, чтобы определить степень заинтересованности, и для того, чтобы сделать вывод об удовлетворении зрителя просмотром контента.

На фиг. 1 показаны устройства 4 для отслеживания глаз, соединенные с 3D-очкам 5, либо путем встраивания, либо в виде подключаемых модулей. Отслеживающие устройства 4 предназначены для отслеживания глаз пользователя. Глаз или множество глаз привязаны к профилю пользователя. Биометрические данные о взгляде сохраняют в течение всей продолжительности пользовательской истории просмотра. С течением времени становятся известны биометрические данные, показывающие степень заинтересованности пользователя. Как вариант, биометрические данные также могут отображаться в реальном времени, показывая взаимосвязь точек биометрических данных с определенным объектом на сцене.

Результат этого изобретения заключается в том, что в любом месте или местоположении и в любое время на основе распознавания глаз обеспечивается точка входа для доступа зрителя к персонализированному с высокой точностью контенту.

Как показано на фиг. 1, устройство 1 отображения, предназначенное для отображения изображений, а также 3D изображений, применяют вместе с 3D-очками 5. 3D-очки 5 включают в себя оправу 3, 3D линзы 7 и отслеживающие камеры/глаза устройства 4 (датчики). Устройство 1 отображения соединено с потребительскими электронными устройствами 2, которые могут представлять собой устройства с доступом в интернет, и включают в себя такие устройства, как телевизионная приставка, игровая консоль, кассетный видеомагнитофон VCR, видеомагнитофон VTR, DVD и т.д. Чтобы просматривать трехмерное изображение на устройстве 1 отображения, пользователь должен надеть 3D-очки 5. Бытовые электронные устройства 2 задействуют без проводов, например, через Wi-Fi, инфракрасный канал, Bluetooth и т.д. Кроме того, бытовые электронные устройства 2 могут осуществлять связь через интернет 8 с сервером 6, или бытовое электронное устройство само может использовать биометрические данные.

3D-очки 5 имеют беспроводной передатчик 10 (см. фиг. 4) для передачи полученных биометрических данных на бытовое электронное устройство(а) 2. Размещение передатчика 10 на фиг. 4 является только иллюстративным, и он может быть расположен в любом месте на 3D-очках 5. Бытовое электронное устройство(а) 2 после получения биометрических данных может передать биометрические данные через интернет 8 на сервер 6 для анализа и хранения, либо бытовое электронное устройство может использовать эту информацию самостоятельно. Например, биометрические данные могут быть использованы либо сервером, либо бытовым электронным устройством, чтобы выбрать контент, который будет воспроизведен следующим, исходя из тех участков контента, которым пользователь уделяет внимание. Как вариант, бытовое электронное устройство может проанализировать биометрические данные, а затем отправить на сервер итоговую информацию, такую как уровень заинтересованности пользователя (или точку пристального взгляда) в каждой точке во время воспроизведения контента.

Как показано на фиг. 1, отслеживающие устройства 4 установлены на 3D-очках 5. Хотя на фиг. 1 показаны отслеживающие устройства 4, установленные возле центрального участка 3D-очков 5, точное местоположение может меняться, лишь бы отслеживающие устройства 4 могли незаметно отслеживать движение глаз пользователя. С использованием отслеживающих устройств 4 можно в реальном времени отследить и осуществить мониторинг пристального взгляда, фиксации, движений и расширение зрачка глаз зрителя. Отслеживающие устройства 4 могут обнаружить моргание, беглый взгляд, а также когда пользователь закрывает свои глаза. Это можно использовать для того, чтобы сказать, когда пользователь по меньшей мере частично закрывает свои глаза в ситуациях, в которых пользователь не может или не хочет просматривать контент. Отслеживающие устройства 4 также могут обнаружить моменты, когда пользователь засыпает.

Используя отслеживающие устройства 4, пользователь может зарегистрировать свои глаза на сервере 6 либо бытовом электронном устройстве, чтобы построить профиль заинтересованности или удовлетворения контентом. Отслеживающие устройства 4 могут самостоятельно проверять, где расположены глаза пользователя на экране 3D телевизора или устройстве 1 3D отображения в соответствии с функцией зависимости от времени (см. фиг. 2B). Информация о заинтересованности пользователя может быть определена, исходя из того, куда на экране смотрит пользователь, и эту информацию можно связать с метаданными о том, что известно о местоположении объектов на экране для этого кадра. Метаданные могут быть разобраны потребительским электронным устройством, связаны с контентом, идентифицированы позднее, или известны серверу, но не известны на бытовом электронном устройстве. Таким образом, изобретение может генерировать информацию о местоположении пристального взгляда, которую можно увязать с тем, что находится на экране в некотором месте и в некоторый момент времени. Информацию о местоположении пристального взгляда незаметно собирают, и данные увязывают с тем, на какие объекты смотрит пользователь.

Биометрические данные от отслеживающих устройств 4 используют, чтобы определить наилучший контент, который следует предложить пользователю. Это можно сделать практически в реальном времени, например, во время рекламной паузы, когда определяют следующий контент, и после этого следующий контент предоставляют пользовательскому устройству отображения.

Отслеживающие устройства 4 можно использовать для определения местоположения на устройстве отображения, на котором сфокусированы глаза пользователя, и, таким образом, это положение фокуса становится известным серверу или бытовому электронному устройству. Если товар расположен в этом месте на устройстве отображения, то известен товар, который интересен пользователю. Это можно использовать для того, чтобы выбирать, рекламу, направленную на интерес пользователя.

Очки 5 могут быть персонализированы для каждого пользователя, если пользователь идентифицирован и известен его профиль. Когда пользователь берет свои очки 5, то, исходя из идентификации пользователя и его профиля, становится известен пользовательский интерес. Кроме того, на основе информации от бытового электронного устройства и/или сервера, также становятся известны предпочтительные пользовательские настройки телевизора, так что контент и реклама могут быть отправлены пользователю, исходя из заинтересованности пользователя.

Телевизионными настройками бытовых электронных устройств 2 и устройства 1 отображения можно управлять посредством сервера 6 через интернет, когда предпочтительные пользовательские настройки определены с помощью биометрических данных. Как вариант, пользовательские телевизионные настройки могут быть отменены сервером 6 через интернет.

Чтобы получить исходные биометрические данные пользователя от отслеживающих устройств 4, сравнивают биометрические данные, полученные от множества пользователей, чтобы интерпретировать каждые пользовательские данные. Аккумулируют исходные данные от нескольких зрителей, просматривающих один и тот же контент в одно и то же время, как показано на фиг. 2А.

В предпочтительном варианте осуществления предпочтительно, чтобы 3D-очки 5 отслеживали движение глаза из-за расстояния между глазами пользователя, а отслеживающие устройства 4 расположены близко к глазам, что дает точность данных. Отслеживающие устройства 4 выполнены на 3D-очках 5, которые пользователь должен использовать, чтобы смотреть 3D-контент. Важный признак изобретения заключается в том, что очки 5, содержащие датчики 4, незаметно получают биометрические данные.

Чтобы получить биометрическую информацию, как показано на фиг. 3, происходит следующее: (1) пользователь надевает 3D-очки, оборудованные устройствами, отслеживающими движения глаз, (2) пользователь регистрирует свои глаза в системе/на сервере либо путем передачи пользовательского 1Б, либо ГБ пользовательских очков; в качестве альтернативы, визуальные шаблоны зрачков глаз пользователя позволяют незаметно распознавать пользователя; для новых пользователей может создаваться новый профиль, (3) отслеживающие устройства начинают определять местоположение глаз пользователя на экране; по мере того, как глаза зрителя перемещаются по экрану 1 и другим местам в пространстве, где расположен экран, с течением времени по всему экрану будет иметься множество (мнимых) точек расположения глаз; чтобы получить точную границу экрана и местоположение глаз, к точкам расположения глаз в течение времени применяют дифференцирование первого порядка; это представляет собой автокалибровку (см. фиг. 2B), как вариант для этапа 3, пользователь может пройти активный этап калибровки, когда пользователь впервые надевает очки; это может быть выполнено посредством перемещения глаз, как, например, фиксации на каждом углу экрана пару раз; это может быть необязательным этапом, который может ускорить время, за которое очки станут хорошо откалиброванными, (4) во время просмотра 3D-контента отслеживающее устройство 4 будет отслеживать пристальный взгляд глаза пользователя (в каких местах), фиксацию (как долго), движения (шаблоны/направления перемещения глаз) и расширение зрачков (индикатор стресса); замечание: если очки опционально носят во время просмотра 2Б-контента, отслеживающие устройства могут отслеживать и осуществлять мониторинг биометрии пользователя, даже если очки для 2Б-содержимого не нужны. (5) точки биометрических данных в реальном времени поступают в блок обработки данных (не показан), который может быть встроен в очки, встроен в бытовое электронное устройство, или отправляют на сервер 6, чтобы построить профиль степени заинтересованности, при этом биометрическая информация состоит из двух компонентов: (а) степень заинтересованности: пристальный взгляд, фиксация, движение/траектория глаз и (b) уровни удовлетворения: пристальный взгляд, фиксация, движение/траектория глаз и расширения зрачка, биометрический профиль при конкретном использовании может включать в себя такие признаки, как визуальные шаблоны зрачка, которые можно использовать, чтобы пассивно распознавать одного и того же пользователя, биометрический профиль также должен содержать исходную информацию о пользователе, такую как обычная частота пульса пользователя в состоянии покоя или величина расширения зрачка для разных уровней освещенности, (6) если к просмотру присоединяется новый зритель, то биометрические данные будут собираться пассивно для этого нового зрителя, чтобы создать новый профиль, который пользователь может зарегистрировать, при этом пользовательский профиль идентифицируют посредством пассивных биометрических данных, так что регистрация является опциональной, тем не менее, регистрация позволит пользователю ограничить учетную запись учетной записью, к которой он/она может получить непосредственный доступ, так чтобы связать профиль с другими учетными записями или непосредственно ввести интересы, в качестве альтернативы, если новый пользователь не хочет регистрироваться, то изначально используют биометрический профиль по умолчанию, основанный на потребителях всех устройств в окрестности этого человека, на том же языке, с тем же временем/датой, и т.д., который меняется с течением времени, так как профиль по умолчанию непрерывно пересчитывают по всем потребителям, тогда общий профиль по умолчанию можно настроить для нового пользователя на основе данных от датчика (т.е. биометрических данных), специфических для пользователя, так как новый пользователь продолжает использовать систему, (7) извлекают и обновляют пользовательский профиль, (8) с течением времени можно определить точную и актуальную степень заинтересованности и удовлетворения частью контента для отдельного пользователя/зрителя, а также можно определить, какая часть сцены или тип объектов наиболее интересны пользователю, так что можно определить контент, заинтересованность и удовлетворение.

В дополнение к отслеживающим устройствам 4 3D-очки 5 также могут содержать несколько других датчиков, которые обозначены в общем ссылочной позицией 11 на фиг. 4, при этом размещение датчиков 11 приведено только для иллюстрации, и они могут быть размещены в любом месте очков 5. Один такой датчик 11 может быть предназначен для определения движения головы и направления, например, акселерометр и/или гироскоп. Например, на основе датчиков движения головы сервер 6 или бытовое электронное устройство может определить, что пользователь смотрит на экран или куда-то еще. Дополнительно, внезапное движение головы, когда имеет место внезапное изменение контента, показывает, что пользователь погружен в просмотр контента. Гироскопы и/или акселерометры могли бы быть частью датчика пространственной ориентации.

Также в дополнение или вместо гироскопов и акселерометров можно использовать камеру в очках, чтобы визуально определить ориентацию экрана, что может быть проблематично в темной комнате во время темной сцены. Как вариант, экран может излучать сигналы для определения очками, так что всегда имеется устойчивый сигнал для определения очками. Эти сигналы могут быть видимыми, как, например, подсвеченная кромка, либо они могут иметь частоту, не воспринимаемую человеком. Эти сигналы могут вырабатываться самим экраном, кромкой или другими участками устройства вокруг экрана, либо отдельными передатчиками, что может быть полезно при добавлении возможности определения ориентации к существующему дисплею, который не поддерживает определение ориентации.

Для системы, в которой устройство отображения не является стационарным, например, дисплея планшета, в отличие от телевизора в жилой комнате, вполне возможно, что датчик пространственной ориентации будет на устройстве отображения, а также на очках. В этом случае, если устройство отображения излучает сигнал, который должен обнаруживаться очками, то определение сигнала будет происходить по отношению к устройству отображения, в то время как датчики, такие как гироскопы, будут определять ориентацию пользователя в пространстве, и их не нужно координировать с ориентацией устройства отображения в пространстве.

Более того, 3D-очки 5 могут содержать датчик(и) 11, предназначенный для определения касания пользователем очков. Датчик(и) воспринимает гальваническую активность, такую как потоотделение. Как вариант, может быть выполнен датчик(и) 11, предназначенный для непосредственного контакта с головой пользователя, для определения активности мозга. На очках 5 может быть выполнен датчик(и) 11 температуры для определения температуры тела и/или для определения температуры окружающего воздуха в комнате.

Датчики 11 также могут определять уровень внешней освещенности. Датчик уровня внешней освещенности можно использовать для нормализации величины расширения зрачка для эффектов уровня освещения, чтобы определить, когда изменения расширения зрачка являются реакцией на контент, а не на изменения освещенности. Также датчики 11 могут определять частоту пульса пользователя и брань пользователя. Например, внезапный вздох пользователя, когда имеет место внезапное изменение контента, показывает, что пользователь погружен в просмотр контента.

Бытовое электронное устройство 2 на основе интернет-протокола может отправлять настройки, такие как телевизионные настройки, через интернет на сервер 6. Также, бытовое электронное устройство может определить различные настройки контента для устройства отображения 1, как, например, яркость изображения, темнота, а также, направлен ли отображаемый контент на спорт, художественный фильм и т.д., что также может быть отправлено на сервер 6 для построения пользовательского профиля.

3D-очки 5 могут включать в себя звуковой(ые) датчик(и) 11 для определения звука по меньшей мере пользователя. Хотя бытовое электронное устройство(а) узнает создаваемый уровень звука, исходя из контента, для этой цели также можно использовать звуковые датчики. Дополнительные датчики 11, которые могут быть установлены на 3D-очках 5, могут включать в себя датчики для определения фонового шума или любых звуковых всплесков. Уровень фонового шума может быть учтен при определении уровня заинтересованности пользователя контентом. Кроме того, на 3D-очках 5 могут быть установлены наушники. Окружающий звук от микрофонов можно использовать для вычитания окружающего звука из направленного звука от пользователя, аналогично тому, как работают наушники с шумоподавлением, чтобы получить более чистый поток звука, создаваемый пользователем. Таким образом, сервер 6 или бытовые электронные устройства 2 могут управлять уровнем звука этих наушников, чтобы подавить звуковые отвлекающие факторы.

На 3D-очках 5 может быть установлен направленный микрофон. Направленный микрофон 11 может брать звук от пользователя, чтобы улавливать пользовательские вздохи, разговоры, чтобы показать беседы с другими, и т.д. Таким образом, выход с направленного микрофона 11 может использоваться сервером 6 или бытовыми электронными устройствами 2, чтобы определить уровень заинтересованности пользователя контентом.

Наиболее важно, отслеживающие устройства 4 и датчики 11 на 3D-очках 5 используют для того, чтобы откалибровать и создать пользовательский профиль, и они являются незаметными, так что мониторинг биометрической информации выполняется пассивно. Более того, это изобретение можно использовать в сочетании с менее незаметными способами и устройствами определения.

Собирая датчики 4 и 11 вместе в 3D-очках, можно получить пассивную калибровку, так что пользователь не знает, что происходит сбор данных. Более того, так как 3D-очки 5 содержат датчики 11 и 4, процесс определения является незаметным. Посредством сервера можно определить для пользователя взаимосвязь биометрических данных, полученных от датчиков/отслеживающих устройств, с контентом, полученным от бытовых электронных устройств 2. Использование акселерометров и гироскопов 11 для определения движения очков 5 на голове пользователя можно использовать для взаимоувязывания информации. Датчики, используемые на 3D-очках, могут быть такого же типа, что используется в сотовых телефонах. Датчики кожи могут представлять собой металлические контактные пластины. Отслеживающие устройства/камеры применяют для того, чтобы определять фокусировку глаза с движением головы. 3D-очки 5, таким образом, можно персонализировать для каждого пользовательского профиля. Использование данных об окружающей среде можно использовать для того, чтобы посредством наушников блокировать фоновый шум и помехи окружающей обстановки. Следует отметить, что расположение множества датчиков 11 на фиг. 4 является только иллюстративными, не ограничивает их тип, число и размещение.

Изобретение допускает мониторинг в реальном времени пристального взгляда зрителя, фиксации, движений глаза, расширения зрачков, чтобы получить информацию об удовольствии и заинтересованности при просмотре 3D контента на бытовом электронном устройстве по IP. Помимо прочего, заинтересованность пользователя, полученная из биометрических данных, можно использовать для доставки персонализированного с высокой точностью эффекта, как, например, отправления команд и контента с учетом специфики пользователя.

Специалистам в этой области техники будет очевидно, что, не отклоняясь от сущности и объема изобретения, можно использовать различные изменения, альтернативные конструкции и эквиваленты. Соответственно, вышеприведенное описание не следует рассматривать как ограничивающее объем изобретения.