Результат интеллектуальной деятельности: ИНТЕЛЛЕКТУАЛЬНЫЕ СКРЫТЫЕ СУБТИТРЫ С ПОДДЕРЖКОЙ СЛЕЖЕНИЯ ЗА ДВИЖЕНИЯМИ ГЛАЗ

УРОВЕНЬ ТЕХНИКИ

[0001] В течение многих лет технология на основе скрытых субтитров позволяет людям с нарушением слуха лучше понимать разговорный диалог мультимедиа, такого как фильмы и телевизионные программы, посредством отображения текстовой сводки или транскрипции диалога, происходящего в мультимедиа, в нижней части экрана, на котором отображается мультимедиа. Помимо помощи пользователям с нарушением слуха, скрытые субтитры также используются неносителями языка для того, чтобы лучше понимать фильмы и телевизионные программы на этом языке.

[0002] Один недостаток традиционных скрытых субтитров состоит в том, что они закрывают часть фильма или телевизионной программы, поверх которой они отображаются, что, помимо эстетической непривлекательности, также потенциально может мешать пониманию и удовольствию зрителя в отношении видеоконтента мультимедиа. Эта проблема является особенно раздражающей для неносителей языка, которые имеют достаточное владение языком для того, чтобы понимать большую часть разговорного диалога и в силу этого только иногда встречают отрывки, которые они не могут понимать. Для этих очень опытных неносителей языка, скрытые субтитры могут представлять раздражение в ходе частей программы, которые хорошо понимаются.

[0003] В предшествующих технологиях на основе скрытых субтитров такие пользователи имеют опцию выключения скрытых субтитров, например, посредством использования пульта дистанционного управления, чтобы реализовывать экранное меню устройства воспроизведения, и выключения скрытых субтитров. Тем не менее, после того, как скрытые субтитры выключаются, пользователь может встречать часть программы с диалогом, который не может пониматься пользователем. Пользователь вынужден брать пульт дистанционного управления, останавливать программу, включать скрытые субтитры через экранное меню, перематывать программу назад и нажимать воспроизведение снова, чтобы воспроизводить неправильно понятую часть диалога. Для пользователя, просматривающего телевизионную программу в прямом эфире без цифрового записывающего видеоустройства, даже эта трудоемкая последовательность команд является невозможной, поскольку программа не может перематываться назад. Можно принимать во внимание, что активация и деактивация скрытых субтитров таким способом много раз в ходе одного сеанса просмотра является неудобной и громоздкой для пользователя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0004] Предусмотрены системы и способы для управления скрытыми субтитрами с использованием устройства слежения за движениями глаз. Система для управления скрытыми субтитрами может содержать устройство отображения, контроллер скрытых субтитров, выполненный с возможностью отображать текст скрытых субтитров для мультимедийного элемента в ходе воспроизведения на устройстве отображения, и устройство слежения за движениями глаз, выполненное с возможностью обнаруживать местоположение взгляда пользователя относительно устройства отображения и отправлять местоположение в контроллер скрытых субтитров. Контроллер скрытых субтитров может быть выполнен с возможностью распознавать предварительно определенный шаблон взгляда для взгляда пользователя и, после обнаружения предварительно определенного шаблона взгляда, частично или полностью убирать на задний план отображение текста скрытых субтитров.

[0005] Это краткое изложение сущности изобретения приведена для представления в упрощенной форме подборки концепций, которые дополнительно описаны ниже в подробном описании. Данное краткое изложение сущности изобретения не имеет намерением ни то, чтобы идентифицировать ключевые признаки или важнейшие признаки заявленного изобретения, ни то, чтобы использоваться для ограничения объема заявленного изобретения. Кроме того, заявленное изобретение не ограничивается реализациями, которые разрешают какие-либо или все недостатки, отмеченные в любой части данного раскрытия.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0006] Фиг. 1A-1G показывают систему для того, чтобы управлять скрытыми субтитрами в ответ на различные шаблоны взгляда от пользователя в соответствии с вариантом осуществления этого раскрытия.

[0007] Фиг. 2 показывает систему по фиг. 1A-1G, дополнительно выполненную с возможностью управлять скрытыми субтитрами в ответ на взгляд пользователя, который задерживает взгляд на слове субтитров в соответствии с вариантом осуществления этого раскрытия.

[0008] Фиг. 3A-3C показывают систему по фиг. 1A-1G, дополнительно выполненную с возможностью управлять скрытыми субтитрами в ответ на взгляд пользователя, расположенный в различных подобластях предварительно определенной области отображения скрытых субтитров в соответствии с вариантом осуществления этого раскрытия.

[0009] Фиг. 4A-4D показывают систему по фиг. 1A-1G, дополнительно выполненную с возможностью управлять скрытыми субтитрами в ответ на взгляд пользователя, расположенный на персонаже, отображаемом на устройстве отображения в соответствии с вариантом осуществления этого раскрытия.

[0010] Фиг. 5A-5C являются блок-схемами последовательности операций способа для того, чтобы управлять скрытыми субтитрами в соответствии с вариантом осуществления этого раскрытия.

[0011] Фиг. 6 схематично показывает вычислительную систему, которая может осуществлять один или более способов и процессов системы по фиг. 1A-1G.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

[0012] Чтобы разрешать сложности, описанные выше, в данном документе раскрыты системы и способы для управления скрытыми субтитрами с использованием устройства слежения за движениями глаз. Фиг. 1A-1G показывают систему 10 для управления скрытыми субтитрами в ответ на различные шаблоны взгляда от пользователя. Как показано на фиг. 1A система 10 может содержать устройство 12 отображения, контроллер 14 скрытых субтитров, который может быть выполнен с возможностью отображать текст 16 скрытых субтитров для мультимедийного элемента 23 в ходе воспроизведения на устройстве 12 отображения, и устройство 18 слежения за движениями глаз, выполненное с возможностью обнаруживать местоположение 21 взгляда 20 пользователя относительно устройства 12 отображения и отправлять местоположение в контроллер 14 скрытых субтитров. Поскольку взгляд пользователя отслеживается за временной интервал, контроллер 14 скрытых субтитров может быть выполнен с возможностью распознавать предварительно определенный шаблон 25 взгляда (см. фиг. 1B) для взгляда 20 пользователя, на основе последовательности местоположений 21, в которых взгляд пользователя обнаруживается в пределах временного интервала. После обнаружения предварительно определенного шаблона взгляда контроллер 14 скрытых субтитров может быть выполнен с возможностью частично или полностью убирать на задний план отображение текста 16 скрытых субтитров.

[0013] Убирание на задний план отображение текста 16 скрытых субтитров может достигаться посредством подходящего процесса, используемого для того, чтобы делать текст 16 скрытых субтитров менее видимым для пользователя 40. Например, текст 16 скрытых субтитров может полностью деактивироваться или становиться менее непрозрачным, т.е. частично полупрозрачным или прозрачным. В случае деактивации, деактивация типично является только временной до тех пор, пока пользователь не запросит скрытые субтитры снова, как описано ниже. Альтернативно, текст скрытых субтитров может убираться на задний план посредством задания меньшим, может воспроизводиться с более тонким шрифтом, который занимает меньшее число пикселов в расчете на символ по сравнению со стандартным шрифтом, и т.д.

[0014] На фиг. 1A-1G, контроллер 14 скрытых субтитров и устройство 18 слежения за движениями глаз проиллюстрированы как отдельные компоненты друг от друга и от ассоциированного устройства 12 отображения. Тем не менее, следует отметить, что система 10 не ограничена такой конфигурацией. Например, устройство 12 отображения и контроллер 14 скрытых субтитров могут быть интегрированы в один корпус, к примеру, в так называемом интеллектуальном телевизионном приемнике, планшетном компьютере или шлеме-дисплее.

[0015] Кроме того, варианты осуществления системы 10, показанной на фиг. 1A-1G, показывают одного пользователя 40 и взгляд 20 одного пользователя. Тем не менее, на практике, система 10 может быть выполнена с возможностью осуществлять слежение за взглядом для множества пользователей одновременно и может быть дополнительно выполнена с возможностью использовать распознавание лиц, а также различную другую эвристику для того, чтобы идентифицировать множество пользователей системы 10. Система 10 также может быть выполнена с возможностью создавать и сохранять профили для каждого из множества пользователей. Такие профили могут содержать различные формы информации, включающие в себя среднюю скорость чтения, предпочитаемый язык или предпочитаемый размер шрифта текста 16 скрытых субтитров для каждого из множества пользователей. Система 10 может иметь такую конфигурацию, в которой информация профиля вводится пользователями или определяется системой 10 на основе отслеженного поведения каждого пользователя во времени.

[0016] Фиг. 1A и 1B иллюстрируют, соответственно, контроллер 14 скрытых субтитров, отображающий и убирающий на задний план текст 16 скрытых субтитров в ответ на предварительно определенный шаблон взгляда для взгляда 20 пользователя. Чтобы распознавать предварительно определенный шаблон взгляда, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью определять то, находится или нет местоположение 21 взгляда 20 пользователя в пределах предварительно определенной области 24 отображения скрытых субтитров на устройстве 12 отображения, на котором отображается текст 16 скрытых субтитров. Типично, определяется то, находится или нет взгляд пользователя в области 24 в течение первого предварительно определенного периода времени, называемого "периодом вывода на передний план", который может составлять, например, между 2 и 5 секундами или другую продолжительность. Как проиллюстрировано на фиг. 1B, если обнаруженное местоположение 21 взгляда 20 пользователя не находится в пределах предварительно определенной области 24 отображения скрытых субтитров в течение более чем предварительно определенного периода времени, контроллер 14 выполнен с возможностью убирать на задний план отображение текста 16 скрытых субтитров в предварительно определенной области 24 отображения скрытых субтитров. Это убирание на задний план показано как пикселизированный текст на фиг. 1B, который отличается от сплошных линий текста скрытых субтитров на фиг. 1A. Следует принимать во внимание, что могут применяться другие формы убирания на задний план, к примеру, формы, поясненные выше.

[0017] Фиг. 1A-1G иллюстрируют предварительно определенную область 24 отображения скрытых субтитров как расположенную в нижней части устройство 12 отображения. Альтернативно, предварительно определенная область 24 отображения скрытых субтитров может быть расположена в любом подходящем местоположении на устройстве 12 отображения. Хотя предварительно определенная область 24 отображения скрытых субтитров типично перекрывает мультимедийный элемент 23, следует принимать во внимание, что в некоторых форматах, таких как формат "почтовый ящик", мультимедийный элемент 23 может отображаться менее чем с полноэкранным размером, и область 24 отображения скрытых субтитров может быть расположена в матовой области за пределами мультимедийного элемента 23. Посредством убирания на задний план текста 16 скрытых субтитров, когда взгляд 20 пользователя не находится в предварительно определенной области 24 отображения скрытых субтитров, система 10 может исключать отображение текста 16 скрытых субтитров, когда он не используется. Такой признак улучшает впечатление от просмотра пользователя 40 скрытых субтитров, а также любых других зрителей, посредством удаления или снижения видимости материала, который потенциально затрудняет или отвлекает от просмотра мультимедийного элемента 23 на экране устройства 12 отображения.

[0018] В многопользовательском окружении, система 10 выполнена с возможностью ожидать до тех пор, пока взгляд всех пользователей не будет обнаружен за пределами предварительно определенной области 24 отображения скрытых субтитров в течение предварительно определенного периода времени, перед принудительным убиранием на задний план текста скрытых субтитров. Это помогает обеспечивать то, что текст скрытых субтитров не убирается на задний план в ответ на отведенный взгляд из одного пользователя, когда другой пользователь по-прежнему читает текст.

[0019] Как показано на фиг. 1C, после убирания на задний план текста 16 скрытых субтитров, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью повторно выводить на передний план отображение текста 16 скрытых субтитров в предварительно определенной области 24 отображения скрытых субтитров, если местоположение 21 взгляда пользователя обнаруживается в пределах предварительно определенной области 24 отображения скрытых субтитров. Типично, текст скрытых субтитров повторно выводится на передний план, если взгляд пользователя обнаруживается в области 24 в течение более чем второго предварительно определенного периода времени, называемого "периодом повторного вывода на передний план", который может составлять, например, от 500 мс до 2 секунд или другую продолжительность. Это помогает исключать непреднамеренные переключения по мере того, как глаза пользователя быстро-быстро перемещаются по занимающему экран видеоконтенту, который может появляться в пределах предварительно определенной области 24 отображения скрытых субтитров. В качестве альтернативы, вместо ожидания периода повторного вывода на передний план, система может начинать постепенное появление, постепенно увеличивающее вывод на передний план (например, непрозрачность, размер, толщину и т.д.) текста скрытых субтитров, как только взгляд пользователя обнаруживается в области 24. Повторный вывод на передний план может быть немедленным или постепенным, к примеру, постепенное появление текста скрытых субтитров до полного вывода на передний план. Этот признак обеспечивает возможность пользователю 40 просматривать текст 16 скрытых субтитров без доступа к пульту дистанционного управления и включения скрытых субтитров снова через экранное меню, как описано выше в разделе "Уровень техники".

[0020] Обращаясь теперь к фиг. 1D-1G, в дополнение к предварительно определенным шаблонам взгляда, поясненным выше, для взгляда внутри или снаружи области 24, контроллер 14 скрытых субтитров может быть выполнен с возможностью обнаруживать другие предварительно определенные шаблоны взгляда, когда взгляд 20 пользователя находится в пределах предварительно определенной области 24 отображения скрытых субтитров. Например, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью обнаруживать, на основе информации, включающей в себя направление и темп изменения взгляда 20 пользователя, то, что взгляд пользователя 20 перемещается в пределах предварительно определенной области 24 отображения скрытых субтитров в направлении чтения с фильтруемой скоростью, которая находится в диапазоне скоростей чтения.

[0021] Фиг. 1D иллюстрирует взгляд 20 пользователя, который читает текст 16 скрытых субтитров на устройстве 12 отображения. По мере того, как взгляд 20 пользователя перемещается из местоположения 21 в местоположения 30 и 32, контроллер 14 скрытых субтитров может быть выполнен с возможностью определять направление, в котором взгляд 20 пользователя перемещается во времени. Контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью определять то, является или нет направление согласованным с направлением чтения для языка текста 16 скрытых субтитров (например, слева направо для английского языка либо справа налево для иврита или арабского языка). Кроме того, контроллер 14 скрытых субтитров может быть выполнен с возможностью вычислять, на основе позиции взгляда 20 пользователя во времени, среднюю скорость чтения пользователя 40. Контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью отфильтровывать любые внезапные, быстрые изменения взгляда 20 пользователя (например, быстрые скачкообразные движения глаз), которые могут возникать в то время, когда взгляд 20 пользователя перемещается непрерывно в одном направлении. В связи с этим, контроллер 14 скрытых субтитров может быть выполнен с возможностью получать сглаженный, средний темп изменения для взгляда 20 пользователя. Хорошо известно, что средняя скорость чтения взрослого, бегло говорящего на языке, составляет между 250 и 300 словами в минуту для этого языка, в тогда как изучающие язык могут читать намного медленнее. Таким образом, диапазон скоростей чтения, описанный выше, может составлять приблизительно между 20 и 300 словами в минуту.

[0022] Контроллер 14 скрытых субтитров может быть выполнен с возможностью использовать статистику, такую как статистика для того, чтобы определять то, является или нет темп изменения взгляда 20 пользователя во времени согласованным с пользователем 40, читающим текст 16 скрытых субтитров. Например, для каждого пользователя системы 10, статистика может быть компилирована для среднего темпа чтения текста скрытых субтитров для данного пользователя, и если определяется, что фактический темп движения глаз в области 24 варьируется от собственного среднего темпа чтения пользователя посредством определенной процентной доли, например, 50%, то скорость чтения определяется за пределами диапазона скоростей чтения, поясненного выше.

[0023] Контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью убирать на задний план текст 16 скрытых субтитров посредством снижения непрозрачности текста 16 скрытых субтитров в предварительно определенной области 24 отображения скрытых субтитров, если взгляд 20 пользователя находится в пределах предварительно определенной области 24 отображения скрытых субтитров, но фильтруемая скорость взгляда пользователя обнаруживается за пределами диапазона скоростей чтения. Фиг. 1E иллюстрирует случай, в котором взгляд 20 пользователя расположен в пределах предварительно определенной области 24 отображения скрытых субтитров, но пользователь сфокусирован на персонаже 28, а не читает текст 16 скрытых субтитров, поскольку скорость чтения обнаружена за пределами диапазона скоростей чтения в направлении чтения языка скрытых субтитров. Могут возникать различные моменты в телевизионной программе, например, если действие программы возникает в области устройства 12 отображения, идентичной предварительно определенной области 24 отображения скрытых субтитров. Взгляд 20 пользователя естественно должен следовать за действием программы и в силу этого в итоге может располагаться в предварительно определенной области 24 отображения скрытых субтитров. Как описано выше, контроллер 14 скрытых субтитров может быть выполнен с возможностью обнаруживать направление и темп изменения взгляда 20 пользователя во времени, чтобы определять то, читает или нет пользователь. Когда контроллер 14 скрытых субтитров определяет то, что взгляд 20 пользователя находится в пределах предварительно определенной области 24 отображения скрытых субтитров, но пользователь 40 не читает, для пользователя 40 и любых других зрителей устройства 12 отображения должно быть преимущественным, если текст 16 скрытых субтитров не отображается в качестве полностью непрозрачного текста. Следовательно, контроллер 14 скрытых субтитров может быть выполнен с возможностью уменьшать непрозрачность текста 16 скрытых субтитров, когда взгляд 20 пользователя находится в пределах предварительно определенной области 24 отображения скрытых субтитров, но пользователь 40 не читает.

[0024] Обращаясь далее к фиг. 2, в дополнение к отслеживанию того, читает или нет пользователь 40, контроллер 14 скрытых субтитров может быть выполнен с возможностью определять другие шаблоны взгляда. Контроллер 14 скрытых субтитров может быть выполнен с возможностью отслеживать скорость взгляда 20 пользователя в пределах предварительно определенной области 24 отображения скрытых субтитров и отображать вспомогательную информацию 38 относительно слова или фразы текста 16 скрытых субтитров, если контроллер 14 скрытых субтитров обнаруживает то, что скорость взгляда 20 пользователя замедляется ниже предварительно определенного порогового значения низкой скорости чтения, либо он приостанавливается, по меньшей мере, в течение предварительно определенного времени задерживания взгляда на слове или слове во фразе в тексте 16 скрытых субтитров.

[0025] Фиг. 2 иллюстрирует взгляд пользователя, который задерживает взгляд на слове 46 субтитров в тексте 16 скрытых субтитров. Когда человек читает, глаза человека не перемещаются непрерывно вдоль текста. Наоборот, взгляд 20 пользователя должен оставаться зафиксированным на одной точке в течение короткого времени, затем перескакивает на следующую точку в тексте. Известно, что средняя длительность фиксации при чтении составляет между 200 и 250 миллисекундами. В зависимости от других характеристик, таких как возраст человека и средняя скорость чтения, длительность фиксации может варьироваться в любых пределах от 100 миллисекунд до более чем 500 миллисекунд. Контроллер 14 скрытых субтитров может быть выполнен с возможностью определять то, когда взгляд 20 пользователя задерживается на слове, посредством вычисления длительности фиксации взгляда 20 пользователя и ее сравнения со средней длительностью фиксации читателей, в общем, как пояснено выше, либо со средней длительностью фиксации пользователя 40, вычисленной посредством контроллера 14 скрытых субтитров во времени. В качестве некоторых конкретных примеров, предварительно определенное время задерживания взгляда, поясненное выше, может составлять 100-500 миллисекунд, 200-400 миллисекунд или приблизительно 300 миллисекунд, в качестве некоторых примеров. Время задерживания взгляда также может задаваться согласно пользовательскому вводу, принимаемому от пользователя в требуемое время задерживания взгляда. Когда пользователь читает, позиция взгляда 20 пользователя переходит на определенное число символов после каждой фиксации. Среднее число символов в расчете на переход составляет между 7 и 9 для бегло говорящих на языке, но может ранжироваться в диапазоне 1-20. Если взгляд 20 пользователя начинает переходить на меньшее число символов, чем ранее обнаружено во время чтения, или если длительность фиксации становится превышающей среднюю для пользователя 40, контроллер 14 скрытых субтитров может быть выполнен с возможностью определять то, что взгляд 20 пользователя замедлен ниже предварительно определенного порогового значения низкой скорости чтения на слове или фразе в тексте 16 скрытых субтитров. Фиг. 2 иллюстрирует случай, в котором взгляд 20 пользователя перемещается в позиции 34 и 36, но задерживает взгляд на слове 46 субтитров (т.е. слово "NEPTUNE" на фиг. 2). В таком случае, контроллер 14 скрытых субтитров может быть выполнен с возможностью отображать вспомогательную информацию 38 относительно слова 46 субтитров пользователю. Если слово 46 субтитров является неизвестным для пользователя, вспомогательная информация 38 может быть, в частности, интересной или полезной для лучшего понимания текста 16 скрытых субтитров. Фиг. 2 иллюстрирует вспомогательную информацию 38 в качестве врезки, поясняющей определение слова 46 субтитров. Альтернативно, вспомогательная информация 38 может отображаться в любом месте на устройстве 12 отображения и может содержать различные формы информации, к примеру, ссылки на внешний веб-узел или последние новостные статьи по теме.

[0026] До отображения вспомогательной информации 38, контроллер скрытых субтитров может быть дополнительно выполнен с возможностью изменять, по меньшей мере, одно из размера или шрифта слова или фразы в тексте 16 скрытых субтитров, если контроллер 14 обнаруживает то, что скорость взгляда 20 пользователя замедляется ниже предварительно определенного порогового значения низкой скорости чтения, либо он приостанавливается, по меньшей мере, в течение предварительно определенного времени задерживания взгляда на слове или слове во фразе в тексте 16 скрытых субтитров. Фиг. 2 иллюстрирует вариант осуществления, в котором взгляд 20 пользователя задерживает взгляд на слове 46 субтитров, и, как результат, слово увеличивается по размеру и изменяется на курсив. Альтернативно, контроллер 14 скрытых субтитров может быть выполнен с возможностью отличать слова или фразы в тексте 16 скрытых субтитров посредством различных других средств (например, подчеркивания, выделения полужирным и т.д.) и не ограничен конкретным типом стилизации, показанной на фиг. 2.

[0027] Продолжая с фиг. 2, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью отслеживать расстояние D между пользователем 40 и устройством 12 отображения и увеличивать размер текста 16 скрытых субтитров, если расстояние D увеличивается, и уменьшать размер текста 16 скрытых субтитров, если расстояние уменьшается. В дополнение к отслеживанию позиции глаз пользователя, контроллер 14 скрытых субтитров также может быть выполнен с возможностью отслеживать позицию пользователя 40 относительно устройства 12 отображения и определять расстояние D между пользователем 40 и устройством 12 отображения. Когда возникает изменение расстояния D, контроллер 14 скрытых субтитров может быть выполнен с возможностью регулировать размер текста 16 скрытых субтитров. Например, как показано фиг. 1F, если пользователь 40 приближается к устройству 12 отображения, контроллер 14 скрытых субтитров может быть выполнен с возможностью уменьшать размер текста 16 скрытых субтитров. Аналогично, как показано на фиг. 1G, если пользователь перемещается дальше от устройства 12 отображения, контроллер 14 скрытых субтитров может быть выполнен с возможностью увеличивать размер текста 16 скрытых субтитров.

[0028] Обращаясь теперь к фиг. 3A, контроллер 14 скрытых субтитров дополнительно выполнен с возможностью задавать множество смежных подобластей, включающих в себя подобласть 42 предшествующего субтитра и подобласть 44 текущего субтитра, в пределах предварительно определенной области 24 отображения скрытых субтитров. Контроллер 14 скрытых субтитров выполнен с возможностью отображать текущий субтитр текста 16 скрытых субтитров в подобласти 44 текущего субтитра. После обнаружения взгляда пользователя в подобласти 42 предшествующего субтитра, контроллер 14 выполнен с возможностью отображать предыдущий субтитр текста скрытых субтитров в подобласти 42 предшествующего субтитра и убирать на задний план текущий субтитр в области 44 текущего субтитра. После обнаружения взгляда 20 пользователя в подобласти 44 текущего субтитра, контроллер 14 скрытых субтитров выполнен с возможностью убирать на задний план предшествующий субтитр в подобласти предшествующего субтитра и повторно выводить на передний план текущий субтитр в подобласти текущего субтитра. Технологии для убирания на задний план и повторного вывода на передний план, описанные выше, также могут использоваться в этом контексте.

[0029] Фиг. 3A иллюстрирует предварительно определенную область 24 отображения скрытых субтитров, включающую в себя подобласть 42 предшествующего субтитра, позиционированную горизонтально рядом и слева от подобласти 44 текущего субтитра, которая позиционируется в центре экрана. Подобласть предшествующего субтитра может находиться слева от подобласти текущего субтитра для языков, которые читаются слева направо, и справа от подобласти текущего субтитра для языков, которые читаются справа налево. Также возможны другие конфигурации, такие как подобласти, вертикально смежные друг с другом. Фиг. 3A дополнительно иллюстрирует персонажа 28, произносящего строку диалога. Контроллер 14 скрытых субтитров может быть выполнен с возможностью отображать текущую строку диалога в качестве текущего субтитра в подобласти 44 текущего субтитра, когда взгляд 20 пользователя направлен на подобласть 44 текущего субтитра. Фиг. 3B иллюстрирует персонажа 28, произносящего следующую строку диалога. Контроллер 14 скрытых субтитров может быть выполнен с возможностью отображать предыдущую строку диалога в качестве предыдущего субтитра, когда взгляд 20 пользователя расположен в подобласти 42 предшествующего субтитра, как показано на фиг. 3B. Контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью отображать текущую строку диалога в качестве текущего субтитра, когда взгляд 20 пользователя расположен в подобласти 44 текущего субтитра, как показано на фиг. 3C. Такой признак повышает способность пользователя быстро улавливать пропущенный диалог. Например, пользователь 40 может просматривать всю строку пропущенного диалога посредством наблюдения подобласти 42 предшествующего субтитра и затем просматривать текущий субтитр посредством наблюдения подобласти 44 текущего субтитра. Фиг. 3A-3C иллюстрируют предыдущие и текущие субтитры, отображаемые в подобласти 42 предшествующего субтитра и подобласти 44 текущего субтитра, соответственно. Тем не менее, на практике, субтитры могут отображаться в любом подходящем местоположении на устройстве 12 отображения. Обращаясь теперь к фиг. 4A, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью обнаруживать взгляд 20 пользователя на область, в которой отображается персонаж на устройстве 12 отображения, и в ответ отображать текст 16 скрытых субтитров, соответствующий словам, произнесенным персонажем 28. Фиг. 4A иллюстрирует вариант осуществления системы 10, в которой контроллер 14 скрытых субтитров выполнен с возможностью отслеживать область вокруг каждого персонажа, отображаемого на устройстве 12 отображения. Как показано на фиг. 4B, контроллер 14 скрытых субтитров может быть дополнительно сконфигурирован таким образом, что когда взгляд 20 пользователя расположен на персонаже 28, текст 16 скрытых субтитров, соответствующий диалогу этого персонажа, отображается в предварительно определенной области 24 отображения скрытых субтитров. Такой признак позволяет улучшать впечатление от просмотра пользователей, просматривающих мультимедийный элемент на неродном языке. Например, акцент, диалект или разговорный стиль персонажа 28 может делать диалог персонажа особенно трудным для понимания неносителем языка. В таком случае, должно быть преимущественным для пользователя 40, если диалог персонажа отображается в предварительно определенной области 24 отображения скрытых субтитров. Контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью отображать диалог для персонажа 28, когда взгляд 20 пользователя перемещается от персонажа 28 на предварительно определенную область 24 отображения скрытых субтитров. Таким образом, например, если пользователь 40 просматривает телевизионную программу и пропускает диалог от персонажа 28, пользователь 40 может посмотреть от персонажа 28 на предварительно определенную область 24 отображения скрытых субтитров и просматривать пропущенный диалог.

[0030] Как показано на фиг. 4C, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью отображать текст 16 скрытых субтитров, когда пользователь 40 смотрит от персонажа 28 на другую предварительно определенную область, к примеру, местоположение 48 ниже устройства 12 отображения. Альтернативно, как показано на фиг. 4D, контроллер 14 скрытых субтитров может быть дополнительно выполнен с возможностью обнаруживать взгляд пользователя на область ниже персонажа, отображаемого на устройстве отображения, и отображать текст 16 скрытых субтитров, соответствующий словам, произнесенным персонажем 28, если взгляд 20 пользователя перемещается из области, в которой персонаж 28 отображается на устройстве отображения, в область 50 ниже персонажа 28 менее чем за предварительно определенный период времени. Контроллер 14 скрытых субтитров может иметь такую конфигурацию, в которой предварительно определенный период времени является достаточно коротким, чтобы обеспечивать то, что пользователь 40 выполняет быстрый тип "проведения вниз" жеста, а не просто смотрит на другой объект или персонаж на устройстве 12 отображения. Обращаясь далее к фиг. 5, проиллюстрирована блок-схема последовательности операций способа для способа 500 для управления скрытыми субтитрами. Способы, описанные далее, могут реализовываться на аппаратных средствах системы 10, описанной выше со ссылками на фиг. 1-4, или на других подходящих аппаратных средствах. Следует принимать во внимание, что подходящие аппаратные средства, на которых могут осуществляться способы, описанные в данном документе, включают в себя консоли для видеоигр, интеллектуальные телевизионные приемники, переносные и настольные персональные компьютеры, смартфоны, планшетные вычислительные устройства, шлемы-дисплеи и т.д.

[0031] Со ссылкой на фиг. 5A, на этапе 502 способ 500 может включать в себя отображение текста скрытых субтитров для мультимедийного элемента в ходе воспроизведения в предварительно определенной области отображения скрытых субтитров на устройстве отображения. На этапе 504 способ 500 может включать в себя обнаружение местоположения взгляда пользователя относительно устройства отображения. На этапе 506 способ 500 может включать в себя распознавание предварительно определенного шаблона взгляда для взгляда пользователя.

[0032] На этапе 508 способ 500 может включать в себя, после обнаружения предварительно определенного шаблона взгляда, частичное или полное убирание на задний план отображения текста скрытых субтитров.

[0033] Как показано на этапе 510, распознавание предварительно определенного шаблона взгляда на этапе 506 может включать в себя определение того, находится или нет местоположение взгляда пользователя в пределах предварительно определенной области отображения скрытых субтитров на устройстве отображения, на котором отображается текст скрытых субтитров. Дополнительно, как показано на этапе 512, частичное или полное убирание на задний план отображения текста скрытых субтитров на этапе 508 может включать в себя, если взгляд пользователя не находится в пределах предварительно определенной области отображения скрытых субтитров в течение более чем предварительно определенного периода времени, убирание на задний план отображения текста скрытых субтитров в предварительно определенной области отображения скрытых субтитров.

[0034] На этапе 514 способ 500 может включать в себя повторный вывод на передний план отображения текста скрытых субтитров в предварительно определенной области отображения скрытых субтитров, если взгляд пользователя находится в пределах предварительно определенной области отображения скрытых субтитров в течение более чем предварительно определенного периода времени.

[0035] Обращаясь далее к фиг. 5B, способ 500 может включать в себя, на этапе 516, обнаружение, на основе информации, включающей в себя направление и темп изменения взгляда пользователя, того, что взгляд пользователя перемещается в пределах предварительно определенной области отображения скрытых субтитров в направлении чтения с фильтруемой скоростью, которая находится в диапазоне скоростей чтения.

[0036] На этапе 518 способ 500 может включать в себя убирание на задний план текста скрытых субтитров посредством снижения непрозрачности текста скрытых субтитров в предварительно определенной области отображения скрытых субтитров, если взгляд пользователя находится в пределах предварительно определенной области отображения скрытых субтитров, но фильтруемая скорость взгляда пользователя обнаруживается за пределами диапазона скоростей чтения.

[0037] На этапе 520 способ 500 может включать в себя отслеживание скорости взгляда пользователя в пределах предварительно определенной области отображения скрытых субтитров и отображение вспомогательной информации относительно слова или фразы текста скрытых субтитров, если контроллер обнаруживает то, что скорость взгляда пользователя замедляется ниже предварительно определенного порогового значения низкой скорости чтения, либо он приостанавливается, по меньшей мере, в течение предварительно определенного времени задерживания взгляда на слове или слове во фразе в тексте скрытых субтитров.

[0038] На этапе 522 способ 500 может включать в себя, до отображения вспомогательной информации, изменение, по меньшей мере, одного из размера или шрифта слова или фразы в тексте скрытых субтитров, если контроллер обнаруживает то, что скорость взгляда пользователя замедляется ниже предварительно определенного порогового значения низкой скорости чтения, либо он приостанавливается, по меньшей мере, в течение предварительно определенного времени задерживания взгляда на слове или слове во фразе в тексте скрытых субтитров.

[0039] На этапе 524 способ 500 может включать в себя отслеживание расстояния между пользователем и устройством отображения и увеличение размера текста скрытых субтитров, если расстояние увеличивается, и уменьшение размера текста скрытых субтитров, если расстояние уменьшается.

[0040] Со ссылкой на фиг. 5C, способ 500 дополнительно может включать в себя, на этапе 526, задание множества смежных подобластей, включающих в себя подобласть предшествующего субтитра и подобласть текущего субтитра, в пределах предварительно определенной области отображения скрытых субтитров. На этапе 528 способ 500 может включать в себя отображение текущего субтитра текста скрытых субтитров в подобласти текущего субтитра. На этапе 530 способ 500 может включать в себя, после обнаружения взгляда пользователя в подобласти предшествующего субтитра, отображение предыдущего субтитра текста скрытых субтитров в области предыдущего субтитра и убирание на задний план текущего субтитра в области текущего субтитра. На этапе 532 способ может включать в себя, после обнаружения взгляда пользователя в подобласти текущего субтитра, убирание на задний план предшествующего субтитра в области предшествующего субтитра и повторный вывод на передний план текущего субтитра в области текущего субтитра. Технологии для убирания на задний план и повторного вывода на передний план могут быть аналогичными технологиям, описанным выше. Как описано выше, подобласть предшествующего субтитра может находиться слева от подобласти текущего субтитра для языков, которые читаются слева направо, и справа от подобласти текущего субтитра для языков, которые читаются справа налево. Подобласти могут быть горизонтально смежными в некоторых вариантах осуществления. Также возможны другие конфигурации, к примеру, размещение рядом сверху или снизу относительно друг друга.

[0041] На этапе 534 способ 500 может включать в себя обнаружение взгляда пользователя на область, в которой отображается персонаж на дисплее. На этапе 536 способ 500 может включать в себя, в ответ, отображение текста скрытых субтитров, соответствующего словам, произнесенным персонажем.

[0042] Следует принимать во внимание, что способ 500 предоставляется в качестве примера и не имеет намерение быть ограничивающим. Следовательно, необходимо понимать, что способ 500 может включать в себя дополнительные и/или альтернативные этапы по сравнению с этапами, проиллюстрированными на фиг. 5A, 5B и 5C. Дополнительно, следует понимать, что способ 500 может осуществляться в любом подходящем порядке. Также дополнительно, следует понимать, что один или более этапов могут опускаться из способа 500 без отступления от объема данного раскрытия.

[0043] В некоторых вариантах осуществления, способы и процессы, описанные в данном документе, могут быть связаны с вычислительной системой одного или более вычислительных устройств. В частности, такие способы и процессы могут реализовываться как прикладная компьютерная программа или служба, интерфейс прикладного программирования (API), библиотека и/или другой компьютерный программный продукт.

[0044] Фиг. 6 схематично показывает неограничивающий вариант осуществления вычислительной системы 600, которая может осуществлять один или более способов и процессов, описанных выше, и за счет этого служить для того, чтобы выступать в качестве системы 10, описанной выше. Вычислительная система 600 показана в упрощенной форме. Вычислительная система 600 может принимать форму одного или более аппаратных компонентов, таких как интеллектуальный телевизионный приемник, цифровое записывающее видеоустройство (DVR), проигрыватель цифровых видеодисков (DVD) или Blu-Ray®-дисков, устройство потоковой передачи мультимедиа, блок кабельного телевизионного конвертера, игровое устройство, персональный компьютер, сервер, планшетный компьютер, домашний мультимедийный компьютер, сетевое вычислительное устройство, мобильное вычислительное устройство, устройства мобильной связи (например, смартфон) и/или другие вычислительные устройства.

[0045] Вычислительная система 600 включает в себя логическую машину 602 и машину 604 хранения данных, выполненную с возможностью сохранять инструкции, выполняемые посредством логической машины 602. Вычислительная система 600 также может включать в себя подсистему 606 отображения, подсистему 608 ввода и подсистему 610 связи.

[0046] Логическая машина 602 включает в себя одно или более физических устройств, выполненных с возможностью приводить в исполнение инструкции. Например, логическая машина может быть выполнена с возможностью приводить в исполнение инструкции, которые являются частью одного или более приложений, служб, программ, процедур, библиотек, объектов, компонентов, структур данных или других логических структур. Такие инструкции могут реализовываться для того, чтобы выполнять задачу, реализовывать тип данных, преобразовывать состояние одного или более компонентов, достигать технического эффекта или иным образом добиваться требуемого результата.

[0047] Логическая машина 120 может включать в себя один или более процессоров, выполненных с возможностью приводить в исполнение программные инструкции. Дополнительно или альтернативно, логическая машина может включать в себя одну или более аппаратных или микропрограммных логических машин, выполненных с возможностью приводить в исполнение аппаратные или микропрограммные инструкции. Процессоры логической машины могут быть одноядерными или многоядерными, и инструкции, выполняемые на них, могут быть сконфигурированы с возможностью последовательной, параллельной и/или распределенной обработки. Отдельные компоненты логической машины необязательно могут быть распределены между двумя или более отдельных устройств, которые могут быть расположены удаленно и/или сконфигурированы с возможностью координированной обработки. Аспекты логической машины могут быть виртуализированы и выполнены посредством сетевых вычислительных устройств с удаленным доступом, сконфигурированных в облачной вычислительной конфигурации.

[0048] Машина 604 хранения данных включает в себя одно или более физических устройств, выполненных с возможностью хранить инструкции, выполняемые посредством логической машины, чтобы реализовывать способы и процессы, описанные в данном документе. Когда такие способы и процессы реализуются, состояние машины 604 хранения данных может быть преобразовано (например, чтобы хранить другие данные).

[0049] Машина 604 хранения данных может включать в себя съемные и/или встроенные устройства. Машина 604 хранения данных может включать в себя оптическое запоминающее устройство (например, CD, DVD, HD-DVD, Blu-Ray-диск и т.д.), полупроводниковое запоминающее устройство (например, RAM, EPROM, EEPROM и т.д.) и/или магнитное запоминающее устройство (например, накопитель на жестких дисках, накопитель на гибких дисках, накопитель на ленте, MRAM и т.д.), в числе других. Машина 604 для хранения данных может включать в себя энергозависимые устройства, энергонезависимые устройства, динамические устройства, статические устройства, неперезаписываемые устройства, постоянные запоминающие устройства, оперативные запоминающие устройства, устройства с последовательным доступом, устройства с адресацией по местоположениям, устройства с файловой адресацией и/или ассоциативные устройства.

[0050] В отличие от машины 604 хранения данных, которая включает в себя одно или более физических устройств, которые хранят инструкции в течение конечной длительности, аспекты инструкций, описанных в данном документе альтернативно, могут распространяться посредством среды связи (например, электромагнитного сигнала, оптического сигнала и т.д.), которая не хранится посредством физического устройства в течение конечной длительности.

[0051] Аспекты логической машины 602 и машины 604 хранения данных могут быть интегрированы в один или более аппаратных логических компонентов. Такие аппаратные логические компоненты могут включать в себя, например, программируемые пользователем вентильные матрицы (FPGA), программные и прикладные специализированные интегральные схемы (PASIC/ASIC), программные и прикладные специализированные микросхемы для массового производства (PSSP/ASSP), внутрикристальные системы (SOC) и комплексные программируемые логические устройства (CPLD).

[0052] Термины "модуль" и "программа" могут использоваться для того, чтобы описывать аспект вычислительной системы 600, реализованный с возможностью выполнять конкретную функцию. В некоторых случаях, экземпляр модуля или программы может создаваться через логическую машину 602, выполняющую инструкции, хранимые посредством машины 604 хранения данных. Следует понимать, что экземпляры различных модулей, программ и/или механизмов могут создаваться из идентичного приложения, службы, кодового блока, объекта, библиотеки, процедуры, API, функции и т.д. Аналогично, экземпляр идентичного модуля, программы и/или механизма может создаваться посредством различных приложений, служб, кодовых блоков, объектов, процедур, API, функций и т.д. Термины "модуль", "программа" и "механизм" могут охватывать отдельные или группы исполняемых файлов, файлов данных, библиотек, драйверов, сценариев, записей в базе данных и т.д.

[0053] Подсистема 606 отображения может использоваться для того, чтобы представлять визуальное представление данных, хранимых посредством машины 604 хранения данных. Это визуальное представление может принимать форму графического пользовательского интерфейса (GUI). Как описано в данном документе, способы и процессы изменяют данные, хранимые посредством машины хранения данных, и в силу этого преобразуют состояние машины хранения данных, состояние подсистемы 606 отображения аналогично может быть преобразовано таким образом, чтобы визуально представлять изменения базовых данных. Подсистема 606 отображения может включать в себя одно или более устройств отображения, использующих фактически любой тип технологии. Такие устройства отображения могут быть комбинированы с логической машиной 602 и/или машиной 1108 хранения данных в одном корпусе, либо такие устройства отображения могут представлять собой периферийные устройства отображения.

[0054] Подсистема 608 ввода может содержать или взаимодействовать с одним или более устройств пользовательского ввода, к примеру, с устройством 612 слежения за движениями глаз и камерой 614 с эффектом глубины, а также с клавиатурой, мышью, сенсорным экраном или игровым контроллером. Устройство 612 слежения за движениями глаз может быть выполнено с возможностью испускать инфракрасный (или другой) свет на пользователя и измерять роговичные отражения, а также формировать изображение зрачка каждого глаза, чтобы выявлять его относительную позицию, и на основе роговичных отражений и изображений зрачка вычислять оценочный взгляд пользователя. Другие подходящие технологии слежения за движениями глаз также могут использоваться для того, чтобы обнаруживать взгляд каждого пользователя. Камера 614 с эффектом глубины также может проецировать инфракрасный (или другой) свет на пользователя и использовать технологии распознавания на основе структурированного освещения или времени пролета для того, чтобы определять расстояние до пользователя, а также до других объектов в поле зрения камеры с эффектом глубины. Устройство 612 слежения за движениями глаз и камера 614 с эффектом глубины могут быть интегрированы в корпус отдельного устройства, к примеру, в устройство 18 слежения за движениями глаз, описанное выше, или могут формироваться неразъемными с оставшимися компонентами вычислительной системы 600. Подсистема ввода может содержать или взаимодействовать с выбранными компонентами естественного пользовательского ввода (NUI), два примерами которых представляют собой устройство 612 слежения за движениями глаз и камеру 614 с эффектом глубины. Такие компоненты могут быть интегрированными или периферийными, и преобразование и/или обработка действий ввода может проводиться внутри или вне платы. Примерные NUI-компоненты могут включать в себя микрофон для распознавания речи и/или голоса; камеру 614 для съемки в инфракрасном диапазоне, камеру для цветной съемки, стереоскопическую камеру и/или камеру с эффектом глубины для машинного зрения и/или распознавания жестов; устройство слежения за положением головы, устройство слежения за движениями глаз, акселерометр и/или гироскоп для обнаружения движения и/или распознавания намерений; а также компоненты чтения электрического поля для оценки мозговой активности. Устройство 612 слежения за движениями глаз и камера 614 с эффектом глубины, например, могут быть помещены в один корпус с оставшимися компонентами вычислительной системы 600 или могут формироваться отдельно, как проиллюстрировано на фиг. 1A-1G. Дополнительно, в некоторых вариантах осуществления, шлем-дисплей может предоставляться в качестве части подсистемы 608 ввода для ношения пользователями. Шлем-дисплей может иметь камеры, оснащенные возможностью формировать изображение подсистемы 606 отображения, и внутренние акселерометры и гироскопы для определения ориентации головы и массивы микрофонов для определения направлений испускаемых звуков из подсистемы 606 отображения, и на этих вводах можно основываться дополнительно или альтернативно для того, чтобы определять взгляд на подсистеме 606 отображения от каждого пользователя, носящего шлем-дисплей.

[0055] В проиллюстрированном варианте осуществления, программный контроллер 614 скрытых субтитров и мультимедийный проигрыватель 618 показаны как сохраненные в машине 604 хранения данных. Эти программы могут исполняться посредством логической машины 602. При выполнении, мультимедийный проигрыватель выполнен с возможностью отображать мультимедийный элемент 23 на подсистеме 606 отображения, и программа 616 контроллера скрытых субтитров выполнена с возможностью принимать данные слежения за движениями глаз из устройства 612 слежения за движениями глаз и данные камеры с эффектом глубины из камеры 614 с эффектом глубины, выступать в качестве контроллера 14 и отображать текст скрытых субтитров различными способами, описанными выше, на подсистеме 606 отображения.

[0056] Если включена, подсистема 610 связи может быть выполнена с возможностью функционально соединять вычислительную систему 600 с одним или более других вычислительных устройств. Подсистема 610 связи может включать в себя устройства проводной и/или беспроводной связи, совместимые с одним или более различных протоколов связи. В качестве неограничивающих примеров, подсистема связи может быть выполнена с возможностью связи через беспроводную телефонную сеть либо проводную или беспроводную локальную или глобальную вычислительную сеть. В некоторых вариантах осуществления, подсистема связи может обеспечивать возможность вычислительной системе 600 отправлять и/или принимать сообщения в и/или из других устройств через сеть, к примеру, Интернет.

[0057] В проиллюстрированном варианте осуществления, программа 612 управления скрытыми субтитрами и мультимедийный проигрыватель 614 показаны как сохраненные в машине 604 хранения данных. Эти программы могут исполняться посредством логической машины 602. При выполнении, мультимедийный проигрыватель выполнен с возможностью отображать мультимедийный элемент 23 на подсистеме 606 отображения. Программа 616 управления скрытыми субтитрами выполнена с возможностью

[0058] Следует понимать, что конфигурации и/или подходы, описанные в данном документе, являются примерными по своему характеру, и что эти конкретные варианты осуществления или примеры не должны рассматриваться в ограничивающем смысле, поскольку возможно множество изменений. Конкретные процедуры или способы, описанные в данном документе, могут представлять одну или более из любого числа стратегий обработки. В связи с этим, различные проиллюстрированные и/или описанные действия могут выполняться в проиллюстрированной и/или описанной последовательности, в других последовательностях, параллельно либо опускаться. Аналогично, порядок вышеописанных процессов может быть изменен.

[0059] Объем изобретения согласно настоящему раскрытию включает в себя все новые и неочевидные комбинации и подкомбинации различных процессов, систем и конфигураций, а также других признаков, функций, действий и/или свойств, раскрытых в данном документе, как и все без исключения эквиваленты означенного.