СПОСОБ ПЕРЕДАЧИ, СПОСОБ ПРИЕМА, ВИДЕОУСТРОЙСТВО И СИСТЕМА БАЗЫ ДАННЫХ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Описывается способ передачи в видео устройстве, подсоединенном к системе базы данных. Система базы данных содержит базу данных визуальных объектов, возможно ассоциированных с метаданными. Способ приема в системе базы данных также описывается. Изобретение дополнительно относится к соответствующему видео устройству и соответствующей системе базы данных.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ

При просмотре видео известно увеличение видео контента дополнительными данными, известными как метаданные. Эти метаданные могут быть цифровыми данными, так же, как и текстовыми данными, которые ассоциируются как с видео сегментами (то есть группами последовательных кадров), так и сегментами в кадрах (то есть поверхностями, составленными из смежных пикселей, таких как пиксельные блоки). Обычно метаданные ассоциируются с конкретными визуальными объектами в видео контенте. Такие визуальные объекты в видео обычно составляются из сегментов в кадре, которые могут иметь некоторое семантическое значение и которые появляются, по меньшей мере, на нескольких последовательных кадрах. Например, изображено на фигуре 1, при просмотре матча по теннису пользователь может получать доступ к информации относительно счета игроков просто посредством выбора на картинке видео визуального объекта, который соответствует игроку. В еще одном примере пользователь может получать доступ к информации относительно продукта в кино, отображенного на экране, например, дополнительной информации относительно солнцезащитных очков, которые носит актер. С этой целью пользователь выбирает визуальный объект, который соответствует солнцезащитным очкам на картинке кино. Визуальные объекты обычно хранятся с ассоциированными метаданными в системе базы данных, удаленно подсоединенной к видео приемнику. Когда пользователь выбирает визуальный объект на стороне видео приемника с помощью сенсорного экрана, например, запрос посылается в систему базы данных. В свою очередь, система базы данных посылает метаданные, ассоциированные с выбранным объектом, на видео приемник. Такая система, однако, является не очень гибкой. Как пример, пользователь при просмотре матча по теннису может выбирать визуальный объект, представляющий счет с именем игрока вместо самого игрока, как изображено на фигуре 2. В этом случае метаданные, ассоциированные с визуальным объектом "игрок", не отображаются. Только метаданные, ассоциированные с визуальным объектом "счет", отображаются.

КРАТКОЕ ОПИСАНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Цель изобретения состоит в том, чтобы преодолеть по меньшей мере один из недостатков предшествующего уровня техники. Описывается способ передачи в видео устройстве, подсоединенном к системе базы данных визуальных объектов. Способ содержит:

- выбор первого визуального объекта в видео контенте;

- выбор второго визуального объекта в видео контенте; и

- передачу в систему базы данных по меньшей мере одной информации относительно ассоциации первого визуального объекта со вторым визуальным объектом.

Способ дополнительно содержит прием метаданных, ассоциированных с одним из первого и второго визуальными объектами, когда другой из первого и второго объектов выбирается.

В соответствии с конкретным вариантом осуществления, способ дополнительно содержит после выбора первого визуального объекта передачу первого запроса в систему базы данных для проверки на наличие первого визуального объекта в системе базы данных.

В соответствии с конкретным вариантом осуществления, способ дополнительно содержит, после выбора второго визуального объекта, посылку второго запроса в систему базы данных для проверки на наличие второго визуального объекта в системе базы данных.

Преимущественно, выбор первого визуального объекта содержит нажатие для выбора первого визуального объекта.

В соответствии с конкретной характеристикой изобретения, выбор второго визуального объекта содержит, после нажатия для выбора первого визуального объекта, протягивание ко второму визуальному объекту, отпускание нажатия и дополнительное нажатие для выбора второго визуального объекта.

В соответствии с аспектом изобретения, посылка запроса в систему базы данных для проверки на наличие визуального объекта в системе базы данных содержит посылку по меньшей мер, одного графического признака, определенного из визуального объекта.

В соответствии с конкретной характеристикой, этим по меньшей мере одним графическим признаком является набор цветных гистограмм, определенных посредством разделения визуального объекта на маленькие блоки и вычисления гистограммы цветов для каждого из блоков.

Способ приема в системе базы данных визуальных объектов, ассоциированных с метаданными, при этом система базы данных подсоединена к видео устройству, также описывается. Способ приема содержит:

- прием от видео устройства информации относительно ассоциации первого визуального объекта со вторым визуальным объектом; и

- привязку в системе базы данных первого визуального объекта и второго визуального объекта после приема упомянутой информации.

В соответствии с аспектом изобретения, привязка первого визуального объекта и второго визуального объекта содержит ассоциацию любых метаданных одного из первого и второго визуальных объектов с другим из первого и второго объектов.

Преимущественно, способ дополнительно содержит прием от видео устройства запроса для проверки на наличие первого визуального объекта в системе базы данных, проверку на наличие первого визуального объекта в системе базы данных после приема запроса и добавление первого визуального объекта в систему базы данных, если он не присутствует.

Преимущественно, способ дополнительно содержит прием от видео устройства запроса для проверки на наличие второго визуального объекта в системе базы данных, проверку на наличие второго визуального объекта в системе базы данных после приема запроса и добавление второго визуального объекта в систему базы данных, если он не присутствует.

В соответствии с аспектом изобретения, прием запроса для проверки на наличие визуального объекта содержит прием по меньшей мере одного графического признака, определенного из визуального объекта.

В соответствии с конкретной характеристикой по меньшей мере одним графическим признаком является набор гистограмм цветов, определенных посредством деления визуального объекта на маленькие блоки, и вычисление гистограммы цветов для каждого из блоков.

В соответствии с конкретным вариантом осуществления, проверка на наличие визуального объекта в системе базы данных содержит сравнение принятого по меньшей мере одного графического признака с каждым графическим признаком, ассоциированным с каждым визуальным объектом системы базы данных.

Описывается видео устройство, подсоединенное к системе базы данных, содержащей базу данных визуальных объектов. Видео устройство содержит:

- средство для выбора первого визуального объекта в видео контенте;

- средство для выбора второго визуального объекта в видео контенте; и

- средство для передачи в систему базы данных по меньшей мере одной информации относительно ассоциации первого визуального объекта со вторым визуальным объектом.

Система базы данных визуальных объектов, ассоциированных с метаданными, причем эта система базы данных подсоединена к видео устройству, также описывается. Система базы данных содержит:

- средство для приема от видео устройства информации относительно ассоциации первого визуального объекта со вторым визуальным объектом; и

- средство для привязки в системе базы данных первого визуального объекта и второго визуального объекта после приема информации.

Видео система, содержащая систему базы данных визуальных объектов, ассоциированных с метаданными, подсоединенными по меньшей мере к одному видео устройству, также описывается.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Другие признаки и преимущества изобретения станут очевидными из следующего описания некоторых его вариантов осуществления, это описание приводится совместно с чертежами, на которых:

- Фиг. 1 является картинкой теннисного матча, содержащей визуальный объект "теннисист", ассоциированный с метаданными, отображенными с картиной;

- Фиг. 2 является картинкой теннисного матча, содержащего два визуальных объекта, одним является игрок и вторым является его счет;

- Фиг. 3 изображает видео систему в соответствии с примерным вариантом осуществления изобретения;

- Фиг. 4 изображает, в соответствии с примерным вариантом осуществления изобретения, блок-схему способа передачи в видео устройстве, подсоединенном к системе базы данных визуальных объектов.

- Фиг. 5 иллюстрирует принцип графического признака, основанный на блоке;

- Фиг. 6 изображает, в соответствии с примерным вариантом осуществления изобретения, блок-схему способа приема в системе базы данных визуальных объектов, ассоциированных с метаданными;

- Фиг. 7 иллюстрирует принцип хранения привязанных визуальных объектов в качестве цепочек двойной привязки, в соответствии с примерным вариантом осуществления изобретения;

- Фиг. 8 показывает пирамидальную структуру визуального объекта;

- Фиг. 9 изображает на той же блок-схеме, в соответствии с дополнительным вариантом осуществления изобретения, как способ передачи, так и способ приема;

- Фиг. 10 показывает пример, в котором пользователь ассоциирует первый визуальный объект 'REY' со вторым визуальным объектом 'игрок';

- Фиг. 11 изображает программу в реальном времени, отображенную в режиме PiP (Картинка в Картинке), в то время как часть видео, определенного посредством метаданных, отображается на главной части экрана; и

- Фиг. 12 изображает видео приемник, в соответствии с примерным вариантом осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

На чертежах представленные поля (прямоугольники) являются чисто функциональными объектами, которые не обязательно соответствуют отдельным физическим объектам. Как будет оценено специалистами в данной области техники, аспекты настоящих принципов могут быть осуществлены в качестве системы, способа или считываемого компьютером носителя. Соответственно, аспекты настоящих принципов могут принимать форму варианта осуществления полного аппаратного обеспечения, варианта осуществления полного программного обеспечения (включая в себя программно-аппаратное обеспечение, резидентское программное обеспечение, микрокод и т.д.) или вариант осуществления, объединяющий в себе аспекты программного и аппаратного обеспечения, которое все в общем может называться в настоящем описании "схемой", "модулем" или "системой". Кроме того, аспекты настоящих принципов могут принимать форму считываемого компьютером носителя данных. Любая комбинация одного или более считываемого компьютером носителя(ей) данных может быть использована.

Последовательность операций и/или блок-схемы на чертежах иллюстрируют конфигурацию, операцию и функциональность возможных реализаций систем, способов и компьютерных программных продуктов в соответствии с различными вариантами осуществления настоящего изобретения. В этом отношении каждый блок в последовательности операций или блок-схемах может представлять модуль, сегмент или часть кода, который содержит одну или несколько выполняемых команд для реализации указанной логической функции(й). Необходимо также отметить, что в некоторых альтернативных реализациях функции, отмеченные в блоке, могут выбиваться из порядка, отмеченного на чертежах. Например, два блока, показанные по очереди, могут, фактически, выполняться, по существу, одновременно, или эти блоки могут иногда выполняться в обратном порядке, или блоки могут выполняться в альтернативном порядке, в зависимости от вовлеченной функциональности. Должно быть также отмечено, что каждый блок блок-схемы и/или иллюстрация последовательности операций и комбинация блоков в блок-схемах и/или иллюстрация блок-схемы могут быть реализованы посредством системы, основанной на аппаратном обеспечении специального назначения, которая выполняет конкретные функции или действия, или комбинации компьютерных команд и команд аппаратного обеспечения специального назначения. В то время как не явно описано, настоящие варианты осуществления могут использоваться в любой комбинации или подкомбинации.

Ссылаясь на фигуру 3, описывается видео система в соответствии с примерным вариантом осуществления изобретения. Видео система содержит систему 10 базы данных. Система 10 базы данных содержит систему 100 управления базой данных (DBMS) и базу 110 данных. DBMS 100 является набором компьютерного программного обеспечения, предоставляющего интерфейс между пользователями и базой данных. DBMS 100 является ответственной за обслуживание данных, поэтому вставляет новые данные в существующие структуры данных, обновляет данные в существующих структурах данных, удаляет данные из существующих структур данных. DBMS 100 является также ответственной за поиск данных после запроса пользователя для более точного использования посредством приложений. DBMS 100 дополнительно также управляет доступом к базе 110 данных. Система 10 базы данных подсоединяется к множеству видео устройств 20, 30, 40 и т.д. Визуальные объекты, ассоциированные с метаданными, хранятся в базе 110 данных. Визуальными объектами являются, например, визуальные объекты, то есть части изображения, имеющие семантическое значение и появляющиеся, по меньшей мере, на нескольких последовательных картинках. Метаданными являются, например, извлеченные из видео анализа или могут быть предоставлены посредством устройства вещания. Ассоциированные метаданные могут быть как числовыми, так и текстовыми данными. Это могут быть предварительно отформатированные данные (например, HTML код или представление XML), которые заключают (в себе) формат отображения, или это может быть некоторая картинка с Альфа каналом, который должен быть вставлен в некоторую позицию в отображаемом видео. В соответствии с вариантом, система 10 базы данных располагается в одном из видео устройств 20, 30, 40 и т.д.

Ссылаясь на фиг. 4, описывается способ передачи в видео устройстве, подсоединенном к системе базы данных визуальных объектов. На фиг. 4 представленными полями являются чисто функциональные объекты, которые не обязательно соответствуют отдельным физическим объектам. А именно, они могли быть разработаны в форме программного обеспечения или реализованы в одной или нескольких интегральных схемах. Способы могут быть осуществлены в считываемом компьютером носителе и выполняемом посредством компьютера.

На этапе 12 первый визуальный объект VE1 выбирается в видео контенте. Конкретно, видео устройство, подсоединенное к базе данных, принимает выбор первого визуального объекта VE1, например, сделанный пользователем. Действительно, выбор инициируется пользователем, но принимается посредством видео устройства. Визуальный объект VE1, например, выбирается посредством щелчка мышкой (нажатием клавиши мыши). Более точно, пользователь надавливает на кнопку мыши для выбора первого визуального объекта VE1. В соответствии с вариантом, пользователь непосредственно надавливает на сенсорный экран для выбора первого визуального объекта VE1. Первый визуальный объект может также быть выбран посредством голосовой команды или команды жестом. На этапе 14 второй визуальный объект VE2 выбирается в видео контенте. Конкретно, видео устройство принимает выбор второго визуального объекта VE2, например, сделанный пользователем. Второй визуальный объект VE2 выбирается таким же способом, что и первый визуальный объект, то есть как посредством щелчка мышью, так и непосредственно нажатием на сенсорный экран, голосовой командой или командой жестом. После щелчка по VE1, на этапе 12, выбор VE2 может также быть сделан или протягиванием представления VE1 или курсора на VE2, затем отпусканием нажатия или перетаскивания представления VE1 или курсора на VE2, затем отпусканием нажатия и, наконец, щелчком/нажатием на VE2 для подтверждения выбора. В этом последнем случае, если конечный щелчок/нажатие для подтверждения выбора происходит далеко, то есть на расстоянии выше порогового значения от точки отпускания нажатия, тогда весь процесс отменяется. Второй визуальный объект может также быть выбран посредством голосовой команды или команды жестом. В соответствии с вариантом, если временная задержка между этапами 12 и 14 выше заданного порогового значения, то весь процесс отменяется.

На этапе 16 один элемент информации относительно ассоциации упомянутого первого визуального объекта VE1 с упомянутым вторым визуальным объектом VE2 передается в систему базы данных. Пунктом информации является, например, простой запрос для ассоциации с базой данных обоих объектов.

В соответствии с улучшенным вариантом осуществления способ передачи дополнительно содержит, на этапе 13, после выбора первого визуального объекта, передачу/посылку первого запроса в систему базы данных для проверки на наличие первого визуального объекта VE1 в системе базы данных. Действительно, первым визуальным объектом является, возможно, новый визуальный объект, еще не записанный в базе данных. При его отсутствии VE1 добавляется к базе данных с его графическим признаком, который будет позже распознан. Таким же образом способ дополнительно содержит, на этапе 15, после выбора второго визуального объекта посылку второго запроса в упомянутую систему базы данных для проверки на наличие второго визуального объекта в системе базы данных. В соответствии с конкретным вариантом осуществления изобретения, посылка запроса в систему базы данных для проверки на наличие визуального объекта как первого, так и второго визуального объекта в системе базы данных содержит посылку по меньшей мере одного графического признака или более широко описательного признака (например, позиция в кадре), определенного из визуального объекта. Как пример, изображенный на фиг. 5, графическим признаком является набор гистограмм цветов, определенных посредством разделения визуального объекта на блоки изображения и вычисление гистограммы цветов для каждого блока изображения. Гистограммой цветов является, таким образом, представление распределения цветов в блоке изображения. Более точно цветовое пространство разделяется на диапазоны цветов. Для каждого диапазона цветов вычисляется количество пикселей, чье значение цвета попадает в диапазон. Так как гистограмма цветов вычисляется для каждого блока изображения, набор гистограмм цветов, таким образом, вычисляется для одного визуального объекта. Переданной информацией является список или множество представлений блоков, например гистограмм цветов. Каждое представление блока может быть списком пар <значения компонентов цвета; количество пикселей>, как описано в следующей таблице.

Если второй визуальный объект VE2 не присутствует в базе данных, то он является новым визуальным объектом VE2, и он вставляется в базу данных со своим графическим признаком. Чтобы быть позже распознанным в качестве записи в базе данных, он должен получить достаточно обобщенное описание. Таким описанием является, например, набор гистограмм цветов.

В соответствии с вариантом, этапы 12 и 14 осуществляются первыми. Затем этапы 13, 15 и 16 объединяются в единственный этап. Более точно, VE1 выбирается первым, затем выбирается VE2. Наконец, единственный запрос передается/посылается в базу данных для проверки на наличие в базе данных VE1 и VE2 (добавление их при необходимости с их графическими признаками) и для привязки обоих объектов. В соответствии с другим вариантом, только этапы 15 и 16 объединяются в единственный этап, то есть единственный запрос передается в базу данных для проверки на наличие в базе данных VE2 (добавление его при необходимости с его графическими признаками) и для привязки обоих объектов.

Позже, когда пользователь выбирает один визуальный объект, например VE1, в одном из видео устройств 20, 30, 40 и т.д., подсоединенных к системе базы данных, он принимает метаданные, ассоциированные с выбранным визуальным объектом, и метаданные, ассоциированные с любым из визуальных объектов, привязанных к выбранным визуальным объектом в системе базы данных.

В базе 110 данных метаданные, графические признаки и привязки могут быть сохранены в качестве трех простых карт:

- первая карта отображает метаданные по идентификаторам визуальных объектов;

- вторая карта отображает идентификаторы привязанных объектов с заданным идентификатором визуального объекта; и

- третья карта отображает графические признаки по каждому идентификатору визуального объекта.

Ссылаясь на фигуру 6, описывается способ приема в систему базы данных визуальных объектов, ассоциированных с метаданными, причем упомянутая система базы данных подсоединена к видео устройству. На фигуре 5 представленными полями являются чисто функциональные объекты, которые не обязательно соответствуют отдельным физическим объектам. А именно, они могут быть разработаны в форме программного обеспечения или реализованы в одной или нескольких интегральных схемах. Способы могут быть осуществлены в считываемом компьютером носителе и выполняющимся посредством компьютера.

На этапе 22 информационный элемент (например, запрос на привязку двух объектов) относительно ассоциации первого визуального объекта со вторым визуальным объектом принимается посредством системы базы данных из упомянутого видео устройства.

На этапе 24 первый визуальный объект и второй визуальный объект привязываются для приема информации в базу данных. В соответствии с конкретным вариантом осуществления привязка первого визуального объекта и второго визуального объекта содержит ассоциацию любых метаданных одного из упомянутых первого и второго визуальных объектов с другим из упомянутых первого и второго объекта. Привязка, например, создается в качестве списка пар идентификаторов визуальных объектов, как в таблице 1. В соответствии с вариантом, каждая пара дублируется с реверсивными первым и вторыми компонентами для облегчения поиска в базе данных. Как пример, пара (ID_1, ID_2) также хранится как (ID_2, ID_1).

В соответствии с вариантом, привязки создаются в качестве карты или словаря, соединяющего идентификаторы визуальных объектов вместе. Такой словарь, например, определяется в качестве хэш карты, например { ID_1: [ID_2, ID_5], ID_2: [ID_1, ID_5], ID_3: [ID_4], ID_4: [ID_3], ID_5: [ID_1, ID_2] }.

В соответствии с еще одним вариантом, цепочки единственной привязки или цепочки двойной привязки визуальных объектов хранятся в базе данных. На фигуре 7 представляются две цепочки двойной привязки. В единственной цепочке привязки ID1 → ID2 и ID2 → ID1 привязываются с помощью двух объектов, в то время как в цепочке двойной привязки ID1 ↔ ID2 привязываются с помощью единственного объекта.

В соответствии с улучшенным вариантом осуществления, способ содержит прием от видео устройства первого запроса для проверки на наличие первого визуального объекта в системе базы данных, проверку на наличие первого визуального объекта в системе базы данных после приема запроса и добавление первого визуального объекта с его графическим признаком в систему базы данных, если он не присутствует. Таким же образом, способ дополнительно содержит прием от видео устройства второго запроса для проверки на наличие второго визуального объекта в системе базы данных, проверку на наличие второго визуального объекта в системе базы данных на прием запроса и добавление второго визуального объекта с его графическим признаком в систему базы данных, если он не присутствует. В соответствии с одним вариантом, единственный запрос принимается от видео устройства посредством системы базы данных для проверки на наличие второго визуального объекта и для дополнительной привязки этих двух объектов. В соответствии с еще одним вариантом единственный запрос принимается для проверки на наличие обоих визуальных объектов и для дополнительной привязки этих двух объектов.

Например, прием запроса на наличие визуального объекта содержит прием по меньшей мере одного графического признака, определенного из визуального объекта. Графическим признаком является представление визуального объекта и является, например, составленным из набора гистограмм цветов, определенных посредством разделения визуального объекта на блоки изображения и вычисления гистограммы цветов для каждого из блоков изображения. Другим графическим признаком является, например, набор областей цвета, полученных посредством сегментации цвета. Другим описательным признаком является размер и позиция визуального объекта в кадре.

Проверка на наличие визуального объекта в системе базы данных содержит сравнение принятого графического признака с каждым графическим признаком, ассоциированным с каждым визуальным объектом системы базы данных. Графический признак, ассоциированный с каждым визуальным объектом системы базы данных, предпочтительно хранится в базе данных с визуальным объектом и его метаданными. Поэтому для проверки того, хранится ли уже визуальный объект, выбранный посредством видео устройства, в базе данных, DMBS сравнивает принятый графический признак с графическими признаками всех визуальных объектов базы данных. Если DMBS находит визуальный объект, хранящийся в базе данных, чей графический признак является близким в смысле некоторого расстояния к принятому графическому признаку, это означает, что визуальный объект уже хранится. Иначе, новый визуальный объект добавляется к базе данных с принятым графическим признаком.

Расстояние между двумя цветными гистограммами, например, определяется в соответствии со следующим уравнением:

(i, j) являются координатами блока, чьи гистограммы цветов сравниваются. Основой этой функции является - расстояние между цветами, для которых любое известное расстояние может использоваться (L1, L2, Евклидово расстояние …).

Поэтому, каждая гистограмма визуального объекта, которая должна быть проверена, сравнивается с пространственно соответствующей гистограммой визуального объекта в базе данных.

Как только расстояние между гистограммами цветов вычислено для каждого блока, полное расстояние вычисляется между обоими визуальными объектами, как взвешенная функция всех расстояний блоков:

с количеством n и m блоков (строки и колонки), описывающих объект.

Если полное расстояние ниже порогового значения, то визуальный объект таким образом распознается, чтобы быть сохраненным в базе данных.

Преимущественно, веса W_{i, j} определяются также как более внешние блоки имеют более низкий вес. Таблица 2 ниже показывает пример таких весов

В соответствии с одним вариантом, представление визуального объекта составляется из пирамидальной структуры гистограмм цветов, как изображено на фигуре 8. Процесс, описанный выше, применяется на любом уровне пирамидального описания. Чем описание более грубое, тем более быстрое решение относительно наличия визуального объекта в базе данных принимается. Если на данном уровне пирамиды DMBS не находит визуальный объект в базе данных, чей графический признак близок к принятому графическому признаку, то визуальный объект, как предполагается, не присутствует в базе данных и добавляется со своим графическим признаком. В любое время более точный уровень описания может использоваться для усовершенствования процесса обнаружения, когда близкий визуальный объект найден на более грубом уровне. Наличие визуального объекта в системе базы данных подтверждается только, когда самый точный уровень описания используется для обработки. В соответствии с одним вариантом, наличие визуального объекта в системе базы данных подтверждается, когда расстояние ниже заданного порогового значения.

Затем на необязательном этапе 26 система базы данных, возможно, передает как метаданные, ассоциированные с выбранным визуальным объектом, так и метаданные, ассоциированные с любым из визуальных объектов, связанным с выбранным визуальным объектом в системе базы данных. Выбор визуального объекта делается в любом из видео устройств 20, 30, 40 и т.д.

Фиг. 9 изображает на аналогичной блок-схеме как способ передачи, так и способ приема в соответствии с дополнительным вариантом осуществления изобретения. На этой фигуре некоторые этапы, таким образом, имеют место в видео приемнике, в то время как другие имеют место в системе базы данных.

На этапе 32 в видео приемнике пользователь выбирает первый визуальный объект VE1, например, посредством задержки нажатия (пальцем или кнопкой мыши) на первый визуальный объект VE1. Конкретно, видео приемник принимает выбор первого визуального объекта VE1, то есть сделанного пользователем.

На этапе 33 в видео приемнике графические признаки VE1 (например, цвета, форма, градиенты и т.д.) извлекаются из текущего кадра и первый запрос посылается в систему базы данных.

На этапе 34 в системе базы данных наличие визуального объекта VE1 в базе данных проверяется посредством сравнения принятого графического признака с графическими признаками визуальных объектов, хранящихся в базе данных. Если визуальный объект VE1 не обнаруживается как присутствующий в базе данных, то VE1 добавляется в базу данных в качестве новой записи с его графическим признаком.

На этапе 35 в видео приемнике пользователь выбирает второй визуальный объект VE2, например, посредством щелчка на VE2 или последовательного перетаскивания VE1 в видео на VE2 и отпускания нажатия. В соответствии с одним вариантом выбор второго объекта VE2 делается посредством последовательного перетаскивания VE1 в видео на VE2, отпускания нажатия и затем щелчка по VE2 для подтверждения выбора. Конкретно, видео приемник принимает выбор первого визуального объекта VE1, то есть сделанный пользователем.

На этапе 36 в видео приемнике графические признаки VE2 (например, цвета, форма, градиенты и т.д.) извлекаются из текущего кадра и второй запрос посылается в систему базы данных.

На этапе 37 в системе базы данных наличие визуального объекта VE2 в базе данных проверяется посредством сравнения принятого графического признака с графическими признаками визуальных объектов, хранящихся в базе данных. Если визуальный объект VE2 не обнаруживается как присутствующий в базе данных, то он добавляется в базу данных в качестве новой записи с его графическим признаком.

На этапе 38 в видео приемнике один информационный элемент относительно ассоциации первого визуального объекта VE1 со вторым визуальным объектом VE2 передается в систему базы данных. В соответствии с одним вариантом этап 38 объединяется с этапом 36. В этом случае на этапе 36 графические признаки VE2 (например, цвета, форма, градиенты, позиция и т.д.) извлекаются из текущего кадра и второй запрос передается/посылается в систему базы данных для проверки на наличие визуального объекта VE2 в базе данных и, дополнительно, для привязки VE1 и VE2. В соответствии с еще одним вариантом этапы 33, 36 и 38 объединяются в единственный этап. В этом случае VE1 и графические признаки VE2 извлекаются из текущего кадра, и запрос передается/посылается в систему базы данных для проверки на наличие визуальных объектов VE1 и VE2 в базе данных и, дополнительно, для привязки VE1 и VE2.

На этапе 39 в системе базы данных VE1 и VE2 привязываются.

Позже в любом видео приемнике, подсоединенном к системе базы данных, когда пользователь выбирает VE1 или VE2 для получения метаданных, он принимает как метаданные, ассоциированные с выбранным визуальным объектом, так и все метаданные, ассоциированные с визуальными объектами, отличающимися от выбранного визуального объекта, но привязанного к нему в базе данных. Как изображено на фиг. 10, после приема метаданных, ассоциированных с выбранным визуальным объектом, пользователь выбирает одни из этих метаданных, например лучшие моменты матча, благодаря которым выбранный игрок ранее победил. Часть видео, соответствующего выбранным метаданным, затем отображается или в режиме PiP, или на главной части экрана, в то время как видео в реальном времени отображается в режиме PiP.

Фиг. 11 показывает пример, в котором пользователь ассоциирует первый визуальный объект 'REY' со вторым визуальным объектом 'игрок'. Пользователь щелкает на 'REY', затем протягивает часть счета под названием 'REY' во второй визуальный объект (в настоящем описании игрок, метки '1a' - '1d'), затем отпускает кнопку мыши и щелкает на визуальный объект для привязки (метка '2'). 'REY' и предназначенный визуальный объект, то есть отображенное изображение самого игрока, затем привязываются в базе данных. Следовательно, метаданные, ассоциированные с 'REY', затем являются доступными, когда позже пользователь выбирает визуальный объект назначения и наоборот. Любые метаданные или информация, ранее ассоциированная с 'REY', является, например, именем игрока, в настоящем описании Рейнолдс, теперь также ассоциируются с визуальным объектом назначения.

Фиг. 12 представляет примерную архитектуру видео устройства 40. Видео устройство 40 содержит следующие элементы, которые привязываются вместе посредством данных и адресной шины 44:

- микропроцессор 41 (или CPU), который является, например, DSP (или цифровым сигнальным процессором);

- ROM (или постоянное запоминающее устройство) 42;

- RAM (или память с произвольным доступом) 43;

- модуль ввода/вывода 45 для приема видео контента, метаданных и для передачи информации запросов, относительно ассоциации визуальных объектов;

- батарею 46;

- дисплей 47; и возможно

- пользовательский интерфейс.

Каждый из этих элементов на Фиг. 10 известен специалистам в данной области техники и не будет описываться дополнительно. В каждой упомянутой памяти слово "регистр", используемое в спецификации, может соответствовать области маленькой емкости (несколько бит) или очень большой области (например, полная программа или большое количество принятых или декодированных данных). Алгоритмы способа передачи, в соответствии с примерным вариантом осуществления изобретения, хранятся в ROM 42. При включении CPU 41 загружает программу в RAM и выполняет соответствующие команды. RAM 43 содержит в регистре программу, выполняемую посредством CPU 41 и загружаемую после включения устройства 40. В соответствии с вариантом изобретения, цифровая часть устройства 30 реализуется в конфигурации только аппаратного обеспечения (например, в одном или нескольких FPGA, ASIC или VLSI с соответствующей памятью) или в конфигурации, использующей как VLSI, так и DSP.

Архитектура видео устройства 20 и 30 является идентичной архитектуре, описанной выше для устройства 40.

Когда первый пользователь ассоциирует два визуальных объекта, система базы данных, таким образом, принимает информацию относительно этой ассоциации и таким образом привязывает эти два объекта, то есть создает связь между этими двумя объектами. Как только визуальные объекты привязываются в базе данных, любая информация/метаданные, ассоциированные с одним из этих объектов, немедленно ассоциируются с другими. Следовательно, когда позже пользователь, то есть как первый пользователь, так и другой, выбирают любой из этих двух объектов, он принимает все метаданные, ассоциированные как с первым визуальным объектом, так и со вторым визуальным объектом. Поэтому второй пользователь при выборе второго объекта не ограничивается приемом метаданных, ассоциированных с этим вторым объектом, но также и принимает метаданные, ассоциированные с первым визуальным объектом.

Маленькая база данных таких привязок затем составляется «на лету» и, кроме того, совместно используется пользователями, которые действуют затем совместным способом. База данных содержит визуальные объекты, ассоциированные с метаданными, и привязки между визуальными объектами, которые создаются после выбора пользователя.

Эта база данных является доступной пользователю во время любых взаимодействий с видео документом. Кроме того, система базы данных преимущественно используется совместным способом, каждый пользователь, подсоединенный к друзьям или сообществам, совместно используют привязки и ассоциированную информацию с другими. Некоторая политика может быть предложена для гарантии минимальной однозначности базы данных, например, наиболее привязанные вместе объекты по сообществу используются в первую очередь.

Наконец, эта база данных может быть ассоциирована с отображенным документом и предоставлять его в любое время повторно (например, VoD, телевидение "вслед за эфиром" и т.д.). Можно представить предоставление версии базы данных в соответствии с профилем пользователя или с некоторым описанием сообщества. Сообщество определяется на основании профиля пользователя и центра интереса. Например, для игры футбол/теннис, два сообщества могут быть определены, например одно для каждой команды. Опыт для пользователя, таким образом, увеличивается. Все пользователи, таким образом, вносят вклад в полную задачу и принимают выгоду остальных вкладчиков.