ОСНОВАННЫЙ НА ПРАВИЛАХ АНАЛИЗ ВАЖНОСТИ ВИДЕО

УРОВЕНЬ ТЕХНИКИ

[0001] Потребители часто записывают видео, используя свои смартфоны и личные видеорегистраторы. Однако, только небольшой процент от этих потребителей редактируют и делятся своими видео с другими людьми. Дополнительно, потребитель может обнаруживать, что редактирование таких видео является утомительным процессом, поскольку видео в общем случае записываются случайным образом без значительного планирования и могут содержать только несколько интересных моментов. Поскольку все больше видео создаются потребителем с течением времени, потребитель может также с трудом помнить содержимое видео. Хотя большинство устройств воспроизведения видео могут обеспечивать эскизные представления видео, такие эскизные представления могут не обеспечивать достаточные подсказки о содержимом видео.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0002] Описанное в данной работе является методиками для выполнения основанного на правилах анализа видео файла для ранжирования фрагментов видео файла, основываясь на их важности. Методики могут также включать в себя выполнение основанного на правилах анализа коллекции видео файлов для ранжирования множества видео файлов, основываясь на их важности. Важность видео файла или видео фрагмента может коррелироваться со степенью интереса, который видео файл или видео фрагмент, как ожидают, будет вызывать у зрителя. В различных вариантах осуществления основанный на правиле анализ может оценивать важность видео файла или видео фрагмента, основываясь на субъективной важности и/или на объективном техническом качестве видеокадров в видео файле или видео фрагменте.

[0003] Это краткое изложение сущности изобретения приведено для представления в упрощенной форме подборки концепций, которые дополнительно описаны ниже в подробном описании. Данное краткое изложение сущности изобретения не предназначена ни для идентификации главных признаков или существенных признаков заявляемого изобретения, ни для использования для ограничения объема заявляемого изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0004] Подробное описание описано со ссылкой на сопроводительные фигуры. На фигурах крайняя левая цифра (ы) номера ссылки идентифицирует фигуру, на которой первый раз появляется номер ссылки. Использование того же самого номера ссылки на различных фигурах указывает аналогичные или идентичные элементы.

[0005] Фиг. 1 - структурная схема, которая показывает примерную схему использования средства основанного на правилах анализа видео для ранжирования видео фрагментов видео файла или видео файлов в коллекции видео файлов, основываясь на их важности.

[0006] Фиг. 2 - иллюстративная схема, которая показывает примерные компоненты средства основанного на правилах анализа видео для ранжирования видео фрагментов видео файла или видео файлов в коллекции видео файлов, основываясь на их важности.

[0007] Фиг. 3 - иллюстративная схема, которая показывает использование гомографического преобразования для выравнивания примерных характерных точек в множестве видеокадров.

[0008] Фиг. 4 - последовательность операций, которая показывает примерный процесс для использования основанного на правилах анализа видео для анализа особенностей в видео файле для ранжирования видео фрагментов видео файла, основываясь на их важности.

[0009] Фиг. 5 - последовательность операций, которая показывает примерный процесс для использования основанного на правилах анализа видео для анализа особенностей видео файлов для ранжирования видео файлов, основываясь на важности.

[0010] Фиг. 6 - последовательность операций, которая показывает примерный процесс для вычисления оценки важности лица для видеокадра.

[0011] Фиг. 7 - последовательность операций, которая показывает примерный процесс для определения важных видео фрагментов в пределах видео с помощью анализа перемещения характерных точек.

ПОДРОБНОЕ ОПИСАНИЕ

[0012] Описанное в данной работе является методиками для выполнения основанного на правилах анализа видео файла для ранжирования фрагментов видео файла, основываясь на их важности. Методики могут также включать в себя выполнение основанного на правилах анализа коллекции видео файлов для ранжирования видео файлов, основываясь на их важности. Важность видео файла или видео фрагмента может коррелироваться со степенью интереса, который видео файл или видео фрагмент, как ожидают, будет вызывать у зрителя. В различных вариантах осуществления основанный на правилах анализ может оценивать важность видео файла или видео фрагмента, основываясь на субъективной важности и/или объективном техническом качестве видеокадров в видео файле или видео фрагменте. Примером субъективной важности может быть то, что зритель будет считать видеокадр, изображающий лицо человека, который известен зрителю, как более важный, чем видеокадр, который изображает лицо человека, которого зритель не знает. Примером объективного технического качества может быть качество экспозиции видеокадра.

[0013] Основанный на правилах анализ содержит анализ звукового содержимого и видео содержимого видео файлов на присутствие множества низкоуровневых особенностей и высокоуровневых особенностей на покадровой основе. Например, низкоуровневые особенности могут включать в себя такие особенности, как качество экспозиции, качество насыщенности, дрожание видеокадров, средняя яркость, цветовая энтропия и/или различия гистограмм между смежными видеокадрами. Высокоуровневые особенности могут включать в себя такие особенности, как количество, расположение и/или характерные особенности лица для человеческих лиц, которые обнаружены в видеокадрах. Анализ может включать в себя применение локальных правил и глобальных правил. Локальные правила могут применяться во время генерации результатов анализа особенности для видеокадра, а глобальные правила могут применяться во время генерации результатов анализа особенности для всего видео файла.

[0014] Правила могут обеспечивать и объединять результаты анализа особенностей для генерации оценок важности. Оценки важности могут генерироваться для кадров видео файлов, видео фрагментов и/или видео файлов целиком. Эти оценки важности могут использоваться для ранжирования фрагментов видео файлов и/или видео файлов. Оценки важности могут использоваться для облегчения просмотра, редактирования и совместного использования видео файлов. Например, потребитель может выбирать набор видео файлов с самыми высокими оценками важности для совместного использования на веб-сайте. В другом примере приложение может объединять фрагменты видео файла с самыми высокими оценками важности для создания видео файла самых интересных моментов.

[0015] В некоторых случаях видео файл может сегментироваться на видео фрагменты с различными степенями важности, основываясь на величине обнаруженного перемещения камеры. Перемещение камеры может обнаруживаться посредством перемещения характерных точек, которые обнаружены на видеокадрах в видео файле. В некоторых случаях важность видео фрагмента может коррелироваться с общим интересом, который видео фрагмент, как ожидают, будет иметь у зрителей.

[0016] Использование методик, описанных в данной работе, может давать возможность пользователю ранжировать видео файлы, основываясь на их важности для пользователя. Основываясь на таком ранжировании, пользователь может принимать решение, какие видео файлы сохранить, а какие видео файлы удалить. В некоторых случаях пользователь может также использовать ранжирование видео файлов для решения, перенести или нет определенные видео файлы на веб-сайт совместного использования в Интернет. Методики, описанные в данной работе, могут также представлять эскизные представления, которые представляют важность фрагментов видео файла, так что пользователь может сразу отличать интересные части видео файла. Такая информация может помогать пользователю при редактировании видео файла для улучшения качества содержимого или выделения конкретных фрагментов видео файла. Примеры методик для выполнения основанного на правилах анализа видео файлов в соответствии с различными вариантами осуществления описаны ниже со ссылкой на фиг. 1-7.

Примерная схема

[0017] Фиг. 1 - структурная схема, которая показывает примерную схему 100 использования средства основанного на правилах анализа видео для ранжирования видео фрагментов видео файла или видео файлов в коллекции видео файлов, основываясь на важности. Примерная схема 100 может включать в себя средство 102 анализа видео. Средство 102 анализа видео может выполняться на одном или большем количестве вычислительных устройств 104. Одно или большее количество вычислительных устройств 104 может включать в себя универсальные компьютеры, такие как настольные компьютеры, планшетные компьютеры, переносные компьютеры, серверы и т.д. Однако, в других вариантах осуществления вычислительные устройства 104 могут включать в себя смартфоны, игровые приставки или любые другие электронные устройства. Множество вычислительных устройств 104 могут включать в себя различные процессоры, такие как центральные процессоры (CPU), графические процессоры (GPU), процессоры другого типа или комбинация любого из приведенного выше.

[0018] Средство 102 анализа видео может выполнять основанный на правилах анализ видео коллекции 106. Видео коллекция 106 может включать в себя множество видео файлов, таких как видео файлы 108 (1) - 108 (N). Основанный на правилах анализ может содержать анализ звукового содержимого и видео содержимого видео файлов 108 (1) - 108 (N) на присутствие множества особенностей 110 низкого уровня и множества особенностей 112 высокого уровня на покадровой основе. Например, множество особенностей 110 низкого уровня могут включать в себя такие особенности, как качество экспозиции, качество насыщенности и дрожание видеокадров. Множество особенностей 112 высокого уровня могут включать в себя такие особенности, как количество, расположение и характерные особенности лица для человеческих лиц, которые обнаружены на видеокадрах.

[0019] Выполняя основанный на правилах анализ, средство 102 анализа видео может генерировать оценки важности для фрагментов видео файла, такого как видео 108 (1), и оценки важности для видео файлов, таких как видео файлы 108 (1) - 108 (N) из видео коллекции 106. Соответственно, средство 102 анализа видео может ранжировать видео фрагменты согласно их оценкам важности. Например, видео файл 108 (1) может включать в себя видео фрагмент 114 и видео фрагмент 116, которые ранжируются согласно их оценкам важности, таким как оценки 118 и 120 важности, соответственно. Когда видео фрагменты ранжированы, средство 102 анализа видео может отображать эскизные представления видео фрагментов, причем выбор эскизного представления может побуждать медиапроигрыватель 122 воспроизводить соответствующий видео фрагмент.

[0020] Средство 102 анализа видео может также ранжировать видео файлы в видео коллекции 106 согласно их оценкам важности. Например, видео файлы 108 (1) - 108 (N) видео коллекции 106 могут ранжироваться согласно их оценкам 124 (1) - 124 (N) важности. Когда видео файлы ранжированы, средство 102 анализа видео может отображать эскизные представления видео файлов, причем выбор эскизного представления может побуждать медиапроигрыватель 122 воспроизводить соответствующий видео файл или фрагмент соответствующего видео файла.

Примерные компоненты

[0021] Фиг. 2 - иллюстративная схема, которая показывает примерные компоненты средства 102 основанного на правилах анализа видео для ранжирования видео фрагментов видео файла или видео файлов в коллекции видео файлов, основываясь на их важности. Средство 102 анализа видео может воплощаться с помощью одного или большего количества вычислительных устройств 104. Вычислительные устройства 104 могут включать в себя один или большее количество процессоров 202, интерфейсы 204 и память 206. Каждый из процессоров 202 может быть одноядерным процессором или многоядерным процессором. Интерфейсы 204 могут включать в себя пользовательские интерфейсы и сетевые интерфейсы. Пользовательские интерфейсы могут включать в себя устройство вывода данных (например, визуальное устройство отображения, звуковые динамики) и одно или большее количество устройств ввода данных. Устройства ввода данных могут включать в себя, но не ограничены ими, комбинации одной или большего количества дополнительных клавиатур, клавиатур, устройств «мышь», сенсорных экранов, которые воспринимают жесты, микрофонов, устройств распознавания голоса или речи и любые другие подходящие устройства или другие способы выбора электроники/программного обеспечения.

[0022] Сетевой интерфейс может включать в себя компоненты интерфейса проводной и/или беспроводной связи, которые дают возможность вычислительным устройствам 104 передавать и принимать данные посредством сети. В различных вариантах осуществления компонент беспроводного интерфейса может включать в себя, но не ограничен ими, сотовую связь, Wi-Fi, ультраширокополосную (UWB) связь, персональные сети (например, Bluetooth), спутниковые передачи и/или так далее. Компонент проводного интерфейса может включать в себя прямой интерфейс ввода - вывода, такой как интерфейс Ethernet, последовательный интерфейс, интерфейс универсальной последовательной шины (USB) и/или так далее. Также, вычислительные устройства 104 могут иметь сетевые возможности. Например, вычислительные устройства 104 могут обмениваться информацией с другими электронными устройствами (например, с портативными компьютерами, настольными компьютерами, серверами, мобильными телефонами и т.д.) посредством одной или большего количества сетей, таких как Интернет, мобильные сети, глобальные сети, локальные сети и т.д.

[0023] Память 206 может воплощаться, используя считываемый компьютером носитель, такой как компьютерные носители данных. Считываемый компьютером носитель включает в себя, по меньшей мере, считываемые компьютером носители двух типов, а именно, компьютерные носители данных и средства связи. Компьютерные носители данных включают в себя энергозависимые и энергонезависимые, сменные и несменные носители, воплощаемые любым способом или технологией хранения информации, такой как считываемые компьютером команды, структуры данных, модули программы или другие данные. Компьютерные носители данных включают в себя, но не ограничены ими, ОП (оперативную память), ПЗУ (постоянное запоминающее устройство), ЭСППЗУ (электрическое стираемое программируемое ПЗУ), флэш-память или память другой технологии, CD-ROM (запоминающее устройство на компакт-дисках), цифровые универсальные диски (DVD) или другие оптические запоминающие устройства, магнитные кассеты, магнитную ленту, запоминающее устройство на магнитном диске или другие магнитные запоминающие устройства, или любой другой не являющийся временным носитель, который может использоваться для хранения информации для доступа с помощью вычислительного устройства. Напротив, средства связи могут воплощать считываемые компьютером команды, структуры данных, модули программы или другие данные в модулированном сигнале данных, таком как несущая, или используя другой механизм передачи. Как определено в данной работе, компьютерные носители данных не включают в себя средства связи.

[0024] Память 206 вычислительных устройств 104 может хранить операционную систему 208 и модули, которые воплощают средство 102 анализа видео. Операционная система 208 может включать в себя компоненты, которые дают возможность вычислительным устройствам 104 принимать данные посредством различных устройств ввода данных (например, пользовательского элемента управления, сетевых интерфейсов и/или запоминающих устройств) и обрабатывать данные, используя процессоры 202, для генерации выводимой информации. Операционная система 208 может дополнительно включать в себя один или большее количество компонентов, которые представляют выводимую информацию (например, отображают изображение на электронном дисплее, сохраняют данные в памяти, передают данные на другое электронное устройство и т.д.). Операционная система 208 может давать возможность пользователю взаимодействовать с модулями средства 102 анализа видео, используя интерфейс 204. Дополнительно, операционная система 208 может включать в себя другие компоненты, которые выполняют различные другие функции, в общем случае связанные с операционной системой.

[0025] Модули могут включать в себя модуль 210 видеодекодера, модуль 212 анализа низкого уровня, модуль 214 анализа высокого уровня, модуль 216 анализа перемещения, модуль 218 вычисления важности, модуль 220 сегментации видео, модуль 222 ранжирования видео и модуль 224 пользовательского интерфейса. Каждый из модулей может включать в себя подпрограммы, команды программ, объекты и/или структуры данных, которые выполняют конкретные задачи или воплощают конкретные абстрактные типы данных. Дополнительно, хранилище 226 данных может постоянно находиться в памяти 206. Каждый модуль 212 анализа низкого уровня и модуль 214 анализа высокого уровня может применять локальные правила или глобальные правила для анализа важности данных особенности, то есть видео данных и/или звуковых данных, в видео файлах. Локальное правило может влиять на назначение важности для одного видеокадра, основываясь на данных особенности в одном видеокадре. Наоборот, глобальное правило может влиять на назначение важности для всего видео файла, основываясь на данных особенности в множестве видеокадров видео файла, или влиять на назначение важности для каждого набора видеокадров в видео файле, основываясь на особенностях, которые совместно используются в наборе видеокадров.

[0026] Модуль 210 видеодекодера может декодировать видео файл, такой как видео файл 108 (1), для получения видеокадров и/или звуковых данных, связанных с каждым из видеокадров. Модуль 210 видеодекодера может использовать различные кодеки для декодирования видео файлов, такие как H.264, MPEG 2, MPEG 4 и т.д.

[0027] Модуль 212 анализа низкого уровня может анализировать каждый декодированный видеокадр на присутствие особенностей низкого уровня для создания оценок особенностей. В различных вариантах осуществления особенности низкого уровня могут включать в себя качество экспозиции, качество насыщенности, разнообразие оттенков, дрожание, среднюю яркость, цветовую энтропию и/или различия гистограмм между смежными видеокадрами. Модуль 212 анализа низкого уровня может использовать алгоритмы для извлечения гистограмм, которые показывают экспозицию, насыщенность и оттенки видеокадров. При анализе качества экспозиции модуль 212 анализа низкого уровня может анализировать гистограмму экспозиции на присутствие сбалансированности экспозиции видеокадра. Модуль 212 анализа низкого уровня может назначать оценку рейтинга экспозиции для видеокадра, основываясь на сбалансированности экспозиции согласно локальному правилу, в котором более высокая сбалансированность экспозиции может приводить к более высокой оценке рейтинга экспозиции. Наоборот, более низкая сбалансированность экспозиции видеокадра может приводить к более низкой оценке рейтинга экспозиции.

[0028] При анализе качества насыщенности модуль 212 анализа низкого уровня может анализировать гистограмму насыщенности видеокадра, например, гистограмму насыщенности для цветового пространства HSV. Основываясь на анализе, модуль 212 анализа низкого уровня может вычислять оценку насыщенности, которая отражает величину насыщенности в среднем наборе значений в гистограмме насыщенности согласно локальному правилу. Также, большая насыщенность в этом среднем диапазоне приводит к более высокой оценке насыщенности для видеокадра. Наоборот, меньшая насыщенность в этом среднем диапазоне приводит к более низкой оценке насыщенности для видеокадра.

[0029] При анализе разнообразия оттенков модуль 212 анализа низкого уровня может давать оценку сбалансированности гистограммы оттенков для видеокадра. Модуль 212 анализа низкого уровня может дополнительно назначать оценки оттенков, основываясь на локальном правиле. Соответственно, модуль 212 анализа низкого уровня может назначать более высокую оценку оттенков, когда оттенки видеокадра хорошо сбалансированы, то есть имеют больше разнообразия цветов. Наоборот, модуль анализа низкого уровня может назначать более низкую оценку оттенков, когда оттенки видеокадра менее сбалансированы, то есть имеют меньше разнообразия цветов.

[0030] При анализе дрожания модуль 212 анализа низкого уровня может использовать модуль 216 анализа перемещения для отслеживания перемещения характерных точек между кадрами и генерации преобразования, которое моделирует это перемещение. Характерные точки являются интересующими точками на видеокадре, расположение которых может достоверно определяться по множеству видеокадров. Характерная точка отличается тем, что она содержит 2-мерную (2D) структуру, и может быть ограничена в направлениях x и y. Модуль 212 анализа низкого уровня может использовать преобразование для анализа локальных и глобальных тенденций, относящихся к величине и направлению перемещения характерных точек. Локальные и глобальные тенденции могут определять величину дрожания в видео файле в качестве атрибута локального изменение в кадре. Дрожание видео файла может определяться с помощью модуля 216 анализа перемещения, как описано ниже относительно анализа определения категории перемещения. Соответственно, модуль 212 анализа низкого уровня может применять глобальное правило, которое назначает оценку дрожания видео файлу, которая обратно пропорциональна сумме дрожания в видео файле, так что большее дрожание приводит к более низкой оценке дрожания, и наоборот.

[0031] При анализе средней яркости модуль 212 анализа низкого уровня может вычислять среднее значение компонентов сигнала яркости всех пикселей на видеокадре. В различных вариантах осуществления модуль 212 анализа низкого уровня может усреднять значения пикселей на полутоновом представлении изображения видеокадра. Например, значения пикселя могут колебаться от 0-255, причем 0 соответствует черному цвету, а 255 соответствует белому цвету. В некоторых вариантах осуществления модуль 212 анализа низкого уровня может дополнительно оптимизироваться для считывания значения пикселя каждого n-го пикселя. Другими словами, модуль 212 анализа низкого уровня может пропускать предопределенное количество пикселей в направлении x и/или в направлении y, выполняя анализ. Основываясь на средних значениях пикселей для пикселей на видеокадре, модуль 212 анализа низкого уровня может определять яркость видеокадра. Соответственно, модуль 212 анализа низкого уровня может применять локальное правило для назначения оценки яркости, которая пропорциональна среднему значению пикселя видеокадра, когда среднее значение пикселя видеокадра совпадает с предопределенной средней яркостью. Однако, модуль 212 анализа низкого уровня может назначать оценку яркости, которая ниже, чем любая оценка яркости, которая назначена среднему значению пикселя, которое находится в пределах предопределенной средней яркости, когда среднее значение пикселя выходит за пределы, то есть выше или ниже предопределенной средней яркости. Такая оценка яркости может уменьшаться, когда среднее значение пикселя уменьшается, в то время как оно ниже, чем нижняя граница предопределенной средней яркости. Такая оценка яркости может также уменьшаться, когда среднее значение пикселя увеличивается, в то время как оно выше, чем верхняя граница предопределенной средней яркости.

[0032] При анализе цветовой энтропии модуль 212 анализа низкого уровня может определять величину цветовой энтропии в видеокадре. Величина цветовой энтропии является показателем различий между цветами на видеокадре. Значение цветовой энтропии, назначенное с помощью модуля 212 анализа низкого уровня, может колебаться от «0» до «1», в зависимости от фактической величины цветовой энтропии на видеокадре. Например, модуль 212 анализа низкого уровня может назначать значение цветовой энтропии, равное «1», видеокадру, когда пиксели видеокадра имеют самую большую величину различия. Модуль 212 анализа низкого уровня может назначать значение цветовой энтропии, равное «0», видеокадру, когда пиксели видеокадра имеют наименьшую величину различия. В различных вариантах осуществления модуль 212 анализа низкого уровня может определять значение цветовой энтропии с помощью вычисления цветовой гистограммы области для цветового пространства (например, цветового пространства RGB или цветового пространства HSV).

[0033] В таких вариантах осуществления модуль 212 анализа низкого уровня может первоначально создавать гистограмму, которая фиксирует множество измерений цвета. Например, в цветовом пространстве RGB каждый из R, G и B может иметь 256 возможных значений, когда гистограмма может иметь 256×256×256 сегментов. По меньшей мере в одном варианте осуществления сегменты могут дополнительно квантоваться для оптимизации размера сегмента и/или скорости обработки, например, размер может быть 25×25×25, так что множество значений цветов попадут в тот же самый сегмент. Таким образом, в одном примере гистограмма может выражаться в следующем формате в коде: intHistogram[256 * 256 * 256], что подразумевает, что матрица гистограммы имеет элемент для всех возможных цветов в цветовом пространстве RGB. Соответственно, когда модуль 212 анализа низкого уровня считывает пиксель, модуль 212 анализа низкого уровня может устанавливать значение следующим образом:

int IndexlnHistogramForColor =

pixelColor.red+(256 *pixelColor.green)+(256*256*pixelColor.blue);

Histogram[lndexInHistogramForColor] =

Histogram [IndexlnHistogramForColor]+1; // когда наблюдается еще один пиксель с этим цветом, увеличивают его счетчик

[0034] Когда вышеупомянутые этапы выполнены для каждого пикселя на видеокадре, модуль 212 анализа низкого уровня может нормировать гистограмму. Другими словами, модуль 212 анализа низкого уровня может делить каждое значение на размер гистограммы, так что значения в гистограмме находятся между 0 и 1, и значения дают в сумме 1. В результате элемент с самым высоким значением появляется наиболее часто на видеокадре.

[0035] Энтропия для значений пикселей в гистограмме может формулироваться как сумма всех (Histogram[n] * log(Histogram[n])), следующим образом:

[0036] Модуль 212 анализа низкого уровня может определять относительную цветовую энтропию (то есть цветовую энтропию видеокадра по отношению к другим видеокадрам), с помощью деления энтропии гистограммы на максимально возможную энтропию. Максимальная возможная энтропия может определяться тогда, когда все Histogram[n] имеют одинаковое значение, то есть равны (1,0/число возможных значений). Когда относительное значение цветовой энтропии для видеокадра получено, модуль 212 анализа низкого уровня может применять локальное правило для получения оценки энтропии для видеокадра из относительной цветовой энтропии видеокадра. В различных вариантах осуществления оценка энтропии видеокадра может быть прямо пропорциональна относительному значению энтропии видеокадра, например, более высокое относительное значение энтропии приводит к более высокой оценке энтропии, и наоборот.

[0037] При анализе различия гистограмм модуль 212 анализа низкого уровня может определять различие гистограмм между двумя смежными видеокадрами. В различных вариантах осуществления модуль 212 анализа низкого уровня может делить каждый видеокадр на множество ячеек (например, 10×10 ячеек). Для каждой ячейки видеокадра t и смежного видеокадра t+1, модуль 212 анализа низкого уровня может вычислять цветовую гистограмму (например, гистограмму RGB). Впоследствии, для каждой ячейки на видеокадре t, модуль 212 анализа низкого уровня может вычислять различие между своей гистограммой и гистограммой ячейки, имеющей соответствующее расположение в смежном видеокадре t+1. Различия между гистограммами пар ячейки в двух смежных видеокадрах могут дополнительно стандартизироваться (например, согласовываться, нормироваться и/или усредняться и т.д.) для получения окончательного значения различия гистограмм для двух смежных кадров, причем данное значение может располагаться между «0» и «1». Когда значение различия гистограмм для двух смежных видеокадров получено, модуль 212 анализа низкого уровня может применять локальное правило для получения оценки различия гистограмм для видеокадра t из значения различия гистограмм. В различных вариантах осуществления оценка различия гистограмм видеокадра может быть прямо пропорциональна различию гистограмм, например, более высокие значения различия гистограмм приводят к более высокой оценке различия гистограмм, и наоборот.

[0038] По меньшей мере в некоторых вариантах осуществления модуль 212 анализа низкого уровня может оптимизировать некоторые из анализов для ускорения обработки видео файла. Например, модуль 212 анализа низкого уровня может выполнять анализы (например, анализ рейтинга экспозиции, анализ разнообразия оттенков и т.д.) для поднабора видеокадров в видео файле, а не для всех видеокадров в видео файле. Модуль 212 анализа низкого уровня может также выполнять один или большее количество анализов по отношению к сокращенной версии исходного кадра для получения некоторой эффективности. Например, анализ разнообразия оттенков и анализ насыщенности для видеокадра могут выполняться по отношению к субдискретизированной версии видеокадра. В другом примере анализ качества экспозиции может выполняться по отношению к монохромной и субдискретизированной версии видеокадра. Модуль 212 анализа низкого уровня может также выполнять множество анализов параллельно или по существу параллельно. Например, анализ качества насыщенности и анализ разнообразия оттенков могут выполняться параллельно.

[0039] Модуль 214 анализа высокого уровня может анализировать каждый декодированный видеокадр на присутствие особенностей высокого уровня. По меньшей мере в одном варианте осуществления анализы особенностей высокого уровня могут включать в себя обнаружение лиц, отслеживание лиц, распознавание лиц, анализ выделенности, анализ мощности звука, анализ классификации звука, анализ речи и анализ перемещения.

[0040] При обнаружении лиц модуль 214 анализа высокого уровня может анализировать декодированный видеокадр для обнаружения, представлены или нет человеческие лица на видеокадре. Обнаруженное лицо может быть направлено в сторону камеры, которая записала видеокадр, или находиться боком по отношению к камере. Основываясь на этом обнаружении, модуль 214 анализа высокого уровня может генерировать список обнаруженных лиц с их расположением на видеокадре, площадью видеокадра, закрытой каждым лицом, и оценками уверенности обнаружения для каждого лица, которые указывают уверенность обнаружения.

[0041] В различных вариантах осуществления модуль 214 анализа высокого уровня может применять локальное правило для вычисления оценки важности лица для видеокадра, основываясь на размере обнаруженного лица в процентах от размера видеокадра. Лицам с одинаковым размером, которые обнаружены на двух видеокадрах, можно назначать одинаковую оценку важности лица. Однако, если лицо на видеокадре t2 будет больше, чем лицо на видеокадре t1, то оценка важности лица для видеокадра t2 будет выше, потому что большие лица считают более важными, чем меньшие лица. В других вариантах осуществления модуль 214 анализа высокого уровня может конфигурироваться для вычисления оценки важности лица, если размер обнаруженного лица находится между минимальным пороговым значением размера и максимальным пороговым значением размера. Наоборот, лица, размер которых меньше минимального порогового значения размера или больше максимального порогового значения размера, можно считать недействительными для вычисления оценки важности лица с помощью модуля 214 анализа высокого уровня, или отрицательное смещение оценки может назначаться соответствующему видеокадру для таких событий.

[0042] Альтернативно или одновременно, локальное правило для вычисления важности лица для видеокадра может учитывать характерные особенности лица для каждого лица, изображенного на видеокадре. Например, характерные особенности лица могут включать в себя, улыбается лицо или нет, или открыты глаза или нет и т.д. Таким образом, положительное смещение оценки может назначаться соответствующему видеокадра для лица, которое улыбается, в то время как отрицательное смещение оценки может назначаться, когда лицо не улыбается. Аналогично, положительное смещение оценки может назначаться соответствующему видеокадру для лица с открытыми глазами, в то время как отрицательное смещение оценки может назначаться, когда глаза закрыты.

[0043] При распознавании лица модуль 214 анализа высокого уровня может использовать алгоритм распознавания лиц для установки соответствия каждого человеческого лица, которое обнаружено на видеокадре, с известным идентификатором человека. В некоторых вариантах осуществления модуль 214 анализа высокого уровня может использовать базу данных знаний известных лиц для установления соответствия человеческого лица известному человеку. Альтернативно или одновременно, модуль 214 анализа высокого уровня может использовать модуль 224 пользовательского интерфейса для обеспечения средств управления пользовательским интерфейсом, что дает возможность пользователю отмечать каждое из одного или большего количества распознанных лиц с помощью идентификатора, рейтинга важности лица и/или взаимоотношений человека с данным лицом со зрителем. По меньшей мере в одном варианте осуществления информация, предоставленная зрителем относительно лиц, может добавляться к базе данных знаний.

[0044] При отслеживании лиц модуль 214 анализа высокого уровня может отслеживать человеческие лица по множеству видеокадров. Таким образом, модуль 214 анализа высокого уровня может устанавливать набор лиц, которые присутствуют в видео файле, а так же отслеживать частоту, с которой каждое лицо появляется в видео файле. Кроме того, при группировке лиц модуль 214 анализа высокого уровня может группировать лица, которые отслеживаются, для определения, принадлежат или нет лица, которые обнаружены на различных видеокадрах, тому же самому человеку. В различных вариантах осуществления модуль 214 анализа высокого уровня может получать набор характерных особенностей лица для каждого из обнаруженных лиц на видеокадрах. Модуль 214 анализа высокого уровня может сравнивать наборы характерных особенностей лица для обнаруженных лиц для группировки обнаруженных лиц в группы согласно подобию характерных особенностей лица. Модуль 214 анализа высокого уровня может оценивать важность каждой группы лиц согласно количеству лиц в каждой группе. Количество лиц в каждой группе прямо пропорционально частоте появления лица в видео файле. Дополнительно, более высокая частота появления может указывать более высокую важность человека с данным лицом, и наоборот. Соответственно, оценка важности группы для группы лиц может быть суммой оценок важности лица для лиц в группе. Также, модуль 214 анализа высокого уровня может суммировать оценки важности лица для лиц в группе, которая изображена на множестве видеокадров, для вычисления оценки важности группы для группы.

[0045] Например, человека, лицо которого появляется в группе с самой высокой оценкой важности группы, можно считать главным героем. Основываясь на такой информации, модуль 214 анализа высокого уровня может применять глобальное правило к видеокадрам, так что оценки важности лица видеокадров, которые показывают главного героя, могут дополнительно положительно смещаться, то есть подниматься. Расположения лиц, которые включает в себя группа, которая записана на множестве видеокадров, могут также снижать оценки важности лица, назначаемые видеокадрам. Например, оценка важности видеокадра, показывающего лицо конкретного человека, может смещаться согласно расстоянию от лица до центра видеокадра вдоль оси (например, оси x или оси y), так что лицо, которое ближе к центру, приводит к более высокой важности для видеокадра, и наоборот.

[0046] При анализе выделенности кадра модуль 214 анализа высокого уровня может обнаруживать выделенные части видеокадра. Например, выделенная часть видеокадра может записывать объект, который находится в движении. Основываясь на анализе выделенности, модуль 214 анализа высокого уровня может применять локальное правило для генерации теплокарты, которая отображает оценку выделенности каждого пикселя на видеокадре. Теплокарта является графическим представлением данных, которые размещены в матрице, причем отдельные значения в матрице представлены, используя цвета. Модуль 214 анализа высокого уровня может дополнительно генерировать оценку выделенности кадра для видеокадра, которая основана на оценках выделенности пикселей на видеокадре. Например, оценка выделенности видеокадра для видеокадра может быть средним значением оценок выделенности пикселей.

[0047] При анализе мощности звука модуль 214 анализа высокого уровня может давать оценку звуковых данных, которые соответствуют продолжительности времени видеокадра (например, 1/30-я или 1/60-я часть секунды), и вычислять среднеквадратическое (RMS) значение мощности звука. Более высокое RMS значение мощности звука может указывать более высокую важность соответствующего видеокадра, и наоборот. Таким образом, модуль 214 анализа высокого уровня может назначать оценку важности мощности звука соответствующему видеокадру согласно локальному правилу.

[0048] При анализе классификации звука модуль 214 анализа высокого уровня может использовать классификатор с машинным обучением для определения, содержат или нет звуковые данные, которые соответствуют по продолжительности времени видеокадру, различные типы звуковых данных (например, шум, речь или музыку). Различные типы звуковых данных могут отражать различную важность соответствующего видеокадра. Основываясь на локальном правиле, модуль 214 анализа высокого уровня может назначать оценку важности классификации звука соответствующему видеокадру, основываясь на типе звуковых данных. Например, присутствие речи может побуждать модуль 214 анализа высокого уровня назначать высокую важность классификации звука соответствующему видеокадру. Напротив, присутствие музыки может быть причиной назначения средней оценки классификации звука соответствующему видеокадру. Кроме того, присутствие шума может побуждать модуль 214 анализа высокого уровня назначать низкую оценку классификации звука соответствующему видеокадру.

[0049] При анализе классификации перемещения модуль 214 анализа высокого уровня может использовать модуль 216 анализа перемещения для отслеживания перемещения характерных точек между видеокадрами и генерации преобразования, которое моделирует это перемещение. Модуль 214 анализа высокого уровня может использовать это преобразование для анализа локальных и глобальных тенденций, относящихся к величине и направлению перемещения. В свою очередь, модуль 214 анализа высокого уровня может использовать локальные и глобальные тенденции для учета дрожания, записанного на видеокадрах, и определения преднамеренного перемещения камеры относительно сцены, например, масштабирования, панорамирования и т.д.

[0050] В различных вариантах осуществления модуль 216 анализа перемещения может инициировать анализ классификации перемещения с помощью определения местонахождения характерных точек для двух смежных кадров. Характерная точка может быть точкой на изображении, которая остается опознаваемой даже при 2-мерных (2D) или трехмерных преобразованиях изображения. Для обнаружения характерных точек модуль 216 анализа перемещения может выполнять понижающую дискретизацию (субдискретизировать) изображение и создавать пирамиду из субдискретизированных изображений меньших размеров. Субдискретизированные изображения затем сравниваются с помощью модуля 216 анализа перемещения для определения общих точек (то есть характерных точек) среди субдискретизированных изображений. В различных вариантах осуществления модуль 216 анализа перемещения может использовать один или большее количество из нескольких алгоритмов обнаружения для обнаружения общих точек, например, алгоритм обнаружения Лапласа, алгоритм обнаружения Харриса, алгоритм обнаружения Гессиана, алгоритм обнаружения Гессиана-Лапласа, алгоритм обнаружения HessianAffine, алгоритм обнаружения EdgeFoci и т.д.

[0051] Когда характерные точки идентифицированы для двух смежных кадров, модуль 216 анализа перемещения может определять преобразование, которое выравнивает два смежных кадра таким образом, чтобы максимальное количество характерных точек соответствовало. Преобразование может выполняться, используя геометрическое соответствие, которое является воплощением надежной оценки параметра. Преобразование может обеспечивать матрицу гомографического преобразования, которая вычисляется из характерных точек, для которых установлено соответствие. В различных вариантах осуществления модуль 216 анализа перемещения может использовать алгоритм случайных выборок и согласования (RANSAC) для получения начальных оценок параметра и списка статистических точек, соответствующих модели, в котором дополнительно усовершенствованы начальные оценки параметра. Различные перемещения камеры на видеокадрах, которые выравниваются с помощью гомографического преобразования, показаны на фиг. 3.

[0052] Фиг. 3 - иллюстративная схема, которая показывает использование гомографического преобразования для выравнивания примерных характерных точек на множестве видеокадров. Как показано, каждый из видеокадров 302-312 может, соответственно, включать в себя группу идентифицированных характерных точек, которые изображены кругами. Например, группа характерных точек на видеокадре 302 изображена кругами 314 (1) - 315 (5). Каждая характерная точка в группе характерных точек может сохранять свое относительное расположение друг относительно друга по множеству видеокадров, несмотря на перемещение камеры, которая записала множество видеокадров. Например, преобразованный видеокадр 316 может быть последующим видеокадром для видеокадра 302, который является результатом следящего перемещения камеры. Преобразованный видеокадр 318 может быть последующим видеокадром для видеокадра 304, который является результатом перемещения с резким подъемом камеры. Преобразованный видеокадр 320 может быть последующим видеокадром для видеокадра 306, который является результатом перемещения масштабирования/движения вперед камеры. Преобразованный видеокадр 312 может быть последующим видеокадром для видеокадра 308, который является результатом поворотного перемещения камеры. Преобразованный видеокадр 314 может быть последующим видеокадром для видеокадра 310, который является результатом вертикального панорамирования/наклона/опрокидывания камеры. Преобразованный видеокадр 316 может быть последующим видеокадром для видеокадра 312, который является результатом горизонтального панорамирования камеры.

[0053] Однако, независимо от перемещения камеры, которая создала преобразованные видеокадры 326-336 из видеокадров 302-312, модуль 216 анализа перемещения может использовать гомографическое преобразование для выравнивания характерной точки на видеокадре и соответствующем ему преобразованном видеокадре.

[0054] Возвращаясь к фиг. 2, алгоритм RANSAC может непосредственно вычислять параметры матрицы преобразования из минимального поднабора соответствий характерных точек. Например, преобразование подобия (например, линейное перемещение, поворот или масштабирование) может вычисляться из двух характерных точек, которые связаны друг с другом, между двумя кадрами. Когда кандидат на геометрическое преобразование получен, алгоритм RANSAC может проверять правильность преобразования с помощью тестирования преобразования на всех других соответствующих характерных точках в наборе данных и генерации счетчика количества точек, соответствующих модели, которые являются характерными точками, которые проецируются в пространстве с достаточной точностью. Другими словами, алгоритм RANSAC может сначала случайно выбирать минимальный набор соответствующих точек, вычислять параметры преобразования из этого набора и затем проверять правильность этих параметров с помощью подсчета количества соответствующих точек, которые соответствуют модели. Впоследствии, алгоритм RANSAC записывает лучшее преобразование. Алгоритм RANSAC может повторять эту процедуру неоднократно, пока вероятность обнаружениях хорошего набора параметров преобразования не достигнет предопределенного порогового значения вероятности, при заданном показателе несоответствия данных.

[0055] В некоторых вариантах осуществления алгоритм RANSAC может изменяться для лучшего использования байесовской статистики. Вместо того, чтобы подсчитывать точки, соответствующие модели, во время проверки правильности параметров преобразования, алгоритм RANSAC может вычислять логарифмическую оценку вероятности для каждого случайного преобразования из всех соответствующих характерных точек. Эта оценка может включать в себя две части: (1) предыдущую оценку вероятности, которая зависит от параметров и от того, насколько далеко параметры находятся от обычно ожидаемых значений, и (2) оценку вероятности, основанную на надежной функции расстояния до повторно проецируемой соответствующей характерной точки. Такая оценка оказывает предпочтение характерным точкам, которые проецируются к правильным расположениям, но дает возможность, чтобы одновременно существовали выбросы.

[0056] Из гомографического преобразования модуль 216 анализа перемещения может извлекать величины и направление компонентов масштабирования и вертикального перемещения, игнорируя другие виды перемещений. Эти величины и направления являются преднамеренным перемещением камеры, которое зарегистрировано на двух смежных кадрах. Другими словами, эти величины и направления являются производной первого порядка от фактического изменения перемещения от первого кадра до второго смежного кадра. Модуль 216 анализа перемещения может определять перемещение дрожания камеры, которая записала видеокадры, с помощью вычисления скользящего среднего данных перемещения векторов перемещения видеокадров и вычитания преднамеренного перемещения камеры из скользящего среднего данных перемещения. Вычисление скользящего среднего данных перемещения устраняет локальную дисперсию и сохраняет долгосрочные тенденции, которые представляют преднамеренное перемещение. Другими словами, различие между преднамеренным перемещением и изменением всего перемещения от первого кадра ко второму кадру является перемещением дрожания камеры, которая записала эти два кадра.

[0057] Величина значений масштабирования и вертикального перемещения, которые зарегистрированы в наборе кадров, может обеспечивать подсказку относительно важности этих кадров. Например, более высокое значение может указывать ускорение перемещения камеры относительно одного или большего количества объектов на видеокадре. Дополнительно, область видеокадра с более высоким ускорением может предполагаться более важной, потому что камера, возможно, сделала быстрое изменение перемещения для фиксации некоторого действия. Соответственно, модуль 214 анализа высокого уровня может назначать оценку важности перемещения каждому кадру, основываясь на величине ускорения перемещения.

[0058] Модуль 216 анализа перемещения может анализировать данные преднамеренного перемещения для определения локальных максимумов и минимумов, вращающихся вокруг пересечений нуля для перемещений и масштабирования, и вертикального линейного перемещения. В некоторых вариантах осуществления модуль 216 анализа перемещения может использовать расположения локальных максимумов и минимумов для сегментации данных на видео фрагменты. Альтернативно или одновременно, модуль 216 анализа перемещения может использовать расположения локальных максимумов и минимумов для сегментации видео файла на видео фрагменты, которые имеют спаренные направления изменения, такие как масштабирование с увеличением, спаренное с масштабированием с уменьшением, панорамирование вверх, спаренное с панорамированием вниз, и т.д.

[0059] Сегментированные видео фрагменты видео файла могут согласовываться с изменениями сцен видео файла. Соответственно, границы фрагментов в видео файле могут использоваться в качестве рекомендации для разделения видео файла на видео фрагменты различной важности. Границы могут выравнивать начало и конец важных/неважных фрагментов с моментами времени, в которых существует смена в перемещении камеры или изменение характера деятельности в сцене. Кроме того, модуль 216 анализа перемещения может объединять и усреднять величины для перемещений масштабирования и панорамирования для фрагмента. Величина ускорения, представленная с помощью среднего значения величин перемещений масштабирования и панорамирования для видео фрагмента, может использоваться с помощью модуля 216 анализа перемещения для назначения оценки важности перемещения видео фрагменту таким же образом, как описано выше по отношению к кадрам.

[0060] По меньшей мере в некоторых вариантах осуществления модуль 214 анализа высокого уровня может оптимизировать некоторые из анализов для ускорения обработки видео файла. Например, модуль 214 анализа высокого уровня может выполнять обнаружение лиц, отслеживание лиц и/или распознавание лиц для одного или большего количества лиц в каждом видеокадре, используя монохромную и субдискретизированную версию видеокадра. Модуль 214 анализа высокого уровня может также выполнять множество анализов параллельно или по существу параллельно. Например, отслеживание лиц и распознавание лиц могут выполняться параллельно.

[0061] Модуль 218 вычисления важности может нормировать различные оценки особенностей, которые генерируются для видеокадров видео файла, и вычислять значение важности видео из видео файла. Например, модуль 218 вычисления важности может усреднять набор нормированных оценок особенности (например, оценку важности лица, оценку важности перемещения, оценку рейтинга экспозиции, оценку насыщенности и т.д.) для каждого видеокадра для получения оценки важности кадра для каждого видеокадра. Оценки важности видеокадра могут дополнительно усредняться для получения значения важности видео из видео файла. В некоторых вариантах осуществления вычисление значения важности видео из видео файла может также включать в себя смещение одной или большего количества оценок особенностей, которые связаны с видеокадрами. Например, модуль 218 вычисления важности может конфигурироваться для применения положительного смещения так, чтобы присутствие лица на видеокадре повлияло на оценку важности кадра для этого кадра в большей степени, чем оценка разнообразия оттенков видеокадра.

[0062] В другом примере модуль 218 вычисления важности может генерировать значение важности видео из видео файла следующим образом:

frame_score=w₁ * важность лица+w₂ * F₂+w₃ * F₃+··· w_n * F_n (1)

(2)

в котором wi - веса, и Fi - особенности. Веса могут диктовать важность особенностей. Например, если зритель предпочитает видео, которые является ярким, и F2 является особенностью, которая коррелируется с этим свойством, тогда модуль 218 вычисления важности может конфигурироваться для назначения более высокого значения для W2, чем веса для других особенностей. Это смещение может применяться в других сценариях. В дополнительном примере, если зритель хочет предпочтительно выбирать видео файлы, которые показывают конкретного человека, то зритель может конфигурировать модуль 218 вычисления важности для смещения кадров, которые показывают лицо конкретного человека, для увеличения оценки важности видеокадра для таких видеокадров. В различных вариантах осуществления модуль 218 вычисления важности может сохранять значения особенностей {F1, F2... Fn} для видео файла в хранилище 226 данных. Сохранение значений особенностей для видео файла может устранять в будущем дублирующий анализ видео файла в сценариях, в которых должны смещаться различные особенности.

[0063] По меньшей мере в одном другом варианте осуществления модуль 218 вычисления важности может конфигурироваться для применения отрицательного смещения к особенности, показанной на видеокадре. Например, отрицательное смещение, которое пропорционально величине дрожания, может воплощаться с помощью модуля 218 вычисления важности для снижения оценки важности видеокадра для видеокадра пропорционально дрожанию.

[0064] Модуль 220 сегментации видео может сегментировать видео файл на множество видео фрагментов, основываясь на важности. В некоторых вариантах осуществления модуль 220 сегментации видео может находить видео фрагмент с продолжительностью t, которая короче продолжительности видео файла. В таких вариантах осуществления модуль 220 сегментации видео может вычислять оконную массу, которая является суммой оценок важности кадра в видеокадрах в окне, которое имеет (t * частота кадров) видеокадров видео файла. Такая оконная масса может вычисляться способом последовательного сдвига для всех видеокадров видео файла. Соответственно, модуль 220 сегментации видео может выбирать видеокадр самой высокой оконной массой в качестве центра важного видео фрагмента длительностью t. В других вариантах осуществления модуль 220 сегментации видео может зависеть от модуля 216 анализа перемещения для сегментации видео файла на видео фрагменты, основываясь на данных перемещения. Когда модуль 220 сегментации видео сегментировал видео файл на видео фрагменты, модуль 218 вычисления важности может генерировать значение важности фрагмента для каждого видео фрагмента аналогичным образом, как по отношению к целым видео файлам. Другими словами, модуль 218 вычисления важности может генерировать значение важности фрагмента, основываясь на нормированных оценках важности кадра для видеокадров в видео фрагменте. В некоторых случаях модуль 218 вычисления важности может также применять смещение к одной или большему количеству оценок особенности во время генерации значений важности фрагмента для видео фрагментов.

[0065] В различных вариантах осуществления каждый из модуля 212 анализа низкого уровня, модуля 214 анализа высокого уровня и модуля 218 вычисления важности может сохранять оценки, значения и другую информацию, которые получены для видео фрагментов и/или видео файлов, как связанные метаданные в хранилище 226 данных. Такие метаданные могут объединяться с другими метаданными, которые связаны с видео файлами, такими как дата, расположение, количество совместных использований в Интернет и т.д.

[0066] Модуль 222 ранжирования видео может ранжировать видео фрагменты видео файла, основываясь на значениях важности фрагментов. Альтернативно или одновременно, модуль 222 ранжирования видео может ранжировать видео файлы согласно их значениям важности видео. Ранжирование может выполняться от самого важного до наименее важного, или наоборот. Для каждого ранжированного видео файла модуль 222 ранжирования видео может также сохранять метаданные, относящиеся к видео фрагментам, в ранжированном видео файле. Такие метаданные могут включать в себя ранжирование каждого видео фрагмента, время начала и окончания каждого видео фрагмента, продолжительность каждого видео фрагмента и значение важности фрагмента для каждого видео фрагмента. В некоторых вариантах осуществления модуль 222 ранжирования видео может также вычислять дополнительные значения для видео файла или видео фрагмента. Эти значения могут включать в себя плотность важности, которая может отражать процент от видеокадров в видео файле или видео фрагменте с оценкой важности, которая превышает пороговое значение оценки важности. Эти значения могут также включать в себя плотность качества, которая может отражать процент от кадров в видео файле или видео фрагменте с отрицательными или положительными особенностями, которые превышают соответствующее пороговое значение. Такие отрицательные или положительные особенности могут включать в себя дрожание, переэкспонирование, недоэкспонирование и т.д. Модуль 222 ранжирования видео может сохранять оценки множества видов и другие вычисленные значения, которые используются для генерации ранжирования для отдельных видео файлов и/или видео фрагментов, как связанные метаданные в хранилище 226 данных.

[0067] Когда набор видео файлов или видео фрагментов ранжирован, модуль 222 ранжирования видео может отображать эскизные представления ранжированных видео файлов или видео фрагментов. Соответственно, выбор эскизного представления может побуждать медиапроигрыватель 122 воспроизводить соответствующий видео фрагмент, или другие приложения - обеспечивать соответствующий видео фрагмент для совместного использования и/или редактирования.

[0068] Модуль 224 пользовательского интерфейса может давать возможность пользователю взаимодействовать с модулями средства 102 анализа видео посредством интерфейсов 204. Например, модуль 224 пользовательского интерфейса может давать возможность пользователю выбирать видео файлы для анализа важности, отмечать информацией человеческие лица, которые идентифицированы в видео файлах, выделять лица людей для положительного смещения оценки особенности и/или выбора видео файлов и видео фрагментов для воспроизведения с помощью медиапроигрывателя 122 посредством эскизных представлений. В некоторых вариантах осуществления пользователь может также использовать модуль 224 пользовательского интерфейса для выбора одной или большего количества особенностей низкого уровня или одной или большего количества особенностей высокого уровня видео файла для анализа с помощью средства 102 анализа видео.

[0069] Хранилище 226 данных может сохранять данные, которые используются различными модулями. По меньшей мере в некоторых вариантах осуществления хранилище 226 данных может сохранять видео файлы 228, ранжированные видео файлы 230, ранжированные видео фрагменты 232 и/или метаданные 234, связанные с ранжированными видео файлами 230 и ранжированными видео фрагментами 232. В других вариантах осуществления хранилище 226 данных может сохранять данные (например, оценки важности), связанные с видео файлами или видео фрагментами, которые используются для ранжирования видео файлов и видео фрагментов. Хранилище 226 данных может дополнительно сохранять дополнительные результаты и значения, которые генерируются с помощью модулей, например, матрицы гомографического преобразования, оценки особенностей, значения важности видео, значения важности фрагментов и т.д.

[0070] В некоторых вариантах осуществления одно или большее количество дополнительных приложений могут устанавливаться на вычислительных устройствах 104. Такие приложения могут включать в себя приложение редактирования видео, которое используется для компиляции нового видео файла из выбранных видео фрагментов исходного видео файла. Например, такое приложение редактирования видео может давать возможность пользователю выбирать видео фрагменты с помощью значений важности фрагментов, которые превышают конкретное пороговое значение оценки, для объединения в цифровой форме для создания видео файла самых интересных моментов. Приложения могут также включать в себя приложение для совместного использования в Интернет, которое дает возможность пользователю переносить видео файл, видео фрагмент или видео самых интересных моментов в Интернет. В дополнительных вариантах осуществления одно или большее количество других приложений могут устанавливаться на вычислительных устройствах 104 для получения доступа к данным, сохраненным в хранилище 226 данных для видео файлов и видео фрагментов посредством прикладного интерфейса. Такое приложение может получать доступ к данным для использования результатов анализа другими способами. Другими словами, средство 102 анализа видео может функционировать в качестве услуги более низкого уровня для обеспечения данных к этим приложениям.

Примерные процессы

[0071] Фиг. 4-7 описывают различные примерные процессы для выполнения основанного на правилах анализа важности видео файлов. Порядок, в котором операции описаны в каждом примерном процессе, не предназначен для рассмотрения в качестве ограничения, и любое количество описанных операций может объединяться в любом порядке и/или параллельно для воплощения каждого процесса. Кроме того, операции на каждой из фиг. 4-7 могут воплощаться в аппаратных средствах, программном обеспечении и в их комбинации. В контексте программного обеспечения операции представляют выполняемые с помощью компьютера команды, которые, когда выполняются с помощью одного или большего количества процессоров, побуждают один или большее количество процессоров выполнять указанные операции. В общем случае выполняемые с помощью компьютера команды включают в себя подпрограммы, программы, задачи, компоненты, структуры данных и т.д., которые побуждают выполняться конкретные функции или воплощаться конкретные данные абстрактного типа.

[0072] Фиг. 4 - последовательность операций, которая показывает примерный процесс 400 для использования основанного на правилах анализа видео для анализа особенностей в видео файле для ранжирования видео фрагментов видео файла, основываясь на их важности. На этапе 402 средство 102 анализа видео может декодировать видео файл, такой как видео файл 108 (1), для получения видеокадра и звуковых данных, связанных с видеокадром. Модуль 210 видеодекодера может использовать различные кодеки для декодирования видео файлов, такие как H.264, MPEG 2, MPEG 4 и т.д. Связанные звуковые данные могут иметь ту же самую продолжительность времени, как видеокадр, например, 1/30-ю часть секунды или 1/60-ю часть секунды. Однако, в некоторых вариантах осуществления модуль 210 видеодекодера может конфигурироваться для получения видеокадра без получения связанных с ним звуковых данных, или наоборот.

[0073] На этапе 404 средство 102 анализа видео может анализировать по меньшей мере одну из видео особенностей видеокадра или звуковых особенностей звуковых данных для получения оценок особенностей. Средство 102 анализа видео может выполнять такой анализ, основываясь на одном или большем количестве локальных правил. В различных вариантах осуществления одна или большее количество особенностей, которые анализируются, могут включать в себя особенности высокого уровня и/или особенности низкого уровня. Например, особенности низкого уровня могут включать в себя такие особенности, как качество экспозиции, качество насыщенности, дрожание видеокадров, средняя яркость, цветовая энтропия и/или различия гистограмм между видеокадрами. Особенности высокого уровня могут включать в себя такие особенности, как количество, расположение и/или характерные особенности лица для лиц, которые обнаружены в видеокадрах.

[0074] На этапе 406 средство 102 анализа видео может сохранять оценки особенностей для видеокадра в качестве метаданных для видеокадра. В различных вариантах осуществления средство 102 анализа видео может сохранять метаданные в хранилище 226 данных. Такие метаданные могут уменьшать или устранять повторный анализ видеокадров во время будущего определения важности соответствующих видео файлов или видео фрагментов, которое вовлекает те же самые видеокадры.

[0075] На этапе 408 принятия решений средство 102 анализа видео может определять, существуют или нет дополнительные кадры видео файла для анализа. Другими словами, средство 102 анализа видео может определять, декодированы или нет все видеокадры и связанные с ними звуковые данные видео файла. Если средство 102 анализа видео определяет, что существуют дополнительные кадры для анализа («да» на этапе 408 принятия решений), то процесс 400 может переходить назад на этап 402. На этапе 402 средство 102 анализа видео может получать следующий видеокадр и связанные с ним данные из видео файла. Однако, если средство 102 анализа видео решает на этапе 408 принятия решений, что никакие дополнительные видеокадры видео файла не должны анализироваться («нет» на этапе 408 принятия решений), то процесс 400 может переходить на этап 410.

[0076] На этапе 410 средство 102 анализа видео может применять по меньшей мере одно глобальное правило к одной или большему количеству результирующих особенностей. Например, человека, лицо которого появляется в группе с самой высокой оценкой важности группы, можно считать главным героем. Основываясь на такой информации, модуль 214 анализа высокого уровня может применять глобальное правило к видеокадрам, так что оценки важности лица видеокадров, которые показывают главного героя, могут дополнительно оцениваться.

[0077] На этапе 412 средство 102 анализа видео может объединять все оценки особенностей для каждого видеокадра видео файла для извлечения соответствующей оценки важности кадра для каждого видеокадра. Например, средство 102 анализа видео может усреднять набор нормированных оценок особенностей для каждого видеокадра для получения оценки важности кадра для каждого видеокадра.

[0078] На этапе 414 средство 102 анализа видео может сохранять метаданные для видео файла. Метаданные могут включать в себя оценки важности видеокадров для видеокадров видео файла и/или оценки особенностей для каждого видеокадра.

[0079] На этапе 416 средство 102 анализа видео может сегментировать видео файл на видео фрагменты, основываясь на оценках важности видеокадра для видеокадров. В некотором варианте осуществления средство 102 анализа видео может использовать вычисление оконной массы для сегментации видео файла на видео фрагменты. В других вариантах осуществления средство 102 анализа видео может использовать пересечения нуля для перемещений масштабирования и вертикального линейного перемещения из данных перемещения, записанных в видео файле, для сегментации видео файла на видео фрагменты.

[0080] На этапе 418 средство 102 анализа видео может вычислять значение важности фрагмента для каждого видео фрагмента видео файла. В различных вариантах осуществления средство 102 анализа видео может генерировать значение важности фрагмента, основываясь на нормированных оценках важности кадра видеокадров в видео фрагменте. В некоторых случаях модуль 218 вычисления важности может также применять смещение к одной или большему количеству оценок особенностей во время генерации значений важности фрагмента для видео фрагментов.

[0081] На этапе 420 средство 102 анализа видео может ранжировать видео фрагменты согласно их значениям важности фрагмента. Например, видео фрагменты могут ранжироваться от наибольшей важности до наименьшей важности, или наоборот. Когда видео фрагменты ранжированы, средство 102 анализа видео может отображать эскизные представления видео фрагментов. Выбор эскизного представления может побуждать медиапроигрыватель 122 воспроизводить соответствующий видео фрагмент, или другие приложения - обеспечивать соответствующий видео фрагмент для совместного использования и/или редактирования. Альтернативно, средство 102 анализа видео может обеспечивать данные ранжирования к другому приложению, так что приложение может отображать эскизные представления ранжированных видео фрагментов.

[0082] Фиг. 5 - последовательность операций, которая показывает примерный процесс 500 для использования основанного на правилах анализа видео для анализа особенностей видео файлов для ранжирования видео файлов, основываясь на их важности. На этапе 502 средство 102 анализа видео может получать видео файл из коллекции видео файлов, такой как видео коллекция 106. В различных вариантах осуществления средство 102 анализа видео может получать видео файл, основываясь на вводе выбора от пользователя.

[0083] На этапе 504 средство 102 анализа видео может вычислять значение важности видео из видео файла, основываясь на оценках важности видеокадра для видеокадров в видео файле. Средство 102 анализа видео может вычислять каждую оценку важности кадра из видео файла, как описано на этапах 402-412 процесса 400, показанного на фиг. 4. В различных вариантах осуществления средство 102 анализа видео может усреднять оценки важности видеокадров для получения значения важности видео из видео файла. В альтернативных вариантах осуществления средство 102 анализа видео может конфигурироваться для усреднения оценок важности видеокадров одного или большего количества видео фрагментов видео файла с самой высокой важностью для получения значения важности для видео файла. В некоторых вариантах осуществления вычисление значения важности видео из видео файла может также включать в себя смещение одной или большего количества оценок важности, которые связаны с кадрами.

[0084] На этапе 506 принятия решений средство 102 анализа видео может определять, должны или нет анализироваться дополнительные видео файлы. Средство 102 анализа видео может делать такое определение, основываясь на вводе выбора, принятого от пользователя. Если средство 102 анализа видео определяет, что существуют дополнительные видео файлы для анализа («да» на этапе 506 принятия решений), то процесс 500 может переходить назад на этап 502. На этапе 502 средство 102 анализа видео может получать другой видео файл из коллекции видео файлов для дополнительного анализа.

[0085] Однако, если средство 102 анализа видео определяет, что нет никаких дополнительных видео файлов для анализа («нет» на этапе 506 принятия решений), то процесс 500 может переходить на этап 508. На этапе 508 средство 102 анализа видео может ранжировать видео файлы, которые проанализированы, основываясь на соответствующих значениях важности видео. Например, видео файлы могут ранжироваться от наибольшей важности до наименьшей важности, или наоборот. Когда видео файлы ранжированы, средство 102 анализа видео может отображать эскизные представления видео файлов, в которых выбор эскизного представления может побуждать медиапроигрыватель 122 воспроизводить соответствующий видео файл, или другие приложения - обеспечивать соответствующий видео фрагмент для совместного использования и/или редактирования. Альтернативно, средство 102 анализа видео может обеспечивать данные ранжирования к другому приложению, так что приложение может отображать эскизные представления ранжированных видео файлов.

[0086] В некоторых вариантах осуществления средство 102 анализа видео может сначала пытаться ранжировать видео фрагменты видео файла и/или видео файлы, основываясь на оценках особенности, которые получены для особенностей высокого уровня видеокадров. В таких вариантах осуществления средство 102 анализа видео может прибегать к получению оценок особенности и для особенностей высокого уровня, и для особенностей низкого уровня видеокадров для создания ранжирования, когда начальная попытка заканчивается неудачно из-за недостаточного наличия особенностей высокого уровня на видеокадрах.

[0087] Фиг. 6 - последовательность операций, которая показывает примерный процесс 600 для вычисления оценки важности лица для видеокадра. На этапе 602 модуль 214 анализа высокого уровня может выполнять обнаружение лиц на видеокадре для обнаружения одного или большего количества лиц. Обнаруженное лицо может быть направлено в сторону камеры, которая записала видеокадр, или находиться боком по отношению к камере. Основываясь на этом обнаружении, модуль 214 анализа высокого уровня может генерировать список обнаруженных лиц с их расположением на видеокадре, площадью видеокадра, которая закрывается каждым лицом, и оценкой уверенности обнаружения для каждого лица, которая указывает уверенность обнаружения.

[0088] На этапе 604 модуль 214 анализа высокого уровня может выполнять отслеживание лиц для отслеживания одного или большего количества лиц. В различных вариантах осуществления модуль 214 анализа высокого уровня может отслеживать человеческие лица по множеству видеокадров. Таким образом модуль 214 анализа высокого уровня может устанавливать набор лиц, которые присутствуют в видео файле, а так же отслеживать частоту, с которой каждое лицо появляется в видео файле.

[0089] На этапе 606 модуль 214 анализа высокого уровня может определять, должно или нет основанное на характерных особенностях лица смещение оценки назначаться видеокадру. В различных вариантах осуществления данное определение может выполняться, основываясь на том, присутствуют или отсутствуют одна или большее количество характерных особенностей лица на видеокадре. Таким образом, если модуль 214 анализа высокого уровня определяет, что должно назначаться основанное на характерных особенностях лица смещение оценки («да» на этапе 606 принятия решений), то процесс 600 может переходить на этап 608. Однако, если модуль 214 анализа высокого уровня определяет, что основанное на характерных особенностях лица смещение оценки не должно назначаться («нет» на этапе 606 принятия решений), то процесс 600 может продолжаться непосредственно на этапе 610.

[0090] На этапе 608 модуль 214 анализа высокого уровня может назначать смещение оценки видеокадра, основываясь на характерных особенностях лица по меньшей мере для одного лица на видеокадре. Характерные особенности лица могут включать в себя размер лица, перемещение лица и/или присутствие или отсутствие определенных характерных особенностей лица (например, есть улыбка или нет, закрыты/открыты глаза и т.д.). Например, лицо на видеокадре, размер которого меньше минимального порогового значения размера или больше максимального порогового значения размера, может привести к назначению отрицательного смещения оценки с помощью модуля 214 анализа высокого уровня. В другом примере оценка важности видеокадра, на котором показано лицо конкретного человека, может положительно или отрицательно смещаться согласно расстоянию от лица до центра видеокадра вдоль оси (например, оси x или оси y), так что лицо, которое ближе к центру, приводит к более высокой важности для видеокадра, и наоборот. Отрицательное смещение оценки может быть весовым коэффициентом, который уменьшает оценку важности лица для видеокадра. В дополнительном примере модуль 214 анализа высокого уровня может назначать положительное смещение оценки для каждого лица, которое улыбается и/или имеет открытые глаза.

[0091] На этапе 610 модуль 214 анализа высокого уровня может выполнять по меньшей мере одно из распознавания лиц или группировки лиц по меньшей мере по отношению к одному лицу. При группировке лиц модуль 214 анализа высокого уровня может группировать лица, которые отслеживаются, для определения, принадлежат или нет лица, которые обнаружены на различных видеокадрах, тому же самому человеку. При распознавании лиц модуль 214 анализа высокого уровня может использовать алгоритм распознавания лиц для установления соответствия каждого человеческого лица, которое обнаружено на видеокадре, известному идентификатору человека.

[0092] На этапе 612 модуль 214 анализа высокого уровня может идентифицировать одного или большее количество главных героев, основываясь по меньшей мере на одном из данных отслеживания лиц или данных распознавания лиц. Например, количество лиц в каждой группе прямо пропорционально частоте появления лица в видео файле. Дополнительно, более высокая частота появления указывает более высокую важность человека с данным лицом, и наоборот. Соответственно, лицо, принадлежащее группе с самым большим количеством лиц, может определяться с помощью модуля 214 анализа высокого уровня, как принадлежащее главному герою. В другом примере главный герой может идентифицироваться, когда лицо, определяемое, как принадлежащее главному герою, обнаружено, как присутствующее на видеокадре, с помощью алгоритма распознавания лиц.

[0093] На этапе 614 модуль 214 анализа высокого уровня может назначать положительное смещение оценки видеокадра для каждого присутствия главного героя на видеокадре. Положительная оценка особенности может поднимать оценку важности лица, которая вычислена для видеокадра. Положительное смещение оценки может быть весовым коэффициентом, который увеличивает оценку важности лица для видеокадра.

[0094] На этапе 616 модуль 214 анализа высокого уровня может вычислять оценку важности лица для видеокадра. Оценка важности лица может вычисляться пропорционально размеру и/или перемещению каждого лица на видеокадре. Вычисление оценки важности лица может вычисляться, основываясь на положительных и/или отрицательных смещениях оценки.

[0095] Фиг. 7 - последовательность операций, которая показывает примерный процесс 700 для определения важности фрагментов в пределах видео с помощью анализа перемещения характерных точек. На этапе 702 модуль 216 анализа перемещения может получать видеокадр видео файла, такого как видео файл 108 (1). Модуль 210 видеодекодера может декодировать видеокадр из видео файла для анализа с помощью модуля 216 анализа перемещения.

[0096] На этапе 704 принятия решений модуль 216 анализа перемещения может определять, достигнут или нет конец видео файла. Если модуль 216 анализа перемещения определяет, что конец видео файла не достигнут («нет» на этапе 704 принятия решений), то процесс 700 может продолжаться на этапе 706.

[0097] На этапе 706 модуль 216 анализа перемещения может обнаруживать характерные точки на видеокадре. В различных вариантах осуществления модуль 216 анализа перемещения может субдискретизировать видеокадр и создавать пирамиду субдискретизированных изображений меньших размеров. Субдискретизированные изображения затем сравниваются с помощью модуля 216 анализа перемещения для определения общих точек (то есть характерных точек) среди субдискретизированных изображений.

[0098] На этапе 708 принятия решений модуль 216 анализа перемещения может определять, является или нет видеокадр первым видеокадром видео файла. Соответственно, если модуль 216 анализа перемещения определяет, что видеокадр является первым видеокадром («да» на этапе 708 принятия решений), то процесс 700 может переходить назад на этап 702. После возвращения на этап 702 модуль 216 анализа перемещения может получать другой видеокадр видео файла. Однако, если модуль 216 анализа перемещения определяет, что видеокадр не является первым видеокадром видео («нет» на этапе 708 принятия решений), то процесс 700 может переходить на этап 710.

[0099] На этапе 710 модуль 216 анализа перемещения может устанавливать соответствие характерных точек на видеокадре дополнительному набору характерных точек в предыдущем видеокадре видео файла. В различных вариантах осуществления модуль 216 анализа перемещения может выполнять установление соответствия с помощью определения преобразования, которое выравнивает два смежных кадра таким образом, чтобы максимальное количество характерных точек соответствовало. По меньшей мере в одном варианте осуществления преобразование может выполняться, используя геометрическое соответствие, которое является воплощением надежной оценки параметра.

[0100] На этапе 712 модуль 216 анализа перемещения может вычислять матрицу гомографического преобразования, которая описывает перемещение характерных точек между видеокадрами. По меньшей мере в некоторых вариантах осуществления модуль 216 анализа перемещения может использовать алгоритм случайных выборок и согласования (RANSAC) для получения матрицы гомографического преобразования.

[0101] На этапе 714 модуль 216 анализа перемещения может вычислять данные перемещения для видеокадра из матрицы гомографического преобразования. В различных вариантах осуществления модуль 216 анализа перемещения может извлекать величину и направление компонентов масштабирования и вертикального перемещения, используя матрицу гомографического преобразования. Эти величины и направления представляют преднамеренное перемещение камеры, которое записано на двух смежных кадрах. Впоследствии, процесс 700 может возвращаться назад на этап 702, так что модуль 216 анализа перемещения может получать другой видеокадр видео файла для обработки.

[0102] Возвращаясь к этапу 704 принятия решений, если модуль 216 анализа перемещения определяет, что достигнут конец видео файла («да» на этапе 704 принятия решений), то процесс 700 может продолжиться на этапе 716. На этапе 716 модуль 216 анализа перемещения может вычислять скользящее среднее для данных перемещения видеокадров и перемещения дрожания кадра для каждого видеокадра. Данные перемещения одного или большего количества видеокадров видео файла могут объединяться до вычисления. В различных вариантах осуществления модуль 216 анализа перемещения может определять перемещение дрожания камеры, которая записала видеокадры, с помощью вычисления скользящего среднего данных перемещения векторов перемещения видеокадров, и вычитания преднамеренного перемещения камеры из скользящего среднего данных перемещения. Вычисление скользящего среднего данных перемещения устраняет локальную дисперсию и сохраняет долгосрочные тенденции, которые представляют преднамеренное перемещение. Другими словами.

[0103] На этапе 718 модуль 216 анализа перемещения может устанавливать зоны пересечения нуля для поиска информации локальных максимумов и минимумов, то есть локальных максимумов и минимумов для данных перемещения. Информация локальных максимумов и минимумов может указывать точки перехода к другой сцене для видео файла.

[0104] На этапе 720 модуль 216 анализа перемещения может сегментировать видео файл на видео фрагменты, основываясь на информации локальных максимумов и минимумов. Кроме того, модуль 216 анализа перемещения может объединять и усреднять величины для перемещений масштабирования и панорамирования для каждого видео фрагмента. Величина ускорения, представленного средним значением величин перемещения масштабирования и панорамирования для видео фрагмента, может использоваться с помощью модуля 216 анализа перемещения для назначения оценки важности перемещения видео фрагменту. Впоследствии, модуль 216 анализа перемещения может определять один или большее количество видео фрагментов, которые имеют самые высокие оценки важности перемещения, как важные фрагменты видео файла.

[0105] Использование методик, описанных в данной работе, может давать возможность пользователю ранжировать видео файлы, основываясь на их важности для пользователя. Основываясь на таком ранжировании, пользователь может решать, какие видео файлы сохранить, а какие видео файлы удалить. В некоторых случаях пользователь может также использовать ранжирование видео файлов для решения, перенести или нет определенные видео файлы на веб-сайт совместного использования в Интернет. Методики, описанные в данной работе, могут также представлять эскизные представления, которые представляют важные фрагменты видео файла, так что пользователь может указывать сразу интересные части видео файла. Такая информация может помогать пользователю при редактировании видео файла для улучшения качества содержимого или выделения конкретных фрагментов видео файла.

Заключение

[0106] В заключение, хотя различные варианты осуществления описаны на языке, определенном для структурных признаков и/или методологических действий, нужно подразумевать, что объем изобретения, определяемый в прилагаемой формуле изобретения, не обязательно ограничен конкретными признаками или описанными действиями. Вместо этого, конкретные признаки и действия раскрыты в качестве примерных форм воплощения заявляемого изобретения.