Результат интеллектуальной деятельности: СПОСОБ И СИСТЕМА ДЛЯ СТАБИЛИЗАЦИИ И ЦЕНТРИРОВАНИЯ ИЗОБРАЖЕНИЯ

По этой заявке испрашивается приоритет предварительной заявки США № 61/775324, поданной 8 марта 2013 года.

УРОВЕНЬ ТЕХНИКИ

Портативные электронные устройства становятся все более распространенными. Эти устройства, такие как мобильные телефоны, музыкальные плееры, камеры, планшеты и т.п., часто представляют собой сочетание устройств, благодаря чему создается избыточность, охватывающая многочисленные объекты. Например, современные мобильные телефоны с сенсорным экраном, такие как Applei Phone или телефон Samsung Galaxy на платформе Андроид, содержат видео- и фотокамеры, глобальную систему навигации и определения местоположения, интернет-браузер, средства обмена текстовой информацией и телефонии, видеоплеер и музыкальный плеер, и не только. Эти устройства часто поддерживают многочисленные сети, такие как Wi-Fi, проводная сеть и сотовая сеть, такая как 3G, для передачи и приема данных.

Качество и дополнительные характеристики портативной электроники постоянно улучшаются. Например, первые телефоны с фотокамерой содержали датчики с низкой разрешающей способностью вместе с объективами с фиксированной фокусировкой и не имели вспышки. В настоящее время многие мобильные телефоны включают в себя видео средства высокой четкости, средства редактирования и фильтрации, а также высокоразрешающие дисплеи. При наличии этих повышенных возможностей многие пользователи используют эти устройства в качестве основных фотографических устройств. Следовательно, имеется потребность в еще более улучшенных характеристиках и повышенном профессиональном уровне встроенных фотографических приборов.

Например, многие видеоматериалы регистрируются на мобильных устройствах таким способом, при котором пользователь может случайно повернуть мобильное устройство, в результате чего для зрителя наклоняется видео горизонт при вертикальной ориентации видео. В экстремальном случае пользователь может начать съемку камерой при вертикальной ориентации и перейти к горизонтальной ориентации. Результатом будет видео, которое при воспроизведении зрителю начнется в надлежащей ориентации, но закончится при повороте на 90°. Для исключения этой проблемы необходима постобработка, которая является нежелательным действием для пользователя, желающего прямо поделиться видео через социальную сеть.

Кроме того, регистрация видео мобильным устройством при вертикальной ориентации часто приводит к образованию видеоизображения, которое имеет большую высоту, чем ширину. Этот конечный результат не является оптимальным при использовании большей части дисплеев, таких как телевизионные экраны, которые обычно имеют большую ширину, а не высоту. Во многих случаях пользователи снимают видео, не обращая особого внимания на горизонтальную ориентацию, особенно при съемке культурно-просветительных мероприятий, репортажной съемке или при съемке других объектов, когда пользователь находится под впечатлением, которое при регистрации отвлекает внимание от устройства. Кроме того, мобильные телефоны большей частью рассчитаны на использование при вертикальной ориентации. Поэтому пользователь может начать использовать устройство при предполагаемой для использования ориентации, лишь позднее осознав, что видео следует снимать при горизонтальной ориентации.

Таким образом, желательно исключить эти проблемы с современными видеокамерами, встроенными в мобильные электронные устройства.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Способ и устройство для динамического поддержания горизонтального кадрирования видео. Система позволяет пользователю свободно поворачивать устройство при съемке, при этом окончательный результат будет визуализироваться с наложением на видоискатель или экран устройства во время съемки. Получающаяся запись последовательно корректируется для сохранения одной ориентации относительно стабильного горизонта. В системе и способе оперативно отображается наложение поверх захваченного представления захваченного видео, при этом наложение обозначает модифицированное изображение в соответствии с указанной ориентацией.

Согласно одному аспекту настоящее изобретение включает в себя способ сохранения данных изображения, содержащий этапы приема данных, представляющих первое изображение, имеющее первую ориентацию, приема данных, представляющих вторую ориентацию, обозначающую вертикальную ориентацию устройства относительно направления силы тяжести, переориентирования указанного первого изображения так, что указанная вторая ориентация становится вертикальной ориентацией указанного первого изображения, чтобы формировать переориентированное изображение, и сохранения указанного переориентированного изображения.

Согласно другому аспекту настоящее изобретение также включает в себя способ обработки видеопотока, содержащий этапы инициализации режима захвата видео, приема первых данных, представляющих видеопоток, отображения представления указанного видеопотока, приема вторых данных, представляющих форматное соотношение, приема третьих данных, представляющих угловое положение, и наложения графического представления указанного форматного соотношения и указанного углового положения поверх указанного представления указанного видеопотока.

Согласно еще одному аспекту настоящее изобретение также включает в себя устройство, содержащее датчик изображения для захвата данных изображения, имеющих первую ориентацию, датчик поворота для определения значения поворота, процессор для определения второй ориентации в ответ на указанное значение поворота и для переориентирования указанных данных изображения в ответ на указанную вторую ориентацию, чтобы формировать переориентированное изображение, и сохранение указанного переориентированного изображения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты, признаки и преимущества настоящего изобретения будут описаны или станут очевидными из нижеследующего подробного описания предпочтительных вариантов осуществления, которые следует изучать в сочетании с сопровождающими чертежами.

На чертежах, на которых одинаковыми ссылочными позициями обозначены подобные элементы, представлены:

фиг. 1 - структурная схема мобильного электронного устройства согласно примеру варианта осуществления;

фиг. 2 - иллюстрация изображения в типовом мобильном устройстве, имеющем активный дисплей согласно настоящему изобретению;

фиг. 3 - пример процесса стабилизации и центрирования изображения согласно настоящему раскрытию;

фиг. 4 - приведенный для примера вид дисплея мобильного устройства, имеющего инициализацию 400 захвата согласно настоящему изобретению; и

фиг. 5 - пример процесса 500 инициирования захвата изображения или видео согласно настоящему раскрытию.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Примерами, изложенными в этой заявке, иллюстрируются предпочтительные варианты осуществления изобретения, и такие примеры не должны толковаться как ограничивающие каким-либо образом объем изобретения.

Что касается фиг. 1, то на ней показана структурная схема мобильного электронного устройства согласно примеру варианта осуществления. Хотя показанное мобильное электронное устройство представляет собой мобильный телефон 100, изобретение равным образом может быть реализовано во всевозможных устройствах, таких как музыкальные плееры, камеры, планшеты, глобальные системы навигации и определения местоположения и т.д. Мобильный телефон обычно включает в себя возможности передачи и приема телефонных разговоров и текстовых сообщений, сопряжения с Интернетом через сотовую сеть или локальную беспроводную сеть, получения изображений и видеоматериалов, воспроизведения звука и видеоконтента и выполнения приложений, таких как обработка текстов, программы или видеоигры. Многие мобильные телефоны включают в себя приемник глобальной системы место определения и также включают в себя сенсорную экранную панель как часть пользовательского интерфейса.

Мобильный телефон включает в себя основной процессор 150, который связан с каждым из других основных компонентов. Основной процессор (или процессоры) маршрутизирует информацию между различными компонентами, такими как сетевые интерфейсы, камера 140, сенсорный экран 170 и другие интерфейсы 180 ввода-вывода (I/O). Кроме того, основной процессор 150 обрабатывает аудио- и видеоконтент для воспроизведения непосредственно устройством или внешним устройством через аудио/видеоинтерфейс. Основной процессор 150 выполняет действия по управлению различными субустройствами, такими как камера 140, сенсорный экран 170 и интерфейс 130 универсальной последовательной шины (USB). Кроме того, основной процессор 150 выполняет действия по выполнению подпрограмм в мобильном телефоне, используемом для манипулирования данными подобно компьютеру. Например, основной процессор можно использовать для манипулирования файлами изображения после получения фотоснимков камерой 140. Эти манипулирования могут включать в себя обрезание, сжатие, регулирование цвета и яркости и т.п.

Интерфейс 110 сотовой сети управляется основным процессором 150 и используется для приема и передачи информации по сотовой беспроводной сети. Эту информацию можно кодировать в различных форматах, таких как множественный доступ с временным разделением каналов(TDMA), множественный доступ с кодовым разделением(CDMA) или мультиплексирование с ортогональным частотным разделением(OFDM). Информация передается и принимается от устройства через интерфейс 110 сотовой сети. Интерфейс может состоять из многочисленных антенных кодирующих устройств, демодуляторов и т.п., используемых для кодирования и декодирования информации в соответствующие форматы при передаче. Интерфейс 110 сотовой сети может использоваться для содействия передаче речи или текста или передаче и приема информации из Интернета. Эта информация может включать в себя видео, аудио и/или изображения.

Интерфейс 120 беспроводной сети или интерфейс сети Wi-Fi используется для передачи и приема информации по сети Wi-Fi. Эта информация может быть кодированной в различных форматах согласно различным стандартам Wi-Fi, таким как 802.11g, 802.11b, 802.11ac и т.п. Интерфейс может состоять из многочисленных антенных кодирующих устройств, демодуляторов и т.п., используемых для кодирования и декодирования информации в соответствующие форматы при передаче и декодирования информации при демодуляции. Интерфейс 120 сети Wi-Fi можно использовать для содействия передаче речи и текста или передаче и приеме информации из Интернета. Эта информация может включать в себя видео, аудио и/или изображения.

Интерфейс 130 универсальной последовательной шины (USB) используется для передачи и приема информации по проводной линии, обычно к компьютеру или другому устройству с поддержкой универсальной последовательной шины. Интерфейс 130 универсальной последовательной шины можно использовать для передачи и приема информации, соединения с Интернетом, передачи и приема речевых и текстовых вызовов. Кроме того, эту проводную линию можно использовать для соединения устройства с поддержкой универсальной последовательной шины с другой сетью при использовании интерфейса 110 сотовой сети мобильных устройств или интерфейса 120 сети Wi-Fi. Интерфейс 130 универсальной последовательной шины может использоваться основным процессором 150 для передачи конфигурационной информации к компьютеру и приема от компьютера.

Запоминающее устройство 160 или устройство хранения данных может быть связано с основным процессором 150. Запоминающее устройство 160 можно использовать для сохранения конкретной информации, относящейся к работе мобильного устройства и запрашиваемой основным процессором 150. Запоминающее устройство 160 можно использовать для сохранения аудио, видео, фотоснимков или других данных, сохраняемых и извлекаемых пользователем.

Интерфейс 180 ввода-вывода (I/O) включает в себя кнопки, громкоговоритель/микрофон для использования при телефонных вызовах, записи и воспроизведении звука или голосовом управлении активизацией. Мобильное устройство может включать в себя сенсорный экран 170, связанный с основным процессором 150 через контроллер сенсорного экрана. Сенсорный экран 170 может быть односенсорным или мультисенсорным экраном с использованием одного или нескольких емкостных и резистивных датчиков касания. Кроме того, смартфон может включать в себя дополнительные пользовательские элементы управления, такие как, но без ограничения ими, кнопка включения/выключения, кнопка активизации, регуляторы усиления и многокнопочная клавиатура или клавишная панель.

Теперь обратимся к фиг. 2, на которой показано изображение в типовом мобильном устройстве, имеющем активный дисплей 200 согласно настоящему изобретению. Применением типового мобильного устройства является выполнение действий, позволяющих пользователю осуществлять регистрацию при любом кадрировании и свободный поворот устройства при съемке, визуализацию окончательного результата с наложением на видоискатель устройства во время съемки и в конечном итоге, коррекцию ориентации в окончательном результате.

Согласно примеру варианта осуществления, когда пользователь начинает съемку, принимается во внимание текущая ориентация, а вектор силы тяжести на основе показаний датчиков устройства используется для совмещения с горизонтом. Для каждой возможной ориентации, такой как портретная 210, при которой высота экрана устройства и связанного с ним оптического датчика больше, чем ширина, или ландшафтная 250, при которой ширина экрана устройства и связанного с ним оптического датчика больше, чем высота, выбирается оптимальное заданное форматное соотношение. Вставной прямоугольник 225 вписывается в пределы всего датчика, что является наилучшим соответствием максимальным границам датчика, определяемым желательным оптимальным форматным соотношением при данной (текущей) ориентации. Границы датчика несколько раздвинуты для обеспечения свободного пространства при коррекции. Этот вставной прямоугольник 225 преобразуется для компенсации поворота 220, 230, 240 путем по существу поворачивания противоположно повороту самого устройства, отсчет которого берется от встроенного в устройство гироскопа. Преобразованный внутренний прямоугольник 225 оптимально вписывается в пределы максимальных имеющихся границ всего датчика за вычетом раздвигания. В зависимости от текущей преобладающей ориентации размеры преобразованного внутреннего прямоугольника 225 регулируются для интерполяции между двумя оптимальными форматными соотношениями соответственно степени поворота.

Например, если оптимальным форматным соотношением, выбранным для портретной ориентации, является квадратное (1:1), а оптимальным форматным соотношением, выбранным для ландшафтной ориентации, является широкий формат (16:9), вписанный прямоугольник будет оптимально интерполировать между 1:1 и 16:9 при повороте от одной ориентации к другой. Вписанный прямоугольник измеряется и затем преобразуется до соответствия оптимальному выходному размеру. Например, если оптимальный выходной размер составляет 4:3, а измеренный прямоугольник имеет отношение 1:1, измеренный прямоугольник должен заполняться в сторону (полное оптическое заполнение площади 1:1, при необходимости данными об обрезании) или сторона должна соответствовать (полное оптическое соответствие в пределах площади 1:1, затемнение любого неиспользуемого участка в случае леттербоксинга или пилларбоксинга). В конечном счете, результат заключается в ценном свойстве фиксированного соотношения ширины и высоты, при этом кадрирование контента регулируется на основании полученного динамически форматного соотношения во время коррекции. Так, например, видео в формате 16:9, состоящее из контента формата от 1:1 до 16:9, будет периодически изменяться между оптически заполненным 260 (во время блоков 16:9) и соответствующим пилларбоксингу 250 (во время блоков 1:1).

Имеются дополнительные уточнения, на основании которых полная совокупность всех перемещений учитывается и примешивается к выбору оптимального выходного форматного соотношения. Например, если пользователь регистрирует видео, которое является большей частью ландшафтным с меньшей частью портретного контента, выходной формат будет ландшафтным форматом изображения (пилларбоксинг портретных сегментов). Если пользователь регистрирует видео, которое является большей частью портретным, действует противоположное (видео будет в портретном формате и будет заполнять выходной прямоугольник оптически, при этом будет обрезаться любой ландшафтный контент, который попадает за пределы границ выходного прямоугольника).

Теперь обратимся к фиг. 3, на которой показан пример процесса 300 стабилизации и центрирования изображения согласно настоящему раскрытию. Система инициализируется в ответ на режим захвата инициированной камеры. Эта инициализация может быть произведена в соответствии с нажатием кнопки аппаратного обеспечения или программного обеспечения или в ответ на другой управляющий сигнал, формируемый в ответ на действие пользователя. После того как режим захвата устройства инициирован, датчик мобильного устройства выбирается 320 в ответ на выборки пользователя. Выборки пользователя могут быть сделаны заданием параметров на сенсорном экране устройства, через систему меню или в ответ на приведение в действие определенным образом кнопки. Например, при однократном нажатии кнопки может выбираться датчик фотоизображения, тогда как кнопка, которая удерживается непрерывно нажатой, может указывать на датчик видео. Кроме того, удержание кнопки в течение заданного времени, такого как 3 с, может указывать на выбор видео, и видео регистрация в мобильном устройстве будет продолжаться до тех пор, пока кнопка не будет приведена в действие второй раз.

После того как надлежащий датчик захвата выбран, система в этом случае запрашивает 330 измерение от датчика поворота. Датчиком поворота может быть гироскоп, акселерометр, датчик ориентации оси, светочувствительный датчик или аналогичный, который используется для определения показателя положения мобильного устройства по горизонтали и/или вертикали. Измерительный датчик может передавать периодические измерения к управляющему процессору, тем самым непрерывно показывая вертикальную и/или горизонтальную ориентацию мобильного устройства. Таким образом, когда устройство поворачивают, управляющий процессор может непрерывно обновлять дисплей и сохранять видео или изображение способом, при котором имеется непрерывный согласованный горизонт.

После того как датчик поворота выдал показатель вертикальной и/или горизонтальной ориентации мобильного устройства, мобильное устройство отображает 340 вставной прямоугольник на дисплее, показывая захваченную ориентацию видео или изображения. По мере поворота мобильного устройства системный процессор непрерывно синхронизирует 350 вставной прямоугольник с измерением поворота, принимаемым с датчика поворота. По желанию пользователя могут показываться предпочтительные конечные форматные соотношения видео или изображения, такие как 1:1, 9:16, 16:9 или любое форматное соотношение, выбираемое пользователем. Кроме того, в системе могут сохраняться выборки пользователя для различных форматных соотношений согласно ориентации мобильного устройства. Например, пользователь может указать форматное соотношение 1:1 для видео, регистрируемого в вертикальной ориентации, но форматное соотношение 16:9 для видео, регистрируемого в горизонтальной ориентации. В этом случае система может непрерывно или с определенным шагом изменять 360 масштаб видео по мере поворота мобильного устройства. Таким образом, видео может начинаться с ориентации 1:1, но масштаб может постепенно изменяться к концу до ориентации 16:9 в ответ на поворот пользователем от вертикальной к горизонтальной ориентации при съемке фильма. По желанию пользователь может указать, чтобы начальная или конечная ориентация определяла конечное форматное соотношение для видео.

Теперь обратимся к фиг. 4, на которой представлен дисплей показанного для примера мобильного устройства, имеющий инициализацию 400 захвата согласно настоящему изобретению. В показанном для примера мобильном устройстве представлен отображающий дисплей с сенсорным экраном для захвата изображений или видео. Согласно аспекту настоящего изобретения режим захвата показанного для примера устройства может инициироваться в ответ на некоторое количество действий. Любую из кнопок 410 технического обеспечения мобильного устройства можно нажимать для инициирования последовательности захватов. Или же кнопку 420 программного обеспечения можно активизировать с помощью сенсорного экрана для инициирования последовательности захватов. Кнопка 420 программного обеспечения может быть наложена на изображение 430, отображаемое на сенсорном экране. Изображение 430 действует как видоискатель, показывающий текущее изображение, захватываемое датчиком изображения. Вписанный прямоугольник 440, описанный ранее, также может быть наложен на изображение для показа формата захватываемого изображения или видео.

Теперь обратимся к фиг. 5, на которой показан пример процесса 500 инициирования захвата изображения или видео согласно настоящему раскрытию. После того как программное обеспечение построения изображения инициировано, система находится в ожидании признака инициирования захвата изображения. После приема 510 основным процессором признака захвата изображения устройство начинает сохранять 520 данные, передаваемые с датчика изображения. Кроме того, система инициирует таймер. Затем система продолжает захват данных с датчика изображения в виде видеоданных. В ответ на второй признак захвата, указывающий на то, что захват прекращен 530, система приостанавливает сохранение данных с датчика изображения и останавливает таймер.

Затем система сравнивает 540 значение времени таймера с заданным пороговым значением времени. Заданное пороговое значение времени может быть значением по умолчанию, задаваемым поставщиком программного обеспечения, например, таким как 1 с, или оно может быть конфигурируемым параметром, задаваемым пользователем. Если значение времени таймера меньше заданного порога, система определяет, что неподвижное изображение было желательным, и сохраняет 560 первый кадр захвата видео в виде неподвижного изображения в формате неподвижного изображения, таком как jpeg или аналогичном. По желанию пользователя система может выбрать другой кадр в качестве неподвижного изображения. Если значение времени таймера больше, чем заданный порог 540, система определяет, что захват видео был желательным. В таком случае захваченные данные сохраняются 550 системой в виде видео файла в формате видео файла, таком как mpeg или аналогичном. Затем система возвращается в режим инициализации, ожидая повторного инициирования режима захвата. Если мобильное устройство снабжено различными датчиками для захвата неподвижного изображения и захвата видео, по желанию пользователя система может сохранить неподвижное изображение с датчика неподвижного изображения и начать сохранение захваченных данных с датчика видеоизображения. Когда значение времени таймера сравнимо с заданным порогом времени, желательные данные сохраняются, тогда как нежелательные данные не сохраняются. Например, если значение времени таймера превышает пороговое значение времени, видеоданные сохраняются, а данные изображения отбрасываются.

Следует понимать, что элементы, показанные и рассмотренные выше, могут быть реализованы в различных формах аппаратного обеспечения, программного обеспечения или их сочетаний. Предпочтительно реализовывать эти элементы в виде сочетания аппаратного обеспечения и программного обеспечения на одном или нескольких соответствующим образом программируемых устройствах общего назначения, которые могут включать в себя процессор, запоминающее устройство и интерфейсы ввода-вывода. В настоящем описании показаны принципы настоящего раскрытия. Поэтому должно быть понятно, что специалисты в данной области техники могут разработать различные устройства, которые, хотя не описаны в явной форме или не показаны в этой заявке, охватывают принципы изобретения и включены в его объем. Все примеры и условные выражения, изложенные в этой заявке, предназначены для информативных целей, чтобы помочь читателю понять принципы изобретения и концепции, вносимые изобретателем для развития уровня техники, и такие конкретно изложенные примеры и условия не должны толковаться как ограничивающие. Кроме того, все формулировки в этой заявке с изложением принципов, аспектов и вариантов осуществления изобретения, а также конкретных примеров, предполагаются охватывающими структурные и функциональные эквиваленты. В дополнение к этому предполагается, что такие эквиваленты включают в себя известные в настоящее время эквиваленты, а также эквиваленты, которые будут разработаны в дальнейшем, то есть любые разрабатываемые элементы, которые выполняют такую же функцию вне зависимости от структуры. Таким образом, специалистам в данной области техники должно быть понятно, что на показанных структурных схемах отображены концептуальные представления иллюстративных схемных решений, реализующих принципы раскрытия. Аналогично этому, должно быть понятно, что любые блок-схемы последовательности действий, диаграммы потока, диаграммы переходов состояний, псевдокод и т.п. отображают различные процессы, которые могут быть по существу представлены на считываемых компьютером носителях и поэтому выполняться компьютером или процессором, независимо от того, что такой компьютер или процессор явно не показан.