СПОСОБ И УСТРОЙСТВО УПРАВЛЕНИЯ КАМЕРОЙ, ИСПОЛЬЗУЯ ВИРТУАЛЬНУЮ КНОПКУ И ЖЕСТЫ

В данной заявке испрашивается приоритет по предварительной заявке США № 61/775391, поданной 8 марта 2013 г.

УРОВЕНЬ ТЕХНИКИ

Портативные электронные устройства становятся все более повсеместно используемыми. Эти устройства, такие как мобильные телефоны, музыкальные плееры, камеры, планшеты и т.п., часто содержат комбинацию устройств, таким образом, представляя излишним переноску многочисленных предметов. Например, современные мобильные телефоны с сенсорным экраном, такие как телефоны iPhone компании Apple или Galaxy компании Samsung с операционной системой Android, содержат видеокамеры и фотокамеры, навигационную систему глобального позиционирования, браузер Интернета, текстофон и телефон, видеоплеер и музыкальный плеер и т.п. Эти устройства часто делают возможным передавать и принимать данные по многочисленным сетям, таким как WiFi (беспроводная точность), проводным и сотовым, таким как 3G (3-го поколения).

Качество вторичных особенностей в портативной электронике постоянно улучшается. Например, ранние «камерофоны» состояли из сенсорных устройств низкого разрешения с объективами с постоянным фокусным расстоянием и без вспышки. Сегодня многочисленные мобильные телефоны включают в себя полные возможности для видео с высоким разрешением, инструментальные средства редактирования и фильтрации, а также дисплеи с высоким разрешением. С такими улучшенными возможностями многочисленные пользователи используют эти устройства в качестве своих основных фотографических устройств. Следовательно, существует потребность в фотографических инструментальных средствах с еще более улучшенными рабочими характеристиками и профессионального уровня.

Например, многочисленные пользователи мобильных устройств могут использовать функциональную возможность камеры в режиме или видео, или камеры. Снимая фотоизображение, пользователь может захотеть вместо этого снять видео. Аналогично, пользователь может начать снимать видео, но может понять, что изображение может быть более желательным. Часто в приложениях камеры мобильных устройств переключение между двумя режимами является запутанным или занимает много времени. Пользователь может продолжать использовать нежелательный формат, так как он характеризуется тем, что время, требуемое для переключения форматов, может вызвать то, что он упустит возможность снять фотографию. Таким образом, желательно устранить эти проблемы с современными камерами, встроенными в мобильные электронные устройства.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Способ и устройство динамического управления устройством захвата изображения и видео, использующие кнопки, виртуальные кнопки и/или жесты. Система позволяет пользователю управлять устройством захвата изображения посредством определения при помощи команды пользователя, сохранять ли захваченное видео в качестве изображения или в качестве видеофайла. Например, удержание кнопки захвата свыше порогового времени указывает, что захват должен быть сохранен в виде видео, тогда как отпускание кнопки захвата до порогового времени указывает, что захват должен быть сохранен в виде изображения.

Согласно аспекту настоящего изобретения способ содержит этапы приема начала сигнала управления, указывающего начало режима захвата, инициирования режима захвата в ответ на упомянутое начало упомянутого сигнала управления для генерирования захваченных видеоданных, инициирования таймера в ответ на упомянутое начало упомянутого сигнала управления, приема окончания упомянутого сигнала управления, останова упомянутого таймера в ответ на упомянутое окончание упомянутого сигнала управления для генерирования истекшего времени, сравнения упомянутого истекшего времени с пороговым временем и сохранение части упомянутых захваченных видеоданных в ответ на то, что упомянутое истекшее время меньше упомянутого порогового времени.

Согласно другому аспекту настоящего изобретения способ захвата изображения содержит этапы отображения клавиши захвата изображения на сенсорном экране, генерирования сигнала управления в ответ на активизацию упомянутой клавиши захвата изображения, инициирования режима захвата изображения в ответ на упомянутый сигнал управления, в котором упомянутый режим захвата изображения включает запуск таймера и сохранение потока видеоданных, останова упомянутого таймера в ответ на окончание упомянутого сигнала управления для генерирования истекшего времени, сравнения упомянутого истекшего времени с пороговым временем и сохранения части упомянутого потока видеоданных в ответ на то, что упомянутое истекшее время меньше упомянутого порогового времени.

Согласно еще другому аспекту настоящего изобретения устройство содержит сенсорный экран для отображения клавиши захвата изображения и для генерирования первого сигнала управления в ответ на активизацию упомянутой клавиши захвата изображения и второго сигнала управления в ответ на деактивизацию упомянутой клавиши захвата изображения, первую память для хранения порогового времени, процессор для инициирования последовательности захвата в ответ на упомянутый первый сигнал управления, в котором упомянутая последовательность захвата включает в себя сохранение видеоданных, и для останова упомянутой последовательности захвата в ответ на упомянутый второй сигнал управления, упомянутый процессор дополнительно действует для инициирования таймера в ответ на упомянутый первый сигнал управления и останова упомянутого таймера в ответ на упомянутый второй сигнал управления для генерирования значения таймера, в котором упомянутый процессор дополнительно действует для сравнения упомянутого значения таймера с упомянутым пороговым временем, в котором часть упомянутых видеоданных сохраняется в ответ на то, что упомянутое значение таймера меньше упомянутого порогового времени, и вторую память для хранения упомянутой части упомянутых видеоданных.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты, признаки и преимущества настоящего раскрытия описываются или станут очевидными из последующего подробного описания предпочтительных вариантов осуществления, которые следует читать в связи с прилагаемыми чертежами.

На чертежах, причем подобные ссылочные позиции обозначают подобные элементы на всех видах:

фиг. 1 изображает блок-схему примерного варианта осуществления мобильного электронного устройства;

фиг. 2 изображает отображение примерного мобильного устройства, имеющее активное отображение согласно настоящему изобретению;

фиг. 3 изображает примерный процесс стабилизации и перекадрирования изображения согласно настоящему раскрытию;

фиг. 4 изображает отображение примерного мобильного устройства, имеющее инициализацию 400 захвата согласно настоящему изобретению;

фиг. 5 изображает примерный процесс инициирования захвата 500 изображения или видео согласно настоящему раскрытию.

ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНОГО ВАРИАНТА ОСУЩЕСТВЛЕНИЯ

Пояснения примером, изложенные в данном документе, иллюстрируют предпочтительные варианты осуществления изобретения, и такие пояснения примером не должны толковаться никоим образом как ограничивающие объем изобретения.

Ссылаясь на фиг. 1, на ней изображена блок-схема примерного варианта осуществления мобильного электронного устройства. Хотя изображенное мобильное электронное устройство является мобильным телефоном 100, изобретение в равной степени может быть реализовано на любом количестве устройств, таких как музыкальные плееры, камеры, планшеты, навигационные системы глобального позиционирования и т.д. Мобильный телефон обычно включает в себя возможность посылки и приема телефонных вызовов и текстовых сообщений, сопряжения с Интернетом или посредством сотовой сети или локальной беспроводной сети, съемки фотографий и видео, воспроизведения аудиоконтента и видеоконтента и выполнения приложений, таких как обработка текстов, программы или видеоигры. Многие мобильные телефоны включают в себя систему глобального позиционирования (GPS) и также включают в себя панель сенсорного экрана в качестве части пользовательского интерфейса.

Мобильный телефон включает в себя главный процессор 150, который связан с каждым из других важных компонентов. Главный процессор, или процессоры, маршрутизируют информацию между различными компонентами, такими как сетевые интерфейсы, камера 140, сенсорный экран 170 и другие интерфейсы 180 ввода/вывода I/O. Главный процессор 150 также обрабатывает аудиоконтент и видеоконтент для воспроизведения или непосредственно на устройстве или на внешнем устройстве при помощи интерфейса аудио/видео. Главный процессор 150 действует для управления различными вспомогательными устройствами, такими как камера 140, сенсорный экран 170 и интерфейс 130 универсальной последовательной шины (USB). Главный процессор 150 дополнительно действует для исполнения подпрограмм в мобильном телефоне, используемых для манипулирования данными, подобно компьютеру. Например, главный процессор может использоваться для манипулирования файлами изображения, после того как фотография будет снята функцией 140 камеры. Эти манипулирования могут включать в себя обрезку, сжатие, регулировку цвета и яркости и т.п.

Интерфейс 110 сотовой сети управляется главным процессором 150 и используется для приема и передачи информации по сотовой беспроводной сети. Эта информация может кодироваться в различных форматах, таком как множественный доступ с временным разделением каналов (TDMA), множественный доступ с кодовым разделением каналов (CDMA) или мультиплексирование с ортогональным частотным разделением каналов (OFDM). Информация передается и принимается от устройства посредством интерфейса 110 сотовой сети. Интерфейс может состоять из многочисленных антенн, кодеров, демодуляторов и т.п., используемых для кодирования и декодирования информации в соответствующие форматы для передачи. Интерфейс 110 сотовой сети может использоваться для того, чтобы способствовать передаче речи или текста или чтобы передавать и принимать информацию из Интернета. Эта информация может включать в себя видео, аудио и/или изображения.

Интерфейс 120 беспроводной сети, или интерфейс сети WiFi, используется для передачи и приема информации по сети WiFi. Эта информация может кодироваться в различных форматах согласно разным стандартам WiFi, таким как 802.11g, 802.11b, 802.11ac и т.п. Интерфейс может состоять из многочисленных антенн, кодеров, демодуляторов и т.п., используемых для кодирования и декодирования информации в соответствующие форматы для передачи и декодирования информации для демодуляции. Интерфейс 120 сети WiFi может использоваться для того, чтобы способствовать передаче речи или текста или передавать и принимать информацию из Интернета. Эта информация может включать в себя видео, аудио и/или изображения.

Интерфейс 130 универсальной последовательной шины (USB) используется для передачи и приема информации по проводному соединению, обычно на компьютер или другое устройство с USB. Интерфейс 120 USB может использоваться для передачи и приема информации, подключения к Интернету, передачи и приема речевых и текстовых вызовов. Дополнительно, это проводное соединение может использоваться для подключения устройства с USB к другой сети, используя интерфейс 110 сотовой сети мобильных устройств или интерфейс 120 сети WiFi. Интерфейс 120 USB может использоваться главным процессором 150 для посылки и приема конфигурационной информации на компьютер.

Память 160, или запоминающее устройство, может быть подсоединена к главному процессору 150. Память 160 может использоваться для хранения конкретной информации, относящейся к работе мобильного устройства и необходимой для главного процессора 150. Память 160 может использоваться для хранения аудио, видео, фотографий или других данных, хранимых и извлекаемых пользователем.

Интерфейс 180 ввода/вывода (I/O) включает в себя кнопки, громкоговоритель/микрофон для использования с телефонными вызовами, записи и воспроизведения аудио или речевого управления. Мобильное устройство может включать в себя сенсорный экран 170, соединенный с главным процессором 150 посредством контроллера сенсорного экрана. Сенсорный экран 170 может быть экраном или одиночного касания, или множественного касания, используя один или несколько из емкостного или резистивного тактильного датчика. Смартфон также может включать в себя дополнительные элементы пользовательского управления, такие как, но не ограничиваясь ими, кнопка включения/выключения, кнопка активизации, управление громкостью, управление звонком и многоклавишная клавишная панель или клавиатура.

Переходя теперь к фиг. 2, на ней показано отображение примерного мобильного устройства, имеющее активное отображение 200 согласно настоящему изобретению. Приложение примерного мобильного устройства действует так, что предоставляет пользователю возможность записывать при любом кадрировании и свободно поворачивать его устройство при съемке, визуализируя конечный результат в наложении на видоискатель устройства во время съемки и, в конечном счете, корректируя его ориентацию в конечном результате.

Согласно примерному варианту осуществления, когда пользователь начинает снимать, учитывается его текущая ориентация, и вектор силы тяжести, основанный на датчиках устройства, используется для совмещения с горизонтом. Для каждой возможной ориентации, такой как портретная 210, когда высота экрана устройства и относящегося оптического датчика больше ширины, или альбомная 250, когда ширина экрана устройства и относящегося оптического датчика больше высоты, выбирается оптимальное форматное соотношение. Вставной прямоугольник 225 вписывается в общий датчик, который наилучшим образом подгоняется к максимальным границам датчика при данном требуемом оптимальном форматном соотношении для данной (текущей) ориентации. Границы датчика незначительно закрашены, чтобы обеспечить «свободное пространство» для коррекции. Этот вставной прямоугольник 225 преобразуется для компенсации поворота 220, 230, 240 при существенном повороте обратно собственному повороту устройства, который замеряется от интегрированного гироскопа устройства. Преобразованный внутренний прямоугольник 225 оптимально вписывается внутри максимально доступных границ всего датчика за вычетом закрашивания. В зависимости от самой последней ориентации устройства размеры преобразованного внутреннего прямоугольника 225 регулируются так, чтобы интерполироваться между двумя оптимальными форматными соотношениями, относительно величины поворота.

Например, если оптимальным форматным соотношением, выбранным для портретной ориентации, был квадрат (1:1) и оптимальным форматным соотношением, выбранным для альбомной ориентации, был широкий экран (16:9), вписанный прямоугольник будет оптимально интерполироваться между форматами 1:1 и 16:9, когда он поворачивается из одной ориентации в другую. Вписанный прямоугольник замеряется и затем преобразуется так, чтобы подходить к оптимальным выходным размерам. Например, если оптимальным выходным размером является 4:3 и замеренный прямоугольник представляет собой 1:1, замеренный прямоугольник или будет заполняться видимым видом (полностью заполняя область 1:1 оптически, обрезая данные, сколько необходимо), или подгоняться под видимый вид (полностью подгоняя внутрь области 1:1 оптически, закрашивая черным цветом любую неиспользуемую область с помощью «добавления черных полос сверху и снизу» или «добавления черных полос по бокам». В конце результатом является объект с фиксированным видимым видом, где кадрирование контента регулируется на основе динамически обеспечиваемого форматного соотношения во время коррекции. Поэтому, например, видео форматом 16:9, состоящее из контента с форматом от 1:1 до 16:9, будет испытывать колебания между оптически заполненным 260 (во время участков формата 16:9) и подогнанным с помощью добавления черных полос по бокам 250 (во время участков формата 1:1).

Готовы к использованию дополнительные улучшения, посредством которых общая совокупность всех движений учитывается и взвешивается с выбором оптимального выходного форматного соотношения. Например, если пользователь записывает видео, которое «большей частью находится в альбомной ориентации» с меньшей частью контента в портретной ориентации, выходным форматом будет альбомное форматное соотношение (добавляя черные полосы по бокам сегментов с портретной ориентацией). Если пользователь записывает видео, которое большей частью находится в портретной ориентации, применяется противоположное (видео будет в портретной ориентации и будет заполнять выходной результат оптически, обрезая любой контент альбомной ориентации, который выпадает за границы выходного прямоугольника).

Ссылаясь теперь на фиг. 3, на которой показан примерный процесс стабилизации и перекадрирования 300 изображения согласно настоящему раскрытию. Система инициализируется в ответ на инициализацию режима захвата камеры. Эта инициализация может инициироваться в соответствии с аппаратной или программной кнопкой или в ответ на другой сигнал управления, генерируемый в ответ на действие пользователя. Если инициирован режим захвата устройства, датчик 320 мобильного устройства выбирается в ответ на выбор пользователя. Выбор пользователя может быть сделан посредством установки на устройстве сенсорного экрана, посредством системы меню или в ответ на то, как активизируется кнопка. Например, кнопка, которая нажимается один раз, может выбирать датчик фотографий, тогда как кнопка, которая удерживается непрерывно, может указывать датчик видео. Кроме того, удержание кнопки в течение заданного времени, такого как 3 секунды, может указывать, что было выбрано видео, и видеозапись на мобильном устройстве будет продолжаться до тех пор, пока кнопка будет активизирована второй раз.

Если выбран соответствующий датчик захвата, система затем запрашивает измерение от датчика 320 угла поворота. Датчиком угла поворота может быть гироскоп, акселерометр, датчик ориентации оси, светочувствительный датчик или т.п., который используется для определения горизонтального и/или вертикального указания положения мобильного устройства. Измерительный датчик может посылать периодические измерения на управляющий процессор, таким образом непрерывно указывая вертикальную и/или горизонтальную ориентацию мобильного устройства. Таким образом, когда устройство поворачивается, управляющий процессор может непрерывно обновлять отображение и сохранять видео или изображение таким образом, который имеет постоянно согласующийся горизонт.

После того как датчик угла поворота возвратит указание вертикальной и/или горизонтальной ориентации мобильного устройства, мобильное устройство изображает вставной прямоугольник на отображении, указывая захваченную ориентацию видео или изображения 340. Когда мобильное устройство поворачивается, процессор системы непрерывно синхронизирует вставной прямоугольник с измерением угла поворота, принятым от датчика 350 угла поворота. Пользователь может необязательно указать предпочтительное окончательное форматное соотношение видео или изображения, такое как 1:1, 9:16, 16:9, или любое соотношение, выбранное пользователем. Система также может сохранить выбор различных соотношений в соответствии с ориентацией мобильного устройства. Например, пользователь может указать соотношение 1:1 для видео, записываемого в вертикальной ориентации, но соотношение 16:9 для видео, записываемого в горизонтальной ориентации. В данном случае система может непрерывно или с определенным шагом изменять масштаб видео 360, когда мобильное устройство поворачивается. Таким образом, видео может начинаться с ориентации 1:1, но может постепенно изменяться масштаб и завершаться ориентацией 16:9 в ответ на поворот пользователем из вертикальной в горизонтальную ориентации при съемке фильма. Необязательно, что пользователь может указать, что начальная или конечная ориентация определяет окончательное форматное соотношение видео.

Обращаясь теперь к фиг. 4, на ней показано отображение примерного мобильного устройства, имеющее инициализацию 400 захвата согласно настоящему изобретению. Показано примерное мобильное устройство, изображающее отображение кнопочного набора для захвата изображений или видео. Согласно аспекту настоящего изобретения режим захвата примерного устройства может инициироваться в ответ на несколько действий. Любые аппаратные кнопки 410 мобильного устройства могут быть нажаты для инициирования последовательности захвата. Альтернативно, программная кнопка 420 может активизироваться посредством сенсорного экрана для инициирования последовательности захвата. Программная кнопка 420 может быть наложена на изображение 430, отображаемое на сенсорном экране. Изображение 430 служит в качестве видоискателя, указывающего, что текущее изображение захватывается датчиком изображения. Вписанный прямоугольник 440, как описано ранее, также может быть наложен на изображение, чтобы указывать форматное соотношение захватываемого изображения или видео.

Последовательность захвата может активизироваться нажатием и удержанием кнопки, такой как программная кнопка или аппаратная кнопка, и деактивизироваться отпусканием кнопки. Альтернативно, последовательность захвата может активизироваться нажатием кнопки один раз и затем деактивизироваться нажатием кнопки второй раз. Режим записи видео может инициироваться, не принимая во внимание таймер посредством другого жеста, не принимая во внимание таймер. Этот другой жест может включать в себя двойное постукивание по кнопке, удержание кнопки и смахивание на одну сторону или т.п.

Ссылаясь теперь на фиг. 5, на ней изображен примерный процесс инициирования захвата 500 изображения или видео согласно настоящему раскрытию. Если было инициировано программное обеспечение формирования изображения, система ожидает указания на инициирование захвата изображения. Если указание на захват изображения было принято главным процессором 510, устройство начинает сохранять данные, посылаемые с датчика 520 изображения. Кроме того, система инициирует таймер. Система затем продолжает захватывать данные от датчика изображения в качестве видеоданных. В ответ на второе указание от указания захвата, указывающее, что захват прекращен 530, система останавливает сохранение данных от датчика изображения и останавливает таймер.

Затем система сравнивает значение таймера с заданным временным порогом 540. Заданный временной порог может представлять собой значение по умолчанию, определенное поставщиком программного обеспечения, такое как, например, 1 секунда, или оно может представлять собой конфигурируемую установку, определяемую пользователем. Если значение таймера меньше заданного порога 540, система определяет, что желательно неподвижное изображение, и сохраняет первый кадр захвата видео в качестве неподвижного изображения в формате неподвижного изображения, таком как JPEG (Объединенная группа экспертов по машинной обработке фотографических изображений) или т.п. 560. Система может необязательно выбрать другой кадр в качестве неподвижного изображения. Если значение таймера больше заданного порога 540, система определяет, что был желателен захват видео. Система тогда сохраняет данные захвата в виде видеофайла в формате видеофайла, таком как MPEG (Экспертная группа по кинематографии) или т.п. 550. Система затем может возвратиться в режим инициализации, ожидая снова инициирование режима захвата. Если мобильное устройство оснащено разными датчиками для захвата неподвижного изображения и захвата видео, система может необязательно сохранять неподвижное изображение с датчика неподвижного изображения и начать сохранение данных захвата от датчика видеоизображения. Когда значение таймера сравнивается с заданным временным порогом, сохраняются требуемые данные, тогда как нежелательные данные не сохраняются. Например, если значение таймера превышают пороговое временное значение, видеоданные сохраняются и данные изображения игнорируются.

Следует понять, что элементы, показанные и описанные выше, могут быть реализованы в различных видах аппаратного обеспечения, программного обеспечения или их комбинациях. Предпочтительно, что эти элементы реализуются в комбинации аппаратного и программного обеспечения на одном или нескольких запрограммированных соответствующим образом устройствах общего назначения, которые могут включать в себя процессор, память и интерфейсы ввода/вывода. Настоящее описание иллюстрирует принципы настоящего раскрытия. Таким образом, понятно, что специалист в данной области техники сможет разработать различные устройства, которые, хотя не описаны или изображены подробно в данном документе, воплощают принципы раскрытия и включены в объем. Все примеры и обусловленная формулировка, изложенные в данном документе, предназначены для информационных целей, чтобы помочь читателю понять принципы раскрытия и идеи, внесенные изобретателем, чтобы содействовать развитию техники, и должны толковаться как не ограничивающие такими конкретно изложенными примерами и условиями. Кроме того, предполагается, что все формулировки в данном документе, излагающие принципы, аспекты и варианты осуществления раскрытия, а также его конкретные примеры, охватывают как конструктивные, так и функциональные его эквиваленты. Кроме того, предполагается, что такие эквиваленты включают в себя как известные в настоящее время эквиваленты, так и эквиваленты, разработанные в будущем, т.е. любые разработанные элементы, которые выполняют эту же функцию независимо от конструкции. Таким образом, например, для специалиста в данной области техники понятно, что блок-схемы, представленные в данном документе, представляют концептуальные представления иллюстративных схем, воплощающих принципы раскрытия. Аналогично, понятно, что любые блок-схемы последовательности операций, схемы последовательности операций, диаграммы перехода состояний, псевдокод и т.п. представляют различные процессы, которые, по существу, могут быть представлены на считываемых компьютером носителях и поэтому могут исполняться компьютером или процессором, показан ли или нет явно такой компьютер или процессор.