Результат интеллектуальной деятельности: ФОРМИРОВАНИЕ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ С ИСПОЛЬЗОВАНИЕМ ЭФФЕКТА БЛИЗОСТИ

Область техники, к которой относится изобретение

Настоящее изобретение относится к экранам дисплеев, которые позволяют отображать трехмерные изображения и, более конкретно, но не с целью ограничения, к формированию трехмерных изображений для специфических приложений, таких как экраны дисплеев мобильных телефонов и компьютеров.

Уровень техники

Компьютеры и компактные мобильные телефоны получили популярность и признание во всем мире. Широкое распространение компьютеров и мобильных телефонов привело к тому, что они стали неотъемлемой частью современного общества и бизнеса. Существует много причин успеха этих технологий, и они включают в себя присущую легкость, с которой пользователь может устанавливать связь и/или получать доступ к информации, а также связанные с этим общедоступные удобства. Как в телефонной связи, так и при организации доступа к информации экран дисплея является неотъемлемой частью мобильных телефонов и компьютеров.

За последние годы экраны компьютеров и дисплеев телефонных трубок мобильных телефонов продемонстрировали технологическую новизну и связанные с этим удобства. В настоящее время производят и продают экраны дисплеев компьютеров и мобильных телефонов с множеством размеров и форм, с использованием самой современной технологии жидкокристаллических индикаторов (ЖКИ (LCD)), обеспечивающей визуальное отображение с расширенными цветовыми возможностями и малым потреблением мощности. Аспект "малого потребления мощности" экрана дисплея особенно важен в области мобильных телефонов. К функционированию современных мобильных телефонов предъявляют требования повышенной эффективности по потреблению мощности и сроку службы аккумулятора. К тому же, визуальное отображение, улучшенное при помощи определенной техники отображения, стало более четким и эффективным для пользователя компьютера и мобильных телефонов, что позволяет проводить усовершенствования в таких аспектах, как формирование трехмерных изображений на экранах дисплеев.

Для формирования стереоскопических или трехмерных изображений используется технический прием, создающий иллюзию глубины в двумерном изображении. Трехмерные изображения получили признание и популярность в различных приложениях, таких как фотография, видео, игры, мобильные телефоны и анимация.

В настоящее время трехмерное изображение формируется при помощи пары двумерных изображений. Для создания ощущения глубины или трехмерного изображения на левый глаз зрителя поступает изображение, отличающееся от того, которое поступает на правый глаз. Различные изображения представляют собой две проекции одного и того же изображения, имеющие незначительные отклонения, подобные проекциям, которые оба глаза естественным образом получают в бинокулярном зрении. В середине 19-го столетия Чарльз Уитстоун (Charles Wheatstone) создал первую версию стереоскопии, напечатав рядом два незначительно отличающихся изображения. Зрителю требуется напрячь свои глаза для схождения или расхождения так, чтобы два изображения казались бы третьим. Далее, так как каждый глаз видит разное изображение, то достигается эффект глубины в основном третьем изображении. Этот технический прием был позже усовершенствован путем использования специальных фотоаппаратов для получения совместных незначительно отличающихся снимков и двухлинзового стереоскопа для рассматривания специальных снимков.

Для создания стереоскопического кино два изображения проецируются и накладываются на одном экране через ортогональные поляризационные фильтры. Зритель надевает очки, которые включают в себя пару ортогональных поляризационных фильтров. Так как каждый фильтр пропускает свет, который подобным образом поляризован, и не пропускает ортогонально поляризованный свет, каждый глаз видит только одно из изображений, и создается эффект трехмерного изображения. В подобном случае, трехмерное изображение может быть создано с использованием цветных фильтров вместо поляризационных фильтров. Изображение для одного глаза зрителя создается в первом цвете, например в красном, и изображение для другого глаза создается в контрастирующем цвете, например в синем или зеленом. Зритель видит изображение через пару очков с цветными фильтрами для каждого глаза. Система цветных фильтров хорошо работает для черно-белых изображений, однако, цветные фильтры влияют на вид цветов в цветном изображении.

Современную трехмерную графику для приложений на экране, таких как мобильный телефон или портативный компьютер, можно сформировать путем передачи специфического набора изображений на левый глаз зрителя и другого набора изображений на правый глаз зрителя, создавая, таким образом, ощущение глубины. Относительное положение экрана и глаза фиксируется так, чтобы глаз располагался на предопределенном расстоянии от экрана (например, 30-50 см), и глаз был под прямым углом к центру экрана. Наборы изображений накладываются на экране, однако, наборы изображений показывают слегка разные проекции трехмерного изображения. Изображения для одного глаза немного смещены по горизонтали относительно изображений для другого глаза. Когда зритель не находится в пределах предопределенного расстояния от экрана, трехмерное изображение выглядит неправильно. Например, трехмерное изображение может быть размытым и разбитым на отдельные наборы изображений для правого и левого глаз. Кроме того, трехмерные изображения для мобильных телефонов, портативных компьютеров и т.д. в настоящее время рассматриваются только под прямым углом.

Сущность изобретения

Настоящее изобретение относится к экранам дисплеев, а более конкретно - к экранам трубок мобильных телефонов и дисплеев компьютеров и связанных с ними устройств связи, использующих трехмерное изображение для облегчения просмотра повышенного качества. В одном варианте осуществления настоящее изобретение включает в себя устройство, приспособленное для отображения трехмерного изображения. Устройство содержит поверхность дисплея для отображения трехмерного изображения, датчик для сбора данных о расстоянии, связанных по меньшей мере с одним местоположением и расстоянием между устройством и пользователем устройства, и генератор изображений для выработки трехмерного изображения на основании данных о расстоянии. Датчик может представлять собой датчик близости, видеокамера которого создает данные о расстоянии, основанные на размере особенности пользователя, или системы, использующие другую технологию определения расстояния.

В другом варианте осуществления описанные выше данные о местоположении или расстоянии содержат распознанное расстояние между пользователем и устройством, или различие между предыдущим набором данных о расстоянии и распознанным в текущий момент времени набором данных о расстоянии. В некоторых вариантах осуществления изобретение включает в себя по меньшей мере один мобильный телефон, персональный цифровой помощник (ПЦП (PDA) или портативный компьютер.

В еще одном варианте осуществления изобретения предложен способ формирования трехмерного изображения. Способ содержит этапы распознавания по меньшей мере местоположения или расстояния до пользователя, создания данных о расстоянии на основании местоположения и/или расстояния до пользователя и формирования трехмерного изображения на основании данных о расстоянии. Способ может дополнительно содержать этапы, в соответствии с которыми повторно распознают местоположение и/или расстояние до пользователя, определяют, требуется ли корректировка сформированного трехмерного изображения, корректируют сформированное трехмерное изображение, если определено, что требуется корректировка сформированного трехмерного изображения, и определяют, следует ли завершить приложение по формированию изображения, требующее формирования трехмерного изображения. Если определяют, что не следует завершать приложения по формированию изображения, то один вариант осуществления изобретения включает в себя повторение этапов повторного распознавания, определения того, требуется ли корректировка сформированного трехмерного изображения, корректировки и определения того, следует ли завершать приложение по формированию изображения, требующее формирования трехмерного изображения.

В другом аспекте один вариант осуществления изобретения включает в себя способ преобразования предварительно сформированного трехмерного изображения. Способ содержит этапы получения предварительно сформированного трехмерного изображения, распознавания по меньшей мере местоположения или расстояния до пользователя, выработки данных о расстоянии на основании распознанного местоположения или распознанного расстояния до пользователя и преобразования предварительно сформированного трехмерного изображения на основании данных о расстоянии. Вышеописанный способ может также включать в себя этапы повторного распознавания местоположения или расстояния до пользователя, определения того, требуется ли корректировка преобразованного предварительно сформированного трехмерного изображения, корректировки преобразованного предварительно сформированного трехмерного изображения, если определено, что предварительно сформированное трехмерное изображение требует корректировки, и определения того, следует ли завершать приложение по формированию изображения, требующее преобразования трехмерного изображения. Если определяют, что не следует завершать приложения по формированию изображения, то один вариант осуществления изобретения включает в себя повторение этапов повторного распознавания, определения того, требуется ли корректировка преобразованного сформированного трехмерного изображения, корректировки и определения того, следует ли завершать приложение по формированию изображения, требующее преобразования трехмерного изображения.

Краткое описание чертежей

Способ и устройство настоящего изобретения раскрыты в подробном описании, приведенном ниже со ссылкой на сопроводительные чертежи, на которых:

фиг.1A-1D изображают схему, иллюстрирующую трехмерное изображение, показанное в двумерной среде;

фиг.2 изображает схему, иллюстрирующую мобильный телефон согласно варианту осуществления настоящего изобретения;

фиг.3 изображает блок-схему мобильного телефона согласно варианту осуществления настоящего изобретения;

фиг.4 изображает блок-схему мобильного телефона согласно альтернативному варианту осуществления настоящего изобретения;

фиг.5 изображает блок-схему, иллюстрирующую способ формирования трехмерных изображений согласно варианту осуществления настоящего изобретения и

фиг.6 изображает блок-схему, иллюстрирующую способ формирования трехмерных изображений согласно альтернативному варианту осуществления настоящего изобретения.

Подробное описание изобретения

Согласно вариантам осуществления настоящего изобретения датчик близости можно использовать для определения расстояния от зрителя мобильного телефона до экрана дисплея. Множество датчиков близости, таких как описанные в патенте США №6532447 и в заявке на патент США порядковый №10/818006, включенные здесь в качестве ссылки во всей своей полноте, можно использовать для определения данных о расстоянии. Варианты осуществления настоящего изобретения предусматривают датчик близости, который можно использовать для приема проекции и смещения "левого" и "правого" изображения трехмерного изображения. Смещение и/или формирование на основании данных о расстоянии, поступающих от датчика близости, позволяют пользователю испытать идеальный просмотр на любом расстоянии. Это применимо как к трехмерным изображениям, формируемым в реальном времени, так и к предварительно формируемым изображениям. Первые формируются на основании данных о расстоянии, а последние преобразовываются в проекции и смещаются. Стереоскопические изображения можно также преобразовывать оперативно на основании данных о расстоянии. Данные о расстоянии можно также получить из видеокамеры устройства, если видеокамера направлена на зрителя (например, видеотелефония, предусмотренная в мобильном телефоне). Как будет более подробно показано ниже, настоящее изобретение предусматривает использование анализа изображений, в котором видеокамера используется непосредственно как датчик близости с возможностью определения местонахождения особенности (черт лица) зрителя и использования размера и/или его расположения для вычисления расстояния.

На фигурах 1A-1C показано трехмерное изображение на двумерной среде. Пользователь может рассматривать на предопределенном расстоянии фронтальный вид трехмерного изображения на двумерном экране 100. Для оптимального просмотра глаза 102 пользователя должны находиться по существу на предопределенном расстоянии от экрана 100. Как правило, трехмерное изображение создается путем подачи на левый глаз 102 изображения с немного отличающейся проекцией, чем у изображения, которое подается на правый глаз 102. Когда пользователь не находится по существу на предопределенном расстоянии от экрана 100, то изображение может расплываться или разбиваться на два отдельных изображения, видимых каждым глазом 102.

Трехмерное изображение отображается на дисплее 100 при фронтальном виде (например, при просмотре под прямым углом). Если пользователь перемещается в направлении х, то изображение повторно формируется при фронтальном виде в новом местоположении пользователя в соответствии с фигурой 1C. В соответствии с некоторыми вариантами осуществления настоящего изобретения трехмерные изображения можно формировать, обеспечивая пользователю трехмерное изображение при виде сбоку.

На фиг.1D изображен просмотр трехмерного изображения при виде сбоку. Сформировав различные виды трехмерного объекта, пользователь может рассматривать трехмерный объект кругом, сверху, снизу и т.д. Пользователь может перемещаться в направлении x, рассматривая стороны трехмерного изображения, или пользователь может перемещаться в направлении z, рассматривая верхнюю или нижнюю часть трехмерного изображения.

На фиг.2 изображен мобильный телефон, входящий в вариант осуществления настоящего изобретения. Мобильный телефон 200 включает в себя дисплей 202 для просмотра изображений и датчик 204 для определения местоположения пользователя или расстояния между мобильным телефоном 200 и пользователем. Как отмечено выше, для определения расстояния или местоположения объекта можно использовать множество датчиков, которые описаны в заявке на патент США №10/818006. Например, можно использовать датчик близости (например, емкостной, индуктивный, температурный, ИК и т.д.) для определения расстояния от дисплея 202 до пользователя. На основании данных, полученных от датчика 204, дисплей 202 может показывать трехмерное изображение, специфически сформированное для расстояния, распознанного датчиком 204. Кроме того, дисплей может показывать трехмерное изображение, сформированное с вида спереди, вида сбоку и т.д. на основании данных, полученных от датчика 204.

На фиг.3 изображено мобильное устройство 300, такое как мобильный телефон, персональное информационное устройство, портативный компьютер и т.д., согласно варианту осуществления настоящего изобретения. Устройство 300 включает в себя датчик 204 для распознавания местоположения или расстояния до пользователя и дисплей 202 для отображения изображения. Устройство также включает в себя процессор 302 для управления устройством 300 и генератором 306 изображений для генерации трехмерных изображений. В различных вариантах осуществления генератор 306 изображений может быть расположен в процессоре 302 или отдельно от процессора 302. Устройство может дополнительно включать в себя аккумулятор 304 для подачи питания на устройство 300.

Процессор 302 или генератор 306 изображений получает от датчика 204 данные о местоположении или расстоянии и определяет местоположение или расстояние между устройством 300 и пользователем. Данные о местоположении, как определено здесь, относятся к любому типу данных, используемых для определения местоположения пользователя в двух или трех измерениях. Данные о расстоянии, как определено здесь, относятся к любому типу данных, используемых для определения расстояния между устройством 200 и пользователем. Например, данные о расстоянии могут быть фактическим расстоянием (например, в сантиметрах, дюймах и т.д.) от устройства 200 до пользователя. С другой стороны, как показано ниже на фиг.4, данные о расстоянии могут относиться к особому параметру, который затем отыскивают в таблице данных, к которой обращается процессор 302 или генератор 306 изображений. Например, данные о расстоянии могут относиться к размеру черт лица пользователя или к расстоянию между различными чертами лица пользователя (например, расстояние между зрачками глаз пользователя). Данные о местоположении или расстоянии, относящиеся к особенностям пользователя, могут быть вычислены с использованием видеокамеры так, как описано ниже. В таблице данных могут быть перекрестные ссылки на относительные размеры особенностей и расстояния так, что когда процессор 302 получает размер особенности, расстояние можно определить путем извлечения расстояния, которое связано с размером особенности в таблице данных.

При формировании трехмерных изображений в реальном времени данные о местоположении или расстоянии используются для формирования на дисплее 202 трехмерного изображения. Трехмерное изображение формируется для специфического местоположения или расстояния, распознанного датчиком 204. Когда устройство 300 используется для показа повторно формируемых трехмерных изображений, перспективные изображения преобразовываются и смещаются для улучшения качества изображения на распознанном расстоянии. Стереоскопические изображения можно также формировать оперативно на основании данных о расстоянии, переданных из датчика 204.

Более конкретно, трехмерные изображения, показанные на дисплее 202, состоят из двух составных частей, а именно, правого изображения и левого изображения. Правое изображение видит правый глаз, а левое изображение видит левый глаз. При формировании изображений в трехмерном отображении, согласно настоящему изобретению, левое и правое изображения адаптируются к местоположению или распознанному расстоянию посредством смещения левого и правого изображений для достижения более качественного восприятия пользователя на распознанном расстоянии. Например, датчик 204 может распознавать расстояние d между пользователем и устройством 300. Правое и левое изображения затем формируются или преобразовываются и смещаются для того, чтобы получить трехмерное изображение, рассматриваемое на расстоянии d. Затем, пользователь может переместить устройство 300 ближе к своему лицу, после чего датчик 204 определяет расстояние между устройством 300 и пользователем, равное d=4 сантиметрам (см). Правое и левое изображения можно затем повторно сформировать или повторно преобразовать и сдвинуть для того, чтобы получить трехмерное изображение, рассматриваемое на расстоянии d=4 см. Независимо от того, как далеко от себя каждый пользователь держит устройство 300, трехмерное изображение можно откорректировать так, чтобы получить оптимальное впечатление от просмотра.

На фиг.4 изображено мобильное устройство 400 согласно альтернативному варианту осуществления настоящего изобретения. Мобильное устройство 400 включает в себя процессор 402, генератор 406 изображений, дисплей 202 и дополнительный аккумулятор 304 подобно тому, как показано на фиг.3. Однако видеокамера 404 может использоваться вместо или совместно с дополнительным датчиком 204 для определения расстояния между пользователем и устройством 400. В одном варианте осуществления датчик 204 и видеокамеру 404 можно использовать совместно для определения местоположения или точного расстояния d. В альтернативном варианте осуществления при определении местоположения или расстояния d видеокамеру 404 можно заменить датчиком 204. В альтернативном варианте осуществления видеокамера 404 отвечает только за поступление данных о местоположении или расстоянии в процессор 402, и датчик 204 может отсутствовать в устройстве 400.

Поскольку датчик 204 может распознавать местоположение или расстояние от устройства 400 до специфической черты лица пользователя (например, нос, глаза, лицо, ухо и т.д.), видеокамера 404 может определять местоположение или расстояние от устройства 400 до пользователя на основании ряда методик. Например, видеокамера 404 позволяет захватить изображение пользователя и определить местоположение или расстояние на основании размера специфической черты лица пользователя (например, глаза, нос, лицо, рот и т.д.). Так как пользователь перемещается либо в сторону устройства 400, либо ближе или дальше от устройства 400, изображение, захваченное видеокамерой 404, можно анализировать для определения размера или местоположения специфической черты пользователя. Так как пользователь перемещается, процессор 402 может получить одно или более изображений из видеокамеры 404 и сравнить относительный размер специфической черты пользователя от двух или более изображений для определения местоположения или изменения расстояния. С другой стороны, процессор 402 может получить одно или более изображений и вычислить местоположение или расстояние независимо от любых других изображений, полученных из видеокамеры 404.

Например, видеокамера 404 может захватить изображение, и процессор 402 затем определяет местоположение или расстояние d на основании этого изображения. Видеокамера 404 может затем захватить дополнительное изображение в более поздний момент времени, и процессор сравнивает более позднее изображение с предыдущим изображением для того, чтобы определить различие в местоположении или расстоянии, таком как +2 см, между захваченными изображениями. Правое и левое изображения для показа на дисплее 202 можно затем откорректировать для просмотра на расстоянии d+2 см. С другой стороны, изображения можно откорректировать так, чтобы обеспечить просмотр бокового, верхнего, нижнего и т.д. вида изображения. Как отмечено выше, видеокамера 404 может захватить изображение, и процессор 402 вычисляет расстояние между пользователем и устройством 400 на основании захваченного изображения без сравнения с любыми другими предыдущими или более поздними захваченными изображениями. Кроме того, видеокамера 404 может использоваться вместе или вместо датчика 204 для распознавания местоположения или расстояния между пользователем и устройством 400. Видеокамера 404 может использоваться для определения начального местоположения или расстояния, и датчик 204 может распознавать местоположение или расстояние в предопределенных интервалах. С другой стороны, датчик 204 может распознавать исходное местоположение или расстояние, и видеокамера 404 может использоваться для обновления распознанного местоположения или расстояния в предопределенные интервалы времени. Специалистам следует понимать, что для определения местоположения или расстояния между устройством 400 и пользователем можно использовать различные другие комбинации между видеокамерой 404 и датчиком 204.

Кроме того, можно создать диапазон около распознанного местоположения или расстояния для предотвращения корректировки изображения на основании незначительных изменений в распознанном местоположении или расстоянии. Например, если пользователь в текущий момент времени рассматривает трехмерное изображение на расстоянии d, то изображение нельзя откорректировать, если пользователь остается в допустимом диапазоне, например, d±5 см. В случае, когда датчик 204 или видеокамера 404 определяет, что пользователь вышел за пределы допустимого диапазона, изображение корректируется с учетом нового расстояния, на котором пользователь осуществляет просмотр. Специалистам следует понимать, что диапазон d±5 см является по своему характеру только примерным и можно использовать другие диапазоны без отклонения от аспектов настоящего изобретения.

На фиг.5 изображена блок-схема, иллюстрирующая способ 500 формирования трехмерного изображения. На этапе 502 местоположение или расстояние между устройством и пользователем распознают через датчик 204 и/или видеокамеру 404. На этапе 504 формируют изображение для просмотра в распознанном местоположении или расстоянии. На этапе 506 местоположение или расстояние от пользователя распознают в предопределенные интервалы времени из распознавания на этапе 502. С другой стороны, этап 506 можно инициализировать в ответ на такое действие, как распознанное перемещение пользователя или устройства 400. На этапе 508 генератор 306, 406 изображений определяет, следует ли корректировать изображение. Как упомянуто ранее, изображение можно корректировать при каждом изменении в распознанном местоположении/расстоянии или в случае, когда распознанное местоположение/расстояние выходит за пределы допустимого диапазона.

Если на этапе 508 определяют, что изображение следует корректировать, то способ возвращается к началу цикла на этап 504. Если определяют, что изображение не следует корректировать, то на этапе 510 определяют, следует ли завершить формирование изображения. Если формирование изображения следует завершить, то на этапе 512 заканчивается приложение по формированию изображения. Если на этапе 510 определяют, что формирование изображения не следует завершать, то способ возвращается к началу цикла на этап 506. Этап 510 может возвращаться к началу цикла на этап 506 в предопределенные интервалы времени или в ответ на действие, такое как действие, инициализированное пользователем (например, активация кнопки или клавиши), распознанное перемещение пользователя или распознанное перемещение устройства 400.

На фиг.6 изображена блок-схема, иллюстрирующая способ 600 для корректировки предварительно сформированных трехмерных изображений. На этапе 602 предварительно сформированное изображение принимают или инициализируют в устройстве 300, 400. На этапе 604 местоположение или расстояние между устройством 300, 400 и пользователем регистрируют через датчик 204 и/или видеокамеру 404. На этапе 606 корректируют изображение для просмотра распознанного местоположения или расстояния. На этапе 608 распознают местоположение или расстояние между пользователем и устройством 300, 400. Этап 608 можно инициализировать в предопределенные интервалы времени или в ответ на действие, такое как распознанное перемещение пользователя или устройства 300, 400. На этапе 610 генератор 306, 406 изображений определяет, следует ли корректировать изображение на основании данных о расстоянии или местоположении. Как упомянуто ранее, изображение можно корректировать при каждом изменении в распознанном местоположении/расстоянии или в случае, когда распознанное местоположение/расстояние выходит за пределы допустимого диапазона.

Если на этапе 610 определяют, что изображение следует корректировать, то способ возвращается к началу цикла на этап 606. Если определяют, что изображение не следует корректировать, то на этапе 612 определяют, следует ли завершить формирование изображения. Если формирование изображения следует завершить, то на этапе 614 заканчивают приложение по формированию изображения. Если на этапе 612 определяют, что изображение не следует завершать, то способ возвращается к началу цикла на этап 608. Этап 612 может возвращаться к началу цикла на этапе 608 в предопределенные интервалы времени или в ответ на действие, такое как действие, инициализированное пользователем, распознанное перемещение пользователя или распознанное перемещение устройства 300, 400 так, как отмечено выше.

Таким образом, предполагается, что работа и выполнение различных вариантов осуществления настоящего изобретения будут ясны из предшествующего подробного описания. Хотя были описаны различные устройства, специалистам будет ясно, что в нем можно сделать различные изменения и модификации без отклонения от духа и объема изобретения так, как определено в приведенной ниже формуле изобретения. Поэтому дух и объем, определенные прилагаемой формулой изобретения, не должны быть ограничены описанием вариантов осуществления, содержащихся в нем.