Результат интеллектуальной деятельности: УСТРОЙСТВО И СПОСОБ ОТСЛЕЖИВАНИЯ ПОЛОЖЕНИЯ ГЛАЗА

Область техники

Настоящее изобретение относится к сканирующим системам слежения за глазами.

Описание предшествующего уровня техники

В последние годы большинство датчиков слежения за положением глаз используют камеры. Известные датчики должны производить множество вычислений для определения положения зрачка на изображении, поэтому в известных датчиках камера и вычислитель занимают много места и потребляют много энергии. Известные датчики имеют ограничения по точности и частоте обновления. Следовательно, известные решения не вполне удобно использовать для устройств, таких как системы VR (виртуальной реальности) и AR (дополненной реальности). Сейчас разрабатывается новое поколение датчиков слежения за глазами на основе МЭМС–сканеров (микроэлектромеханических). Такие датчики компактны и имеют низкое энергопотребление.

Из уровня техники известен способ слежения за положением глаз, раскрытый в документе US 2018210547 A1, опубликованном 26.07.2018. Способ включает в себя управление лучом света посредством МЭМС–сканера, работающего на резонансной частоте, обнаружение света, отраженного от поверхности глаза. Недостатками известного способа являются низкая точность определения положения глаз, низкая частота обновления информации, для осуществления способа требуется двухосевой МЭМС–сканер.

В документе US 10303248 B2, опубликованном 28.05.2019, раскрыты примеры, которые относятся к отслеживанию положения глаз с использованием сканирующего луча и множества фотодетекторов. Один из примеров раскрывает систему слежения за глазами, содержащую источник инфракрасного света, сканирующую оптику, сконфигурированную для сканирования области, содержащей роговицу пользователя, и множество фотодетекторов, причем каждый фотодетектор сконфигурирован для обнаружения инфракрасного света, отраженного от роговицы пользователя под соответствующим углом. Недостатками известного решения также являются низкая точность, низкая частота обновления, требуется двухосевой МЭМС–сканер.

Из уровня техники известна система слежения за положением глаз, раскрытая в патенте US 10213105 B2, опубликованном 26.02.2019. Известная система является наиболее близким аналогом предлагаемого изобретения. Известная система содержит точечный источник излучения, двухкоординатное сканирующее микромеханическое (МЭМС) зеркало, которое имеет возможность разворота по двум координатным осям, и фотодетектор. Излучение от точечного источника излучения попадает на сканер и отражается от него. Излучение от источника излучения падает на сканирующее зеркало, и, отражаясь от него, сканирует область пространства, где находится роговица глаза. Отраженное от роговицы глаза излучение в разные моменты времени фиксирует фотодетектор. Анализируя амплитуду сигнала фотодетектора в разные моменты времени, вычисляют положение роговицы. Время между максимумами интенсивности во время развертки и амплитуды импульсов фотодетектора для разных строк указывают на месторасположение роговицы. Недостатками известной системы являются низкая точность обнаружения положения глаз, низкая частота обновления информации, кроме того требуется двухосевой сканер, и необходимо формирование строчно–кадровой развертки и анализа амплитуды сигнала, что усложняет процесс получения результата определения положения глаз, увеличивает погрешность измерения и уменьшает частоту обновления информации.

Анализируя известный уровень техники можно прийти к выводу, что значительным достижением в данной области техники станет недорогое, с высоким разрешением, с малым электропотреблением, высокоскоростное, надежное устройство слежения за положением глаз (за положением взгляда).

Сущность изобретения

Предлагается устройство отслеживания положения глаза, содержащее сканер, выполненный с возможностью формирования и периодического разворота в прямом и обратном направлениях сканирующего излучения в виде по меньшей мере одной сканирующей линии, по меньшей мере два фотодетектора, вычислитель. Причем каждый из по меньшей мере двух фотодетекторов выполнен с возможностью формирования импульса на вычислителе, когда сканирующее излучение, отраженное от роговицы глаза, попадет на фотодетектор. Причем вычислитель выполнен с возможностью определять угловые координаты положения глаза на основе моментов времени формирования упомянутых импульсов относительно начала периодического разворота сканирующего излучения. Причем сканер может включать в себя источник излучения, оптический элемент, выполненный с возможностью формирования по меньшей мере одной сканирующей линии, сканирующее зеркало. Причем сканирующее зеркало может быть одноосным. Причем сканер может представлять собой источник излучения и оптический элемент, выполненные с возможностью разворота вокруг по меньшей мере одной оси. Причем устройство может дополнительно содержать по меньшей мере два средства для оцифровки сигналов фотодетекторов, причем по меньшей мере два средства для оцифровки сигналов фотодетекторов связаны с по меньшей мере двумя фотодетекторами и вычислителем, причем количество средств оцифровки сигналов соответствует количеству фотодетекторов.

Также предлагается способ работы устройства отслеживания положения глаза, содержащий этапы, на которых сканер формирует в области глаза и периодически разворачивает в прямом и обратном направлениях сканирующее излучение в виде по меньшей мере одной сканирующей линии; каждый из по меньшей мере двух фотодетекторов формирует импульс на вычислителе, когда излучение сканера, отраженное от роговицы глаза, падает на фотодетектор; вычислитель определяет моменты времени формирования упомянутых импульсов по меньшей мере двух фотодетекторов и рассчитывает угловые координаты положения глаза на основе упомянутых моментов времени формирования упомянутых импульсов относительно начала периода разворота сканирующего излучения.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

Фиг. 1 схематично изображает суть способа определения положения глаза (уровень техники).

Фиг. 2 схематично изображает устройство определения положения глаза согласно предлагаемому изобретению.

Фиг. 3 подробно изображает устройство определения положения глаза согласно предлагаемому изобретению.

Фиг. 4 иллюстрирует схему устройства определения положения глаза.

Фиг. 5 иллюстрирует график зависимости угла поворота сканера от времени.

Фиг. 6а, 6b иллюстрирует варианты зависимости угла разворота сканера от времени.

Фиг. 7 иллюстрирует систему координат, связанную с глазным яблоком.

Фигура 8 иллюстрирует временные диаграммы формирования сигналов на фотодетекторах для случая разворота глаза влево или (разворот вокруг оси Z).

Фигура 9 иллюстрирует временные диаграммы формирования сигналов на фотодетекторах для случая разворота глаза вверх или вниз (разворот вокруг оси Z).

Фиг.10 иллюстрирует временные диаграммы формирования сигналов на фотодетекторах для случая произвольного разворота глаза.

Фигура 11 иллюстрирует зависимости углов разворота глаза вокруг оси Z и оси X как функции двух переменных: и .

Подробное описание изобретения

Настоящее изобретение позволяет отслеживать и определять положение глаза при движениях глаз. Настоящее изобретение позволяет упростить обработку данных, увеличить частоту обновления информации о положении глаза, имеет небольшие габариты, является легко управляемым.

Для обнаружения положения глаза предлагается использовать одноосный сканер, что существенно уменьшает габариты устройства, упрощает управление устройством и упрощает анализ полученных при сканировании данных, по сравнению с устройствами известными из уровня техники.

Сканирование осуществляется путем поворота сканера вокруг одной оси. Сканер выполнен с возможностью периодичного поворота и формирования излучения в виде по меньшей мере одной сканирующей линии. В течение одного периода сканирования сканер поворачивается на небольшой угол и затем возвращается в начальную точку. В этом случае можно получить всю информацию о положении глаза дважды за каждый период сканирования, что увеличивает частоту обновления информации о положении глаза. Таким образом, частота обновления такого датчика слежения за глазом может достигать нескольких килогерц.

Для определения положения глаза (а именно роговицы глаза) предлагается использовать информацию только о временных интервалах между импульсами фотодетекторов. Это повышает точность устройства, поскольку определение временных интервалов между импульсами может быть выполнено с высокой точностью известными электронными компонентами.

Поскольку, согласно настоящему изобретению, вся информация обрабатывается в полупериоде движения сканера, когда роговица глаза незначительно меняет свое положение, повышается точность определения положения роговицы глаза.

На фигуре 1 показан известный принцип работы устройств, определяющих положение глаза. Как видно из фигуры 1 глаз 4 имеет центр О вращения глаза, причем центр роговицы вращается вокруг центра О вращения глаза. Точка А соответствует точке падения излучения на сканирующее зеркало, точка В1 соответствует точке на роговице, на которую попадает излучение от сканера, О1 – центр роговицы, точка С соответствует центру фоточувствительной площадки фотодетектора 3.

Источник света 1 излучает инфракрасное излучение, которое преобразуется оптическим элементом 5. После оптического элемента излучение отражается от сканирующего зеркала 2 сканера в область роговицы. На расстоянии от сканера расположен фотодетектор 3, причем его расположение относительно сканера известно. Фотодетектор 3 генерирует электрический импульс в момент времени, когда отраженное от роговицы излучение упадет на фотодетектор 3. То есть фотодетектор 3 формирует электрический сигнал, максимум которого соответствует моменту времени, когда отраженное от глаза излучение попадает на фотодетектор, то есть, когда угол падения излучения от сканера на роговицу AB1O1 равен углу отражения излучения от роговицы на фотодетектор O1B1C и центр фотодетектора C, точка падения излучения на зеркало сканера А, точка падения излучения на роговицу B1 и центр O1 лежат в одной плоскости. Когда глазное яблоко повернется, то есть роговица переместится (центр роговицы развернется, например, в точку О₂), попадание отраженного от роговицы излучения на фотодетектор будут выполняться для другого углового положения сканирующего зеркала, и соответственно, максимум сигнала фотодетектора будет сформирован в другой момент времени относительно начала сканирования, когда угол АВ2О2 равен углу О2В2С и точки А В2 О2 и С лежат в одной плоскости.

Необходимо отметить, что при отсутствии на фотодетекторе зеркальной составляющей отраженного от роговицы излучения, на фотодетектор попадает существенно меньше излучения (фон, рассеянное элементами глаза (склера, зрачок, роговица) излучение сканера, возможны отражения от других элементов глаза и т.д.).

Необходимо отметить, что излучение может отражаться и рассеиваться от всех элементов глаза. Но максимальный сигнал будет формироваться фотодетектором именно от роговицы, так как самый сильный сигнал будет давать отражение, а самое сильное отражение дает роговица (первое изображение Пуркинье) см. например, https://en.wikipedia.org/wiki/Purkinje_images

Сканер может представлять собой систему, содержащую источник излучения, оптический элемент, формирующий сканирующую линию и поворачивающийся сканер, который отражает сканирующую линию в направлении глаза. В качестве источника излучения целесообразно использовать инфракрасный полупроводниковый лазер или светодиод, или лазерный диод. Оптический элемент может представлять собой цилиндрическую линзу или дифракционный оптический элемент.

В другом случае сканер может представлять собой систему, содержащую источник излучения, оптический элемент, и привод. Сканирование роговицы осуществляется в этом случае путем поворота источника излучения вместе с оптическим элементом вокруг одной оси. Оптический элемент должен формировать в области глаза область подсвета в виде линии, перпендикулярной направлению сканирования (сканирующей линии). В этом случае сканирование выполняется с помощью привода, который вращает источник излучения и оптический элемент таким образом, что источник излучения и оптический элемент совершают равномерный поворот сначала в одном направлении, а затем в обратном направлении. Привод может быть устройством МЭМС или компактным электромеханическим приводом.

Как показано на фигуре 2, в настоящем изобретении устройство для определения положения глаз пользователя содержит излучатель, оптический элемент, одноосный сканер, показанные позицией 10, два фотодетектора 3a и 3b. Оптический элемент формирует в области глаза освещенную область в виде линии (сканирующая линия), перпендикулярной направлению сканирования.

Сканирующая линия полностью пересекает (сканирует) глаз, проходя от внутреннего угла глаза (который располагается возле переносицы) к внешнему углу глаза (который располагается в височной области) и обратно (или наоборот). То есть, в отличие от известного уровня техники, в предлагаемом изобретении подсвечиваемая в области глаза область (сканирующее излучение) представляет собой не точку, а отрезок, пересекающий глаз от верхнего века до нижнего века. Предлагаемое устройство содержит по меньшей мере два фотодетектора. Для каждого фотодетектора излучение сканера, отраженное от глаза будет попадать на фотодетектор, только при одном угловом положении сканера для каждого положения роговицы. Такой набор элементов позволяет получить информацию о двух координатах положения глаза за один проход сканирующей линии (за один период сканирования) от одного угла глаза (внутреннего или внешнего) к другому, при обработке только временных интервалов формирования импульсов, сформированных фотодетекторами, что, по сравнению с известным уровнем техники, позволяет увеличить частоту обновления информации о положении роговицы глаза и точность определения положения роговицы глаза.

Как показано на фигуре 3 излучение от источника излучения 1 попадает на оптический элемент 5, формирующий сканирующую линию 6, состоящую из множества лучей, которая отражается от сканирующего зеркала 2 и попадает на область, где располагается глаз (элементы 1, 2, 5 объединены на фигуре под позицией 10). При перемещении сканирующей линии от внутреннего угла глаза к внешнему и наоборот (прямое сканирование и обратное сканирование), на глаз падает излучение, формирующее сканирующую линию 6, при этом, в процессе сканирования, если излучение 7, отразившееся от роговицы, попадает на фотодетектор 3a или 3 b, то в этот момент времени в выходном электрическом сигнале фотодетектора 3 будет сформирован импульс.

Необходимо подчеркнуть, что излучение, упавшее на роговицу, всегда будет частично отражаться от нее (другая часть будет преломляться и уходить внутрь, еще часть будет рассеиваться), но далеко не все лучи, отразившиеся от роговицы, попадут на фотоприемник.

Итак, необходимо определить угловое положение роговицы (то есть угловое положение глаза). Вычислитель управляет сканером, поэтому положение сканера в каждый момент времени известно, положение фотодетектора относительно сканера тоже известно; когда фотодетектор формирует импульс фиксирует вычислитель, и положение роговицы вычисляется на основании данных о зафиксированном времени формирования импульса относительно начала сканирования.

На фигуре 4 показана схема устройства определения положения глаза. Как показано на фигуре 4 вычислитель 8 управляет сканирующим устройством 2 и обрабатывает сигналы от фотодетекторов 3a или 3b, обработанные средствами оцифровки сигнала 9a и 9b соответственно (такими как, например, компараторы или аналогово–цифровые преобразователи), преобразующими аналоговый сигнал от фотодетекторов в цифровой. В качестве вычислителя может быть использован микроконтроллер, ПЛИС (программируемая логическая интегральная схема), цифровой сигнальный процессор, специализированная вычислительная система на одном кристалле, или их сочетание. После обработки сигналов вычислитель передает информацию о текущем положении глаза во внешнюю систему, которая не является частью настоящего изобретения. Эта внешняя система может быть AR или VR устройством, и может использовать полученную от описываемого устройства информацию с целью определения направления взгляда. Внешняя система использует данные от датчика о угловом положении глаза и .

На фигуре 5 показан график зависимости угла поворота сканера от времени. Как видно из фигуры 5 вычислитель управляет сканированием таким образом, что сканер делает равномерные повороты сначала в одном направлении (прямое сканирование), при котором сканирующая линия проходит от одного (первого) угла глаза к другому (второму) углу глаза, а затем в обратном направлении (обратное сканирование), при этом сканирующая линия проходит обратно от второго угла глаза к первому углу глаза. На фигуре 5 показан один период поворота сканера, а также из графика видно, что разворот сканера линейно зависит от времени при прямом и обратном сканировании.

Для поворота сканера можно использовать различные зависимости угла разворота сканера от времени, как показано на фигурах 6а и 6b.

На фигуре 6а показана зависимость угла разворота сканера от времени в виде синусоидальной кривой. Для такой траектории сканирования возможна работа сканера на частоте резонанса. Это обеспечит высокую частоту сканирования и наибольшую амплитуду сканирования. Для синусоидального сканирования необходимо учитывать нелинейность такой траектории.

На фигуре 6b показана пилообразная зависимость угла разворота сканера от времени. При таком режиме для ускорения процесса обновления информации о положении роговицы глаза принимают сигналы фотодатчиков только когда сканер поворачивается в прямом направлении, сигналы фотодатчиков можно не принимать во внимание, когда сканер поворачивается в обратном направлении. Для пилообразного сканирования обрабатывается информация только прямого сканирования.

Для увеличения рабочего диапазона работы устройства и для улучшения его точности возможно использование большего количества фотодетекторов.

Сканер может быть выполнен таким образом, чтобы сканирование проводилось несколькими сканирующими линиями. Благодаря увеличению количества линий сканирования увеличивается частота обновления информации о положении роговицы глаза и точность устройства.

Рассмотрим подробнее принцип определения положения глаза, согласно предлагаемому изобретению. Зададим систему координат с началом отчета в центре глазного яблока, ось X направлена вдоль линии, проходящей от одного угла глаза к другому углу глаза, ось Z соответственно перпендикулярна оси X, а угол поворота φ роговицы, равный нулю, соответствует положению роговицы, когда прямая, проведенная через центр роговицы и центр глазного яблока перпендикулярна осям X и Z.

В реальности, глазное яблоко одновременно вращается вокруг обеих осей, в предлагаемом изобретении используется отражение излучения именно от роговицы глаза, являющейся одной из оболочек глазного яблока, поэтому далее речь идет о вращении роговицы. Чтобы понять принцип действия предлагаемого устройства, рассмотрим два случая, когда вращение глаза осуществляется только вокруг одной из осей. На фигуре 7 показана система координат, связанная с глазным яблоком. Пусть – угол, на который поворачивается роговица при повороте вокруг оси Z, – угол, на который поворачивается роговица вокруг оси X. Углы поворота роговицы и , равные нулю, соответствуют положению роговицы, когда прямая, проведенная через центр роговицы и центр глазного яблока перпендикулярна осям X и Z.

Рассмотрим случай, когда фотодетекторы расположены симметрично плоскости XOY, излучатель лежит в плоскости XOY, а роговица зафиксирована относительно оси X, как показано на фигуре 2, то есть, глаз не смотрит вверх или вниз, а находится в среднем положении и роговица перемещается только вокруг оси Z, то есть глаз смотрит только влево и вправо.

В этом случае при сканировании глаза сканирующей линией, ориентированной вдоль оси Z, от одного угла глаза к другому углу глаза, при падении излучения, отраженного роговицей, на фотодетекторы 3a и 3b в их выходных электрических сигналах импульсы будут сформированы одновременно. На Фигуре 8 показаны временные диаграммы появления импульсов на фотодетекторах, спроецированные на график угла поворота сканера в зависимости от времени. Временные диаграммы а соответствуют появлению импульсов на фотодетекторах 3a и 3b, когда роговица находится в центральном положении, то есть угол =0 и угол . На фигуре 8 временные диаграммы b соответствуют появлению импульсов на фотодетекторах 3a и 3b, когда роговица переместилась только вокруг оси Z, то есть угол =0, а угол . Время формирования импульса, когда сканер движется в прямом направлении обозначено , а время формирования импульса, когда сканер движется в обратном направлении обозначено . Время формирования импульса относительно времени начала периода сканирования будет зависеть от положения роговицы, то есть ее поворота вокруг оси Z.

Рассмотрим случай, когда фотодетекторы расположены симметрично плоскости XOY, излучатель лежит в плоскости XOY, а роговица зафиксирована относительно оси Z, то есть, глаз не смотрит влево или вправо, а смотрит только вверх или вниз, то есть роговица разворачивается только вокруг оси X.

При сканировании глаза сканирующей линией, ориентированной вдоль оси Z, от одного угла глаза к другому углу глаза, при падении излучения, отраженного от роговицы на фотодетекторы, в выходных электрических сигналах фотодетекторов в разные моменты времени будут сформированы импульсы. Как показано на фигуре 9 между импульсами появляется разность во времени, и эта разность по времени будет тем больше, чем больше будет угол поворота роговицы вокруг оси X (позиция с на фигуре 9), то есть, чем выше вверх будет смотреть глаз или чем ниже вниз будет смотреть глаз. Другими словами, роговица глаза разворачивается на какой–то угол вокруг оси Х. На фигуре 9 видно, что разница во времени формирования импульса на первом фотодетекторе и втором детекторе, когда сканер движется в прямом направлении обозначена , а разница во времени формирования импульса на первом фотодетекторе и втором детекторе, когда сканер движется в обратном направлении обозначено . Разницы во времени формирования импульсов будут зависеть от величины угла вращения глаза вокруг оси X.

На фигуре 10 показан случай, когда , то есть случай произвольного разворота роговицы глаза (позиция d).

Для каждого периода сканирования в прямом направлении и в обратном направлении, два фотодетектора формируют по два импульса. За каждый период сканирования определяются четыре временных параметра, соответствующих моментам времени, когда формируемый фотодетектором электрический сигнал максимален на интервале одного полупериода.

Таким образом, как показано на фигуре 10, в каждом периоде сканирования после обработки преобразованных в двоичную форму сигналов могут быть получены для двух фотодетекторов четыре значения времени:

– соответствует времени от начала периода сканирования до появления импульса на первом фотодетекторе при прямом направлении сканирования,

– соответствует времени от начала периода сканирования до появления импульса на втором фотодетекторе при прямом направлении сканирования,

– соответствует времени от начала периода сканирования до появления импульса на первом фотодетекторе при обратном направлении сканирования,

– соответствует времени от начала периода сканирования до появления импульса на втором фотодетекторе при обратном направлении сканирования.

С помощью упомянутых четырех значений времени можно определить четыре параметра времени:

t_d_x – временной интервал между появлением импульса на первом фотодетекторе и появлением импульса на втором фотодетекторе при прямом направлении сканирования, этот временной интервал соответствует развороту глаза вокруг оси Х,

t_r_x – временной интервал между появлением импульса на первом фотодетекторе и появлением импульса на втором фотодетекторе при обратном направлении сканирования, этот временной интервал соответствует развороту глаза вокруг оси Х,

t_d_z – временной интервал от момента начала сканирования до момента времени, соответствующего середине между временем формирования импульса первым и вторым фотодетектором при прямом сканировании,

t_r_z – временной интервал от момента начала сканирования до момента времени, соответствующего середине между временем формирования импульса первым и вторым фотодетектором при обратном сканировании.

Указанные временные интервалы можно вычислить следующим образом:

(1)

Эти вычисленные параметры (переменные) и , и являются входными параметрами расчетного алгоритма, с помощью которого рассчитывают координаты роговицы глаза. Как видно из фигуры 10, в алгоритме каждой паре t_d_x и t_d_z; t_r_x и t_r_z соответствуют где это угол, на который повернется зеркало сканера, между моментами формирования импульсов первым и вторым фотодетекторами, и где это угол, на который повернется зеркало сканера, с момента начала сканирования, до момента времени, соответствующего середине между временем формирования импульса первым и вторым фотодетектором, которые рассчитывает вычислитель.

В случае сканирования в линейном режиме (угол поворота сканера линейно изменяется во времени в рабочей области), угол поворота сканера прямо пропорционален временным интервалам между импульсами фотодиода на интервале линейного сканирования (прямого или обратного).

В этом случае коэффициент между временем и углом будет равен угловой скорости сканирования . Тогда взаимосвязь между временными интервалами формирования импульсов фотодетекторов и угловым положением сканера математически выражается следующим образом:

(2)

где Т_scan – период сканирования

С использованием векторной алгебры и известных численных методов решения нелинейных уравнений можно определить положение глаза и как функции от и .

Фигура 11 иллюстрирует зависимости углов разворота роговицы глаза вокруг оси X и вокруг оси Z как функции от и . По осям отложены значения и и соответствующие им значения углов поворота и рассчитанные с помощью известных математических методов. Таким образом вычислитель определяет угловое положение роговицы глаза основываясь на заранее рассчитанных таблицах зависимости от и и зависимости от и.

Предлагаемое изобретение может успешно применяться в системах виртуальной реальности, в системах дополненной реальности, в офтальмологическом медицинском оборудовании. Также настоящее изобретение может применяться в видоискателях фотоаппаратов, например, для функции определения точки фокусировки по положению зрачка.

Предлагаемая технология отслеживания положения глаз может быть использована для пользовательских интерфейсов, выбора элементов виртуального контента, автоматической прокрутки для чтения, выбора направления, ввода текста, распознавания физиологического состояния пользователя по параметрам движения глаз и т.п.

Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.

Кроме того, изобретение сохраняет все эквиваленты заявляемого изобретения, даже если пункты формулы изобретения изменяются в процессе рассмотрения.