СПОСОБ И СИСТЕМА ТОЧНОЙ ЛОКАЛИЗАЦИИ СЛАБОВИДЯЩЕГО ИЛИ СЛЕПОГО ЧЕЛОВЕКА

ОБЛАСТЬ ТЕХНИКИ

Техническое решение относится к области медицинских технических систем помощи слабовидящим и слепым - тифлотехническим устройствам и предназначено для точной локализации слабовидящего или слепого пользователя и информирования о потенциальных препятствиях.

УРОВЕНЬ ТЕХНИКИ

Тифлотехнические средства реабилитации инвалидов по зрению предназначены для облегчения жизни людей с нарушенным зрением.

Современная электронная техника для незрячих позволяет им опосредованно получать информацию о явлениях окружающей среды, предметах и их свойствах. С помощью разнообразных технических средств незрячие могут ориентироваться в пространстве, читать плоскопечатную литературу, распознавать цвета и определять источник света.

Современная тифлотехническая промышленность выпускает разнообразные устройства, способные облегчить незрячим быт и процесс ориентирования в пространстве. К подобным устройствам относят:

разнообразные звуковые брелки, предназначенные для поиска ключей, мобильных телефонов, сумок и других мелких вещей;

зарядные устройства со встроенным речевым выходом;

ультразвуковой фонарь, который предназначен для дополнения тактильной трости с целью обнаружения препятствий на пути пешехода, в том числе предметов, находящиеся на уровне груди или головы человека;

электронная трость, маленькая ультразвуковая система, предназначенная для обнаружения препятствий при передвижении пешехода с тростью.

Известны два основных вида методов комплексирования локальной информации (локальной карты): от телевизионных камер (3D камеры) и приемника сигналов глобальных систем позиционирования.

Из уровня техники известен способ обновления картографических данных «Updating map data from camera images» (US 20120166074 A1, Research In Motion Limited, опубликовано 28.06.2012). Данное изобретение описывает метод обновления карты на предмет появления новых объектов с использованием мобильного устройства, оснащенного GPS приемником. Уточнение локальной карты предлагается посредством использования, лазерного дальномера, компаса, много-ракурсной съемки или стереокамеры. Из уровня техники известна стереокамера с возможностью определения местоположения «Stereoscopic camera with haptic feedback for object and location detection» (US 8526677 B1, Google Inc., опубликовано 03.09.2013), взятая за ближайший аналог.

Архитектура системы включает в себя следующие аппаратные части: телевизионную стереокамеру, GPS приемник, компас, коммуникационный модуль, вибратор, микрофон, процессор. Схема работы данной системы: стереокамера получает 3D данные, строит локальную карту окружающей сцены, GPS приемник выдает координаты глобального местоположения мобильного устройства, коммуникационный модуль скачивает карты местности с удаленного сервера. Процессор определяет локализацию, как минимум одного объекта, обозначенного на карте, посредством сопоставления данных GPS и данных с 3D камеры.

Оба, указанных изобретения могут быть использованы для создания устройства точной локализации (совмещенной как глобальной, так и локальной) слабовидящего и слепого, но обладают следующими недостатками:

1. В архитектуре устройств не используется акселерометр и гироскоп, что не позволяет точно определять скорость и точное направление движения пользователя.

2. Не используется модуль обнаружения свободного пространства для движения слабовидящего с учетом габаритов пользователя.

3. Отсутствует синтезатор речи для детального описания окружающей обстановки.

4. Тактильный отклик реализован на базе единственного вибратора, что не позволит использовать тактильный актуатор для навигации.

СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ

Данное техническое решение направлено на устранение недостатков, присущих существующим аналогам.

Технический результат от использования данного технического решения заключается в повышении точности локализации пользователя, получении информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя.

Данный технический результат достигается за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.

Способ точной локализации слабовидящего или слепого человека, характеризующийся тем, что: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

Точная локализация слабовидящего или слепого человека ведется циклично.

Глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства получают с помощью глобальных систем позиционирования, таких как GPS, ГЛОНАСС, Бэйдоу или любая другая спутниковая система навигации.

Синтезированные голосовые сообщения сопровождаются тактильными ощущениями, такими как вибрация.

Возможна реализация функции голосового интерфейса.

Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью электронного компаса.

Дополнительные данные о местонахождении слабовидящего или слепого человека получают с помощью акселерометра.

Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

Точная локализация слабовидящего или слепого человека ведется циклично.

В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 - описание диспаратности;

Фиг. 2 - блок-схема выполнения способа точной локализации слабовидящего или слепого человека в цикличном варианте.

ПОДРОБНОЕ ОПИСАНИЕ ТЕХНИЧЕСКОГО РЕШЕНИЯ

В данном устройстве под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).

Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).

Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические приводы.

Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.

Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании технического решения.

Актуатор - представляет собой техническое устройство или спусковой механизм, передающий усилие от управляющего на управляемый объект. Само воздействие может быть разнообразным: от линейного до вращающего. При этом в зависимости от того, как прилагается усилие, определяется разнообразие приборов.

Гироскоп (от др. - греч. - круг + - смотрю) - устройство, способное реагировать на изменение углов ориентации тела, на котором оно установлено, относительно инерциальной системы отсчета.

Акселерометр (лат. accelero - ускоряю и др. - греч. «измеряю») прибор, измеряющий проекцию кажущегося ускорения (разности между истинным ускорением объекта и гравитационным ускорением). Как правило, акселерометр представляет собой чувствительную массу, закрепленную в упругом подвесе. Отклонение массы от ее первоначального положения при наличии кажущегося ускорения несет информацию о величине этого ускорения.

Карта глубины (depth map) - это изображение, на котором для каждого пикселя, вместо цвета, храниться его расстояние до камеры. Карта глубины может быть получена с помощью специальной камеры глубины (например, сенсор Kinect является своего рода такой камерой), а так же может быть построена по стереопаре изображений.

Данное техническое решение обеспечивает повышение точности локализации пользователя, получение информации о препятствиях и путях их обхода, с учетом скорости движения пользователя и его габаритов и оповещении об этом пользователя за счет обнаружения свободного пространства для прохода и выявления препятствий на пути движения слабовидящего с учетом габаритов пользователя, использования акселерометра и гироскопа, что позволяет точно определять скорость и точное направление движения пользователя, использования синтезатора речи для детального описания окружающей локальной и глобальной обстановки, использования тактильного оповещения о путях обхода препятствий на пути пользователя.

Согласно предлагаемому техническому решению, способ точной локализации слабовидящего или слепого человека включает следующие шаги:

Получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства.

Глобальные координаты текущего местоположения и двумерная карта окружающего пространства могут быть получены при помощи мобильного устройства по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.), при этом, связь с мобильным устройством может осуществляться по технологии Wi-Fi, Bluetooth, Infrared Data Association (инфакрасный порт).

Мобильное устройство (например, смартфон) или непосредственно модуль определения координат может использовать технологии LBS (Location-based service), A-GPS (Assisted GPS) для повышения скорости процесса получения глобальных координат местонахождения слабовидящего или слепого человека и двумерной карты окружающего пространства.

Получают трехмерную карту окружающего пространства, при этом:

создают карту глубины окружающего пространства;

затем производят пространственную и временную фильтрацию;

полученную карту глубины делят на части;

после чего производят сегментацию объектов на базе карты глубины.

3D камера (например, сенсор Kinect) продуцирует 3D облако точек, на базе, которого строится карта глубины, сегментируются объекты 3D пространства, на базе которых на следующем шаге будет произведено распознавание объектов сцены.

После получения карты глубины происходит ее пространственная и временная фильтрация. Пространственная фильтрация реализуется поиском на карте глубины малых областей с одинаковой или близкой диспарантностью. Диспаратность характеризуется разностью горизонтальных и вертикальных угловых координат изображения точки на сетчатках двух глаз. На Фиг. 1 изображена поверхность, заданная точками A1, А2, A3, которые находятся на одинаковом расстоянии от наблюдателя. На точку А2 (точку фиксации) направлен взгляд наблюдателя, поэтому она проецируется в fovea (центральную ямку) сетчаток его глаз (точки Ol, Or). Поверхности левой и правой сетчаток связаны с системами координат OlXL, OrXR таким образом, что центр fovea находится в точке 0. Пусть слева от точек Ol и Or лежит область отрицательных значений координат. Проекции точки А1 имеют на левой и правой сетчатке координаты x1l и x1r соответственно, проекции точки A3 - координаты х31 и x3r. Координаты проекций точек, отстоящих от наблюдателя на то же расстояние, что и точка фиксации, на обеих сетчатках совпадают, то есть x1l=x1r, х3l=x3r. Говорят, что эти точки пространства проецируются на соответственные (корреспондирующие) точки сетчаток. Рассмотрим точку А4, расположенную ближе, чем точка фиксации. Координаты проекций такой точки связаны неравенством х4l<x4r (так как х4l<0, х4r<0). Для точки А5 (не показана на рисунке), расположенной дальше точки фиксации, справедливо неравенство х5l>х5r. Эти точки окружающего мира проецируются на некорреспондирующие или диспаратные точки сетчаток или, что то же самое, обнаруживают диспаратность. Выделяют конвергентную (у точек, расположенных ближе точки фиксации) и дивергентную (у точек, расположенных дальше точки фиксации) диспаратность. Распределение диспаратностей по изображению иногда называют картой диспаратностей.

Такие области считаются шумом и не учитываются в дальнейшем. Временная фильтрация позволяет получить более точную карту глубины, используя данные с соседних кадров.

Для поиска препятствий и определения свободного прохода карта глубины разделяется на крупные зоны, для которых определяется их занятость (зона считается занятой, если расстояние до ближайшего препятствия в ней меньше заданного пользователем порога). Для определения ближайшего препятствия в зоне находится медианное среднее значение всех расстояний в ней, при этом, если в зоне мало точек с данным расстоянием, оно не учитывается. Если зона состоит целиком из шума, то ее занятость определяется по соседним зонам. При наличии занятых зон на пути движения пользователя проверяется занятость зон справа и слева, при отсутствии препятствий с одной или с обеих сторон выдается соответствующее сообщение о наличии свободного прохода, в противном случае - сообщение о наличии препятствия с указанием расстояния до него (им считается расстояние до ближайшей зоны).

Для обнаружения неровностей рельефа (так называемые «низкие» препятствия, о которые можно споткнуться, ямы и ступеньки) производится сегментация карты глубины. Для этого определяется поверхность пола, а оставшиеся точки разделяются на находящиеся выше либо ниже этой поверхности. При наличии существенного количества точек выше поверхности пола считается обнаруженным препятствие, аналогично точки ниже поверхности пола считаются ямой. Ступеньки определяются как наличие одного или нескольких перепадов высоты поверхности.

Выделяют базовые признаки для распознавания объектов окружающего пространства.

Для распознавания объектов на сцене предлагается использовать распознавание значимых объектов типа: угол дома, светофор скамейка, одиноко стоящее дерево. Данный подход реализуется на базе использования метода выделения устойчивых признаков SURF (Speeded Up Robust Features) из базы объектов.

Кроме того, производится пространственное сопоставление распознанных объектов между собой и нанесение их на оперативную карту местности для сопоставления, в дальнейшем, например - с картой навигатора.

SURF решает две задачи - поиск особых точек изображения и создание их дескрипторов, инвариантных к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер и будет повернут (здесь и далее мы будем говорить только о вращении в плоскости изображения). Кроме того, сам поиск ключевых точек тоже должен обладать инвариантностью. Так, что бы повернутый объект сцены имел тот же набор ключевых точек, что и образец.

Метод выделения устойчивых признаков SURF ищет особые точки с помощью матрицы Гессе. Детерминант матрицы Гессе (т.н. гессиан) достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий.

Гессиан инвариантен относительно вращения. Но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов.

Для каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе.

Градиент в точке вычисляется с помощью фильтров Хаара.

После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки (что понимается под флуктуацией - рассмотрим ниже). Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами.

Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек.

Флуктуации градиента окрестностей ключевой точки считаются относительно направления градиента вокруг точки в целом (по всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба.

Распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства.

Реализуется через поиск надписей и других графических символов на изображении (например: надпись на табличке адреса дома, вывеска на магазине и пр.) Распознавание производится на базе методов распознавания печатного текста. Далее объект наносится на текущую карту местности и сопоставляется, например, с картой навигатора.

Оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства.

Оценка расстояния происходит на базе триангуляционных вычислений по следующим данным:

1. Угол (вычисленный на основе вычисления диспарантности) по направлению на одну и ту же точку видную из каждой камеры

2. Расстояние между оптическими осями телевизионных матриц.

3. Данные коррекции оптических искажений оптики.

Выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека.

Выделение объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может производиться с помощью сравнения расстояний до объекта-препятствия с порогом обнаружения препятствия, который мультивариантнен и может быть задан заранее и меняться в процессе самим пользователем. Критерием выделения объектов является сегментация, может быть выделена на базе близости точек по расстоянию, цвету и яркости. После выделения объектов, которые могут являться препятствиями на пути слабовидящего или слепого человека, может быть проведено обнаружение свободного пути.

Синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

По результатам действия специального программного обеспечения модулем голосового синтеза, генерируется голосовое сообщение о местоположении пользователя (например: город, улица, дом) и локальной обстановке (например: наличие/отсутствие препятствия на пути следования) и путях свободного движения. При этом голосовые сообщения возможно прослушать через внешние динамики, наушники, подключенные к устройству и\или через беспроводную гарнитуру. Также при помощи навигационных систем может быть построен маршрут движения из текущей или заданной точки местоположения в пространстве в требуемую.

Данное техническое решение может быть выполнено в виде системы точной локализации слабовидящего или слепого человека, включающей: по крайней мере, одно устройство обработки команд; по крайней мере, одно устройство хранения данных; по крайней мере, один синтезатор человеческой речи; по крайней мере, один динамик; по крайней мере, один приемник сигналов глобальных систем позиционирования; по крайней мере, одну стереокамеру или другую 3D камеру; одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянуых устройств обработки команд, при этом одна или более компьютерных программ содержат следующие инструкции: получают глобальные координаты местонахождения слабовидящего или слепого человека и двумерную карту окружающего пространства; получают трехмерную карту окружающего пространства, при этом: создают карту глубины окружающего пространства, затем производят пространственную и временную фильтрацию, полученную карту глубины делят на части, после чего производят сегментацию объектов на базе карты глубины; выделяют базовые признаки для распознавания объектов окружающего пространства; распознают объекты окружающего пространства и сопоставляют их с ранее полученной двумерной картой окружающего пространства; оценивают расстояние от слабовидящего или слепого человека до распознанных объектов окружающего пространства; выделяют объекты, потенциально могущие стать препятствием на пути слабовидящего или слепого человека; синтезируют голосовые сообщения, содержащие информацию о местонахождении и препятствиях на пути слабовидящего или слепого человека.

В состав системы дополнительно могут быть включены: электронный компас; акселерометр; гироскоп; вибромотор для обеспечения тактильного интерфейса с пользователем; микрофон для обеспечения голосового интерфейса с пользователем; коммуникационный модуль для подключения к беспроводному каналу GSM, WiFi, Bluetooth.

Точная локализация слабовидящего или слепого человека может производиться циклично. Способ точной локализации слабовидящего и слепого человека в данном случае описывается следующей последовательностью, изображен на Фиг. 2:

1. Получение глобальных координат по данным глобальных навигационных систем позиционирования (GPS, GLONASS и др.).

2. Получение 3D образа окружающей среды.

3. Распознавание объектов сцены и сопоставление с объектами, представленными на карте.

4. Обнаружение и дополнение карты, выделение объектов препятствий, нанесение их на карту устройства.

5. Привязка по компасу, включение акселерометра-гироскопа для вычисления скорости и направления движения субъекта.

6. Комплексирование данных всех датчиков.

7. Динамическое обнаружение свободного пути.

8. Синтез голосовых сообщений о возможности свободного движения.

9. Переход к п. 1.

Специалисту в данной области, очевидно, что конкретные варианты осуществления способа и системы точной локализации слабовидящего или слепого человека были описаны здесь в целях иллюстрации, допустимы различные модификации, не выходящие за рамки и сущности объема изобретения.