СПОСОБ ПОЛУЧЕНИЯ ПРОСТРАНСТВЕННОЙ МОДЕЛИ ОКРУЖАЮЩЕЙ ОБСТАНОВКИ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ НА ОСНОВЕ ДАННЫХ ЛАЗЕРНОЙ ЛОКАЦИИ И УСТРОЙСТВО ДЛЯ ЕГО ОСУЩЕСТВЛЕНИЯ

Область техники, к которой относится изобретение

Заявляемая группа изобретений относится к способам и устройствам определения местоположения объектов, их форм и нанесения их на карту, точнее к способам лазерной локации, и представляет интерес для лазерной локации подвижных и неподвижных объектов с подвижного носителя, в особенности с целью создания карты дорожной обстановки для обеспечения управления транспортным средством без водителя. В частности, заявляемая группа изобретений относится к способу получения пространственной модели окружающей обстановки на основе данных лазерной локации в режиме реального времени и устройству для его осуществления.

Уровень техники

1. Получение пространственных данных посредством лазерного зондирования

Получение данных о положении, габаритах, скорости объектов в пространстве, в том числе для построения мгновенной модели дорожной обстановки с использованием лазерной техники, основано, как правило, на времяпролетном методе измерения дальности до объектов. Излучаемый лазерный импульс и отраженный от объекта свет распространяются в атмосфере с определенной скоростью. Измеряя интервал времени между моментами выхода импульса из устройства и регистрацией отраженного сигнала, можно рассчитать расстояние до объекта.

Для построения пространственной модели дорожной обстановки производятся измерения в пределах заданного сектора измерений (телесного угла). Степень детализации пространственной модели, а именно угловое разрешение, зависит от количества проведенных измерений в этом секторе. Получение и обработка данных с высоким угловым разрешением в широком секторе обзора в режиме реального времени имеет как фундаментальные, определяемые физическими законами, так и технические ограничения.

Фундаментальным ограничением для получения пространственной модели дорожной обстановки с высоким разрешением в широком секторе наблюдения в режиме реального времени является конечная скорость распространения света в пространстве. При измерениях расстояния до объекта максимальная частота лазерных импульсов ограничена временем полета импульса до наиболее удаленной цели и обратно, поскольку следующее измерение может проводиться только после того, как зафиксирован отраженный или рассеянный объектом импульс предшествующего измерения. В ином случае возникает неоднозначность результатов измерений. Указанное ограничение обработки сигнала определяет максимальную частоту следования лазерных импульсов на уровне f_max=c/2L,

где f_max – максимальная частота следования лазерных импульсов,

с – скорость света,

L - максимальная ожидаемая дистанция нахождения объектов.

Угловое разрешение лазерного сканирования определяется количеством проведенных измерений в заданном секторе сканирования за заданный промежуток времени и не может превышать некоторого максимально возможного значения, определяемого максимальной ожидаемой дистанцией нахождения объектов.

Такое ограничение производительности лазерного сканера приводит к тому, что при широком секторе сканирования, необходимом для обнаружения объекта, невозможно одновременно построить его детализированную пространственную модель в течение ограниченного промежутка времени.

Известен способ использования спектрального мультиплексирования сигнала (патент RU 2587100 C2), при котором излучаемые импульсы и, соответственно, принимаемый сигнал отличаются по длине волны и не препятствуют получению достоверных данных. Использование многоволнового источника позволяет спектрально разделить отраженный сигнал на разные фотодетекторы и пропорционально увеличить угловое разрешение за счет увеличения числа измерений в заданном секторе.

Известен способ кодирования посылаемого лазерного импульса, при котором вместо одиночного импульса лазерный источник излучает последовательность импульсов с двоичным кодом. При этом измерения могут производиться последовательно с высокой частотой импульсов, поскольку каждое следующее измерение может быть начато до завершения приема сигнала предыдущего измерения (Optics Express 24(21): 23810-23828 (2016) DOI: 10.1364/OE.24.023810).

Техническим ограничением для получения подробной пространственной модели дорожной обстановки указанным способом в режиме реального времени является недостаточная угловая скорость отклонения лазерного луча при использовании оптомеханической развертки. Для построения пространственной модели дорожной обстановки в режиме реального времени требуется отклонение лазерного луча по двум координатам. Угловое разрешение получаемых данных определяется угловой скоростью перемещения лазерного луча в пределах заданного сектора.

Известен способ, описанный в патентах компании Velodyne US7969558, US8675181, в котором используется принцип получения пространственных данных, основанный на «веерном» сканировании пространства с использованием нескольких (16, 32 или 64) импульсных лазерных источников и соответствующего количества фотоприемников, размещенных на общем вращающемся основании, установленных под разными углами к оси вращения.

Этот способ позволяет снизить ограничение, связанное с конечной скоростью распространения света за счет одновременного проведения измерений по разным направлениям с использованием независимых каналов измерения. Однако увеличение пространственного разрешения при этом достигается только по одной координате, так как угловое разрешение по другой координате неизменно и определяется количеством каналов измерения. Недостатком такого способа является большая стоимость сканера из-за большого количества отдельных элементов.

Известен способ получения пространственных данных с использованием так называемых времяпролетных матричных фотодетекторов, каждый элемент которых (пиксель матрицы) позволяет измерить зависимость интенсивности светового потока от времени и тем самым определить расстояние до объектов с использованием времяпролетного метода. При этом необходимо использование импульсной подсветки расходящимся в широком секторе лазерным лучом. Этот способ носит название флэш-лидар (flash-LIDAR). В различных системах используются как линейные фотоприемники (одномерный массив фотоприемных пикселей), так и матричные (двумерный массив фотоприемных пикселей). Например, в патенте US 20170090032 A1 (WO2015189025 (A1)) дано описание лидарной системы на основе лазерного источника и сканирующего зеркала. В системе используется матричный фотоприемник (детектор изображения), представляющий собой массив фотоэлементов, каждый элемент которого позволяет измерить зависимость интенсивности принимаемого света от времени.

Недостатками способа использования времяпролетных матричных фотодетекторов является зависимость углового разрешения лазерного радара от числа пикселей фотоприемной матрицы, а также ограничения, связанные с необходимостью использования лазерного источника достаточно высокой мощности для единовременной подсветки широкого сектора на больших расстояниях.

Основным недостатком известных способов получения пространственных данных посредством лазерного радара является то, что угловое разрешение сканера не изменяется вне зависимости от наличия или отсутствия в секторе сканирования объектов детектирования и визуализации. Под угловым разрешением сканирования понимается минимальный угол, при котором можно различить два отдельных объекта, находящихся на одинаковом удалении от сканера.

Однако для построения модели окружающей обстановки в режиме реального времени с целью, например, управления автономным транспортным средством, необходимо получение пространственных данных об объектах дорожной обстановки с повышенной детализацией потенциально опасных объектов, в том числе пешеходов, повреждений дорожного покрытия или случайных предметов на пути следования.

2. Построение пространственной модели дорожной обстановки с использованием данных, получаемых от нескольких сенсоров.

В патенте компании Baidu CN106405555 рассматривается использование сенсоров различных типов, в том числе радара и лазерного радара. На основе предварительной информации, полученной одним из сенсоров, производится калибровка данных, которые получают с использованием другого сенсора. В патенте не рассматривается вариант изменения параметров детализации получаемых данных на основе имеющейся предварительной информации, получаемой другим сенсором.

В US5475494 рассмотрен вариант использования предварительной информации о наличии объекта (препятствия) на дороге с использованием радарного сенсора, и получения изображения посредством фото (видео) камеры в секторе, в котором обнаружено препятствие. При этом ограничение размера сектора, в котором регистрируется изображение, производится с целью уменьшения объема информации, подлежащей анализу и, соответственно, уменьшения времени обработки информации. В патенте не рассматривается изменение углового разрешения сенсора в зависимости от наличия предварительной информации о нахождении объекта в исследуемом секторе.

Известен способ, при котором данные для построения пространственной модели дорожной обстановки для автомобиля без водителя собираются с различным угловым разрешением в зависимости от направления измерений, выбранный в качестве прототипа. В патенте US20170176597 (A1) GOOGLE INC [US] (2016) представлен способ, при котором данные для модели дорожной обстановки собираются посредством двух и более лидаров (лазерных радаров), обладающих различным угловым разрешением. При этом производится построение единой модели дорожной обстановки со степенью детализации, различающейся по разным направлениям. Например, может быть использован лидар с малым угловым разрешением (первый лидар) и широким (360 градусов в горизонтальной плоскости) сектором обзора и лидар с высоким угловым разрешением (второй лидар) с узким сектором обзора. Данные лидара с малым угловым разрешением, порядка нескольких градусов, могут быть использованы для измерения расстояния и направления на объект. Данные лидара с высоким угловым разрешением (десятые и сотые доли градуса) могут быть использованы для идентификации объекта.

Согласно одному из утверждений US2017176597 (A1), сектор обзора второго лидара может быть изменяемым, при этом с помощью контроллера производится анализ данных, получаемых первым лидаром, в том числе определяется положение объектов, и на основе этого анализа производится управление сектором обзора второго лидара. Недостатком предлагаемого решения является то, что улучшение параметров системы производится экстенсивно, то есть за счет увеличения количества отдельных сенсоров, а не за счет улучшения качества данных, получаемых одним сенсором. Такое техническое решение приводит к пропорциональному росту габаритных размеров, числа соединений, сложности изделия.

Известны оптические сканирующие системы, которые могут быть использованы для сканирования пространства с целью получения пространственной модели окружающей обстановки, описаны, например, в публикациях [Enhanced scanning agility using a double pair of Risley prisms. Appl Opt. 2015 Dec 1; 54(34):10213-26. doi: 10.1364/AO.54.010213.; Frame frequency prediction for Risley-prism-based imaging laser radar Applied Optics 53(16):3556-3564 June 2014 DOI: 10.1364/AO.53.003556].

Задачей изобретения является создание способа получения пространственной модели окружающей обстановки на основе данных, полученных методом лазерной локации, который обеспечивает получение в режиме реального времени пространственных изображений объектов с большой степенью детализации, обнаруживаемых в широком секторе сканирования, а также устройства для его осуществления, обладающего более простой по сравнению с известными аналогами конструкцией и уменьшенными габаритами.

Раскрытие изобретения

Для решения поставленной задачи предложен способ получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, в котором производят сканирование пространства последовательностью лазерных импульсов в пространственном секторе, производят регистрацию оптического сигнала рассеяния и/или отражения лазерных импульсов по меньшей мере одним обнаруженным объектом окружающей обстановки. Способ отличается от аналогичных тем, что в поле зрения лазерного радара выделяют по меньшей мере один пространственный сектор, в котором находится по меньшей мере один обнаруженный объект, производят детальное сканирование по меньшей мере одного выделенного пространственного сектора, на основе полученных данных детального сканирования в режиме реального времени по меньшей мере в одном выделенном пространственном секторе производят построение пространственной модели окружающей обстановки с увеличенным пространственным разрешением.

В предпочтительном варианте осуществление сканирование производят с использованием спектрального мультиплексирования каналов детектирования.

Предпочтительно пространственное разрешение получаемой пространственной модели изменяют в зависимости от расстояния до предмета и числа проведенных единичных измерений в выделенном пространственном секторе, при этом увеличение пространственного разрешения достигается за счет статистической обработки получаемых данных для указанного пространственного сектора.

На всех этапах способа предпочтительно получают данные геопозиционирования в режиме реального времени.В одном из вариантов осуществления перед этапом сканирования пространства последовательностью лазерных импульсов формируют и/или получают массив данных, содержащих предварительную информацию об окружающей обстановке, включая угловое положение и расстояние до по меньшей мере одного обнаруженного объекта, и/или положение, направление движения и скорость объекта в заданной системе координат.

Предварительную информацию об окружающей обстановке можно получать в результате измерений, произведенных методом радиолокации и/или лазерной локации.

Предварительную информацию об окружающей обстановке можно получать на основе анализа изображений и/или видеопотока.

Предпочтительно количество единичных измерений расстояний до поверхности объекта в выделенном пространственном секторе и траекторию сканирования определяют в зависимости от предварительной информации.

Предпочтительно на основе предварительной информации получают пространственную модель окружающего пространства и сохраняют ее в блоке памяти.

В предпочтительном варианте осуществляют сравнение полученной пространственной модели с сохраненной пространственной моделью, полученной на основе предварительной информации с использованием данных геопозиционирования.

В другом аспекте изобретения предложено устройство для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, содержащее лазерный радар, включающий в себя источник лазерного излучения, фотоприемный блок и сканирующий узел, блок управления, процессорный блок и блок памяти. Отличием заявленного устройства является то, что сканирующий узел лазерного радара содержит сканирующий оптический блок, а также направляющий оптический блок, выполненный с возможностью осуществления управления пространственным сектором по меньшей мере по одной сферической координате.

Сканирующий узел предпочтительно содержит оптический блок с по меньшей мере одним подвижным сканирующим оптическим элементом.

Подвижный сканирующий оптический элемент может представлять собой вращающуюся прозрачную призму, поворотное, вращающееся или качающееся зеркало.

Направляющий оптический блок может содержать пару вращающихся прозрачных призм, зеркало с двумя степенями свободы или пару зеркал, каждое из которых имеет одну степень свободы.

Устройство может дополнительно содержать видеоблок, включающий в себя по меньшей мере одну видеокамеру.

Устройство может дополнительно содержать содержит радар.

Устройство может дополнительно содержать тепловизор.

Устройство может дополнительно содержать систему геопозиционирования.

Источник лазерного излучения предпочтительно является источником с несколькими длинами волн, фотоприемный блок содержит каналы, количество которых соответствует числу длин волн источника лазерного излучения, при этом оптическая схема включает в себя подвижный или неподвижный диспергирующий элемент, установленный с возможностью направления лазерного излучения с разными длинами волн по нескольким различающимся направлениям.

Диспергирующий элемент предпочтительно выбран из группы, включающей дифракционную решетку, объемную дифракционную решетку и призму.

Техническим результатом, достигаемым настоящей группой изобретений, является обеспечение возможности получения в режиме реального времени детализированных пространственных изображений объектов, обнаруживаемых в широком секторе сканирования при уменьшении габаритов устройства и его сложности.

В отличие от известного способа согласно прототипу, предлагаемый способ получения пространственных данных о дорожной обстановке в режиме реального времени использует только один лидар с изменяемыми сектором обзора и угловым разрешением. При этом сектор получения данных с повышенным угловым разрешением производится на основе данных предварительного сканирования самим (этим же) лидаром в широком секторе, а также с использованием данных, получаемых посредством иных сенсоров, в том числе радара, видеокамер и других сенсоров. Такой режим сканирования характеризуется как «режим концентрации внимания на объекте».

В отличие от прототипа в предлагаемом способе изменяемое угловое разрешение системы достигается не за счет использования дополнительного (второго, третьего и т.д.) лидара с высоким фиксированным угловым разрешением, а за счет изменяемого углового разрешения сканера.

Изменяемое угловое разрешение системы может быть достигнуто, например, за счет использования сложной траектории поворота луча, неоднородной в пределах сектора обзора. Например, в сканере могут быть использованы два и более отклоняющих элемента, в том числе вращающиеся призмы, поворачивающиеся или вращающиеся зеркала, многоугольные вращающиеся зеркала или другие элементы и различные комбинации этих элементов.

В одном из вариантов возможно использование вращающихся прозрачных призм (клиньев), при этом мгновенное направление луча лазера определяется текущим положением всех призм. Траектория сканирования при этом зависит от соотношения скоростей вращения элементов. Плотность линий траектории сканирования и, соответственно, число измерений в единичном телесном угле зависят от соотношения скоростей вращения оптических элементов. Угловые скорости перемещения подвижных отклоняющих элементов могут быть подобраны, например, таким образом, чтобы максимальное угловое разрешение достигалось в центре области сканирования.

Проекция луча на плоскость при использовании вращающихся призм представляет собой гипоциклоиду, описываемую в простейшем случае вращения двух одинаковых призм формулой:

r=a*sin(kϕ)

где

r - расстояние между точками кривой и ее центром симметрии,

ϕ - угловая переменная, отсчитываемая от начального направления луча.

a – константа, определяющая размах гипоциклоиды,

k – константа, определяющая период изменения функции при изменении угла, иначе говоря плотность «лепестков» гипоциклоиды.

Угловое разрешение лазерного сканера для каждого сектора сканирования определяется расходимостью луча лазера, а также количеством измерений, проведенных в пределах этого сектора (предполагается, что при каждом измерении направление лазерного луча изменяется). При фиксированной частоте зондирующих импульсов угловое разрешение лазерного сканера пропорционально промежутку времени, в течение которого проводятся измерения в заданном секторе, поскольку накопление числа измерений позволяет повысить разрешение за счет статистической обработки сигнала.

Соотношение угловых скоростей перемещения отклоняющих элементов может иметь иррациональное численное значение. В этом случае траектория сканирования получается незамкнутая, и число «лепестков» кривой бесконечно много. В результате может быть достигнуто сколь угодно высокое пространственное разрешение при достаточной длительности проведения измерений.

Указанный режим сканирования лазерным радаром «режим концентрации внимания на объекте» может быть получен за счет того, что угловая траектория сканирования изменяема, и может быть определена для каждого следующего промежутка времени на основе предварительной информации о секторах сканирования, представляющих наибольший интерес. Предварительная информация о секторах подробного сканирования может быть получена на основе автоматизированного анализа результатов измерений, проведенных самим лазерным радаром анализа в широком секторе.

Предварительная информация о секторах подробного сканирования может быть получена на основе прогнозирования места появления объекта, недоступного для наблюдения в данный момент времени, с учетом информации о его координатах, скорости и направлении движения с учетом его возможной траектории. Например, такая ситуация типична при движении потока машин, когда более близкорасположенные транспортные средства препятствуют наблюдению за другими ТС или пешеходами.

Краткое описание чертежей

На Фиг. 1 показана функциональная схема устройства.

На Фиг. 2 схематически показана оптическая система устройства.

На Фиг.3 показана блок-схема способа.

На Фиг. 4 показана схема, поясняющая осуществление способа.

Осуществление изобретения

Устройство 1 для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, представленное на Фиг. 1, содержит лазерный радар 2, включающий в себя источник 3 лазерного излучения, фотоприемный блок 4 и сканирующий узел 5, блок 6 управления, процессорный блок 7 и блок 8 памяти с базой данных окружающей обстановки. Сканирующий узел 5 лазерного радара 2 содержит сканирующий оптический блок 9 и направляющий оптический блок 10, выполненный с возможностью осуществления управления пространственным сектором по меньшей мере по одной сферической координате. Кроме того, устройство содержит радар 11, видеоблок 12, включающий в себя по меньшей мере одну видеокамеру, тепловизор 13 и систему 14 геопозиционирования.

Оптическая схема устройства, представленная на Фиг.2, содержит первую призменную пару 15, вторую призменную пару 16, пространственный сектор 17, выделенный пространственный сектор 18.

На Фиг. 3 представлена блок-схема, поясняющая осуществление способа получения пространственной модели окружающей обстановки на основе данных, полученных методом лазерной локации, в режиме реального времени. После инициализации (включения системы сбора пространственной информации) производится построение грубой пространственной модели (корневого уровня) на основе имеющихся исходных данных, находящихся в памяти устройства. При отсутствии исходных данных в памяти этот этап может быть пропущен.

Следующим этапом является получение пространственных данных о текущей конфигурации дорожной обстановки с малой детализацией. Для этого проводятся измерения с использованием всех сенсоров, включенных в состав устройства. На этом этапе лазерный радар производит обзорное сканирование с малым угловым разрешением, но в широком пространственном угле (см. Фиг.4).

На основе данных, полученных всеми сенсорами, строится (уточняется) мгновенная пространственная модель, и определяются координаты либо угловые координаты объектов. Делается прогноз углового перемещения объектов.

По окончании этапа получения пространственных данных с малой детализацией данные передаются для анализа в процессорный блок дорожной обстановки, которая принимает решение о необходимости проведения подробного лазерного сканирования в каком-либо одном или нескольких пространственных секторах. Расставляются приоритеты секторов подробного сканирования с учетом потенциальной важности информации об объектах для системы управления.

Производится центрирование лазерного сканера на объекте, согласно приоритету. Проводится цикл сканирования, и по его результатам делается корректировка пространственной модели, заключающаяся в основном в повышении детализации изображения объекта и уточнении его координат и скорости.

Полученная информация передается в процессорный блок устройства для получения пространственной модели окружающей обстановки, который принимает решение о повторении цикла сканирования выделенного объекта или о переходе к следующим действиям.

На фиг.4 показана схема, поясняющая осуществление способа. Устройство 1 для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации, установленное на средстве перемещения 19, например, на автомобиле, имеет пространственный сектор сканирования 17 (номер был обозначен ранее), содержащий интересующие объекты 20,21,22,23 сканирования, при этом объект 20 сканирования повышенного внимания попадает в выделенный пространственный сектор 18 номер был обозначен ранее, кроме того объект 24, не представляющий интереса , находится за областью пространственного сектора 17.

Принцип работы устройства 1 для получения пространственной модели окружающей обстановки в режиме реального времени с использованием лазерной локации основан на сканировании лазерным радаром 2 окружающей обстановки последовательностью лазерных импульсов, генерируемых источником 3 лазерного излучения. Сканирование пространства осуществляется сканирующим узлом 5, при этом сканирующий 9 и направляющий 10 оптические блоки управляются с помощью блока управления 6, задающим направление и параметры сканирования окружающей обстановки. В процессе сканирования регистрируют рассеянный и/или отраженный лазерный импульс в фотоприемном блоке 4 и передают данные для вычисления результатов в процессорный блок 7. В предпочтительном варианте осуществления изобретения перед сканированием окружающей обстановки радаром 2 формируют предварительные данные, полученные с помощью блока 8 памяти с базой данных окружающей обстановки, радара 11, видеоблока 12, тепловизора 13, системы 14 геопозиционирования, использующихся последовательно, одновременно или в любых комбинациях.

Анализ результатов предварительных измерений проводится в режиме реального времени со скоростью, необходимой для решения задач анализа окружающей обстановки, например, контроля дорожной обстановки на магистралях общего пользования.

Предложенный алгоритм сканирования оптимизирован для решения задачи обнаружения и распознавания удаленных объектов посредством лазерного сканирования и дает возможность получать детальную информацию об объектах с целью их распознавания и прогноза перемещений.