СПОСОБ ОПРЕДЕЛЕНИЯ ГРАНИЦ ДОРОГИ, ФОРМЫ И ПОЛОЖЕНИЯ ОБЪЕКТОВ, НАХОДЯЩИХСЯ НА ДОРОГЕ, И УСТРОЙСТВО ДЛЯ ЕГО ВЫПОЛНЕНИЯ

Изобретение относится к способам распознавания образов на основе изображения, точнее, к обработке изображений дороги и дорожной обстановки полученных с монокулярной монохромной камеры.

Автомобильные аварии в развитых странах являются главной причиной гибели здоровых людей. Система, которая сможет предупредить водителя о потенциальной опасности аварии и обеспечит достаточное время для реакции водителя, сможет значительно уменьшить число аварий. Для адекватной оценки дорожной ситуации такая система должна:

- определять границы дороги;

- обнаруживать и распознавать объекты на дороге: автомобили, мотоциклы, пешеходов, линии дорожной разметки;

- оценивать положение автомобиля на дороге, даже при отсутствии линий дорожной разметки.

На основании таких данных, с помощью известных методов, можно оценивать дистанции и скорости всех обнаруженных объектов.

Наиболее сложной задачей является определение границ дороги, особенно в отсутствии дорожной разметки.

Известны технические решения, в которых решается данная задача. Все известные способы распознавания границ дороги используют в качестве датчика лазерный сканер и сложные статистические методы для распознавания границ дороги. В заявке US20110227781, публикация 22.10.2011, МПК G01S 13/00 описан способ обнаружения границ дороги. Датчиком такой системы является лазерный сканер. Форма боковой границы дороги оценивается путем измерения обстановки сбоку от автомобиля. Оценка обнаруженной границы дороги, базируется на среднем значении множества траекторий точек кандидатов. Для фильтрации объектов, не принадлежащих поверхности дороги, таких как автомобили, или строения, способ включает средства сортировки вычисленных траекторий на нескольких групп.

В заявке US20070154068, публикация 05.07.2007, МПК B60Q 1/00 описан способ обнаружения трехмерных объектов на дороге по изображению, с допущением, что такой объект представляет собой совокупность вертикальных и горизонтальных границ. По способу выделяются одна или более горизонтальных границ на каждом изображении объекта; находятся две вертикальных границы, расположенные вблизи концевых точек горизонтальных границ; и горизонтальная граница, расположенная вблизи нижних концов двух вертикальных границ идентифицируется как нижняя граница автомобиля. Два вертикальных фронта и нижний горизонтальный фронт образуют прямоугольную рамку объекта, точное расположение которой определяется посредством обработки двух или более изображений. Если нижний фронт совпадает с изображением поверхности дороги, то он является нижней границей объекта.

Такой алгоритм работает достаточно быстро в режиме слежения, когда трехмерные фронтальные объекты на дороге уже обнаружены, оценены их размеры и положение на дороге и остается только обеспечить распознавание объектов в заданных окнах изображения. Однако такой метод не может распознать обгоняющий автомобиль, пока он полностью не появился в поле зрения фронтальной камеры.

Известны способы предупреждения водителя о выезде с полосы движения, например, по заявке US20100259617, публикация 14.10.2010, МПК H04N 7/18, в которой описано устройство обнаружения границ полосы, включающее: бортовую камеру, средства выделения предположительных границ, средства вычисления их параметров, средства интеграции этих параметров и средства идентификации границ полосы или дороги. Данные относящиеся к реальным границам дороги могут содержать помехи, например, тени от бокового барьера дороги, следы ремонта на дороге, даже если предположительная граница имеет вероятность больше пороговой. Вычисленные вероятности каждой предположительной границы интегрируются вместе для получения каждой финальной предположительной границы. Предположительная граница с наибольшей вероятностью выбирается в качестве границы полосы или дороги.

Все известные способы определения границ дороги и положения объектов, находящихся на дороге, для обеспечения достаточной достоверности используют сложные методы статистической обработки визуальной информации. Но даже такая сложная обработка не обеспечивает надежное распознавание естественных границ дороги и обеспечивает достоверность распознавания линий разметки полос не более 70%, даже на дорогах США и ЕС. Поэтому является актуальной задача создания надежного способа определения границ дороги и объектов, находящихся на дороге с использованием процессорных средств, сравнительно невысокой производительности.

Технической задачей, решаемой данным изобретением, является значительное повышение надежности распознавания границ дороги, элементов разметки дороги и транспортных средств, а также других трехмерных и двумерных объектов, находящихся на дороге, с помощью простых алгоритмов распознавания, что позволяет, реализовать систему зрения автомобиля на базе массовых недорогих электронных компонентов примерно, на порядок снизить требования к производительности средств обработки видеопотока.

Способ определения границ дороги, формы и положения объектов, находящихся на дороге, включает получение кадров полутонового изображения от камеры, установленной на транспортном средстве, и содержит также следующие операции.

Формируют границы объектов путем преобразования полутонового изображения в бинарное изображение, характеризуемое первым и вторым бинарными цветами, с выделением границ объектов полутонового изображения первым бинарным цветом.

Выделяют изображение поверхности дороги путем заливки первым однотонным цветом внутри замкнутого контура дороги, ограниченного первым бинарным цветом;

Определяют контур левой, правой и верхней границ изображения поверхности дороги.

Обнаруживают и распознают объемные объекты, изображения которых соприкасаются с контуром изображения поверхности дороги, путем анализа формы контура, левой, правой и верхней границ изображения поверхности дороги, и далее определяют форму и положение этих объектов на дороге.

Выделяют на изображении поверхности дороги изображения плоских объектов, которые находятся ниже верхней границы контура изображения дороги и ограничены первым бинарным цветом (линии разметки, тени, пятна на дороге) путем заливки этих объектов вторым однотонным цветом и определяют форму и положение этих объектов на дороге.

Предлагаемый способ предполагает обработку кадров полутонового изображения, что сразу понижает требования к камере и облегчает дальнейшую обработку изображений, ввиду небольшого требуемого объема памяти для их записи и сравнительно невысоких требований к оборудованию, производящему обработку таких изображений. Далее производят выделение границ объектов полутонового изображения путем его преобразования в бинарное изображение и выделение границ (выделение краев) объектов с помощью одного из известных способов в обработке изображений. Выделение изображения поверхности дороги производят путем заливки первым однотонным цветом внутри замкнутого контура дороги. Операция заливки однотонным цветом замкнутых контуров хорошо известна в системах обработки изображений, однако никогда не применялась для определения границ дороги в системах обработки изображений транспортных средств.

Таким образом, с помощью простых операций, уже на первых этапах обработки полутонового изображения, в данном способе определяют изображение поверхности дороги. Дальнейшие операции опираются на использование выделенного изображения поверхности дороги и направлены на обнаружение и распознавание объемных объектов, изображения которых соприкасаются с контуром изображения поверхности дороги и объемных и плоскостных объектов, расположенных на поверхности дороги.

В частном случае выполнения способа в качестве камеры для получения кадров полутонового изображения дороги используют монохромную камеру.

Кроме того, камеру на транспортное средство устанавливают таким образом, чтобы оптическая ось камеры была параллельна плоскости дороги, при этом плоскость горизонта располагают примерно в средней части кадра, когда транспортное средство располагается на, примерно, горизонтальном участке дороги.

Такое расположение камеры позволяет обеспечивать измерение дистанции до объекта и его ширины с помощью монокулярной камеры.

В частности, при определении замкнутого контура дороги за нижнюю часть контура дороги принимают изображение границы частей транспортного средства, с которого ведется съемка, расположенной в нижней части кадра, либо нижняя граница кадра.

В частном случае определяют замкнутый контур дороги как перепад яркости между началом и концом размытой границы дороги.

В частности, при определении контура дороги, если контур дороги первого бинарного цвета имеет разрывы, создают ряд вертикальных линий первого бинарного цвета вне границ дороги, чем обеспечивают локализацию разрыва заливки изображения поверхности дороги. При этом анализируют верхнюю границу полученного контура изображения поверхности дороги, распознают локализованные разрывы заливки изображения дороги, исключают эти разрывы путем окраски в первый бинарный цвет и повторно генерируют верхнюю границу изображения дороги.

При наличии теней от деревьев, столбов или транспортных средств, пересекающих изображение дороги и рассекающих изображение дороги на отдельные части, формируют, по меньшей мере, одну вертикальную полосу второго бинарного цвета, рассекающую контуры теней и обеспечивающую заливку всего видимого изображения поверхности дороги первым однотонным цветом. После заливки рассеченных границ теней вторым однотонным цветом, анализируют форму всех залитых этим цветом объектов и объекты, не подходящие в качестве объектов линий разметки окрашивают первым однотонным цветом, и снова определяют боковые границы изображения дороги.

В частности, при формировании левой и правой границ дороги, определяют самую верхнюю точку контура дороги и принимают ее за среднюю точку, делящую дорогу на левую и правую части.

Кроме того, обнаружение и распознавание объектов, изображения которых соприкасаются с контуром изображения поверхности дороги, производят путем анализа формы и размеров контуров этих объектов, одновременно являющихся контурами границ изображения поверхности дороги.

В частности, форму изображений объемных объектов определяют посредством анализа параметров скачков изображения контура дороги, вызванных этими объемными объектами.

Кроме того, объекты, осуществляющие обгон на соседних полосах, распознают путем выделения изображения передней части этих объектов, обеспечивая оценку поперечной дистанции до боковой границы этих объектов.

Кроме этого, анализируют форму изображений объектов, которые находятся внутри контура изображения дороги и разделяют изображения элементов линий прерывистой разметки полос и изображения прочих элементов разметки, теней и прочих плоских объектов, находящиеся внутри контура изображения дороги.

В частности, линии границ изображения дороги в ближней зоне аппроксимируют прямыми линиями, параметры которых сохраняют в памяти параметров дороги. По обнаруженным элементам прерывистых линии разметки полос определяют линии границ полос и оценивают ширину полос. При обнаружении, по меньшей мере, одного элемента прерывистой разметки только одной границы полосы, в качестве второй точки при определения этой границы полосы используют точку пересечения прямых линий распознанных границ дороги, а вместо второй границы полосы генерируют линию границы полосы.

Другим объектом данной группы изобретений является устройство, реализующее данный способ.

Устройство определения границ дороги, формы и положения объектов, расположенных на дороге, включающее камеру, выполненную с возможностью получения кадров полутонового изображения, и устройство обработки сигналов камеры, при этом устройство обработки выполнено с возможностью формирования границ объектов путем преобразования полутонового изображения в бинарное изображение, характеризуемое первым и вторым бинарными цветами, с указанием границ объектов полутонового изображения первым бинарным цветом, выделения изображения поверхности дороги путем заливки первым однотонным цветом внутри замкнутого контура дороги, ограниченного первым бинарным цветом, определения контура левой, правой и верхней границ изображения поверхности дороги, обнаружения и распознавания объемных объектов, изображения которых соприкасаются с контуром изображения поверхности дороги, путем анализа формы контура, левой, правой и верхней границ изображения поверхности дороги, и определения положения этих объектов на дороге относительно границ полосы, которые определяются путем выделения на изображении поверхности дороги изображений плоских объектов, которые находятся ниже верхней границы контура изображения поверхности дороги и ограничены первым бинарным цветом, путем заливки этих объектов вторым однотонным цветом, определения формы и положения этих объектов на дороге, выделения из множества этих объектов элементов прерывистых линий разметки и формирования границ полос.

Изобретение поясняется схемами и изображениями.

На Фиг.1 приведена схема расположения системы на автомобиле.

На Фиг.2а и Фиг.26 показана блок схема системы по способу.

На Фиг.3 приведен кадр полутонового изображения дороги и объектов, находящихся на дороге.

На Фиг.4 приведено бинарное изображение дороги после преобразования с выделением границ объектов первым бинарным цветом.

На Фиг.5 показан процесс обработки малоконтрастных границ объектов.

На Фиг.6 показан способ локализации прорывов контура изображения дороги

На Фиг.7 показано изображение после выделения поверхности дороги путем заливки первым однотонным цветом.

На Фиг 8 показано выделение объектов на поверхности дороги путем заливки вторым однотонным цветом.

На Фиг.9 приведены примеры выделения транспортных средств и разметки дороги.

На Фиг.10 показан изображение верхнего контура дороги и пример определения верхней точки контура дороги.

На Фиг.11 показано изображение с выделенными объектами на дороге.

На Фиг.12а показаны типы объектов на дороге, распознаваемых блоком формирования параметров и классификации технических средств.

На Фиг.126 показана структура изображения автомобиля на боковых полосах.

На Фиг.13 показано несколько типов изображений окрашенных объектов.

Фиг.14 поясняет способ измерения дистанций до объектов, а также ширины объектов с помощью монохромной камеры.

На Фиг.15 показано несколько дорожных ситуаций при распознавании линий границ дороги.

Фиг.16 поясняет переход от перспективней проекции на изображении к карте дороги.

На Фиг.17 показана одна из возможных практических реализаций устройства, реализующего способ.

Способ может быть реализован с помощью устройства обработки, блок-схема которого представлена на Фиг.1 и Фиг.2а Фиг.2б.

На транспортном средстве, например, на автомобиле 1 (Фиг.1), установлена камера 2, соединенная с устройством обработки сигналов камеры 3, которое может быть выполнено в виде микроконтроллера или ЭВМ. Камеру 2 устанавливают на автомобиль 1 таким образом, чтобы оптическая ось камеры была параллельна плоскости дороги, при этом плоскость горизонта будет располагаться примерно в средней части кадра, когда автомобиль 1 располагается на примерно горизонтальном участке дороги. Данная установка камеры позволяет отслеживать поверхность дороги различной конфигурации, в том числе с подъемами и спусками. При реализации способа применялась монохромная камера с матрицей 640 X 480 пикселей и с углом обзора 40 град. Такая камера позволяет обнаружить фронтальные автомобили на дистанциях до 60 м.

Следует также отметить, что далее будет обсуждаться способ обработки изображений, когда камера 2 (Фиг.1а) направлена по движению автомобиля.

Способ может быть применен также для случая, когда камера 2 будет смотреть назад для обнаружения следующих сзади автомобилей. Способ может быть использован для обнаружения приближающихся автомобилей, когда автомобиль движется навстречу автомобилю 1. Все эти варианты можно считать эквивалентными и они могут быть реализованы с использованием данного изобретения.

При обработке сигнала от камеры 2 (Фиг 2а) на первом этапе формируют границы объектов путем преобразования полутонового изображения в бинарное изображение, характеризуемое первым и вторым бинарными цветами, с выделением границ объектов полутонового изображения первым бинарным цветом.

Блок формирования границ объектов 21 обеспечивает выделение границ объектов в местах изображения, где существуют перепады яркости. Блок 21 вычисляет градиенты перепадов яркости для каждой пары пикселов входного кадра (Фиг.3) и сравнивает значение этого перепада с установленным порогом. Если перепад превышает порог, то соответствующий пиксел бинарного изображения (Фиг.4) определяется первым бинарным цветом, в данной реализации черным цветом. Результат такой обработки исходного полутонового изображения (Фиг.3) показан на Фиг.4. Блок формирования границ 21 может быть реализован на основе одного из известных методов обработки изображений для получения границ объектов. Так как представленный в данном изобретении способ требует наличия замкнутого контура границ изображения дороги, то метод формирования границ должен обеспечить формирование непрерывной линии границ должен обеспечить формирование непрерывной линии границы дороги даже, в случае размытых естественных границ дороги, имеющихся, например, на Фиг.3.

Способ обработки малоконтрастных границ представлен на Фиг.5, на которой показана обработка двух малоконтрастных границ, имеющих одинаковый градиент яркости соседних пикселов, но разную ширину размытой границы.

На Фиг.5 (1a-1b) представлены диаграммы яркостей двух размытых границ в дискретной форме.

На Фиг.5 (2а-2b) представлены диаграммы градиентов яркости этих границ. При обработке, сначала вычисляется интегральный перепад яркости размытых границ (Фиг.5 (1a, 1b), который равен площади фигур, ограниченных диаграммами (2а-2b). Затем изображение (Фиг.5 (2а-2b)) преобразуются так, что вместо широких импульсов градиентов яркости приблизительно в середине размытых границ формируются узкие импульсы перепада яркости (Фиг.5 (3а, 3b)), амплитуда которых равна интегральному перепаду яркости границ (1a-1b). Такая обработка в несколько раз увеличивает контрастность размытой границы за счет того, что, в отличие от стандартной процедуры вычисления градиента яркости двух соседних пикселов, градиент яркости размытой границы равен сумме градиентов яркостей соседних пикселов размытой границы. Блок памяти изображений 22 предназначен для хранения всех изображений.

Блок 23 корректирует границы дороги, если контур дороги первого бинарного цвета имеет разрывы. Анализируют верхнюю границу полученного контура изображения поверхности дороги, распознают локализованные разрывы заливки изображения дороги, исключают эти разрывы путем окраски в первый бинарный цвет, и повторно генерируют верхнюю границу изображения дороги. Для предотвращения прорывов контура дороги блок коррекции границ объектов 23 формирует ряд вертикальных черных линий 5 вне границ дороги (Фиг.6). Ширина каждой линии ряда - 1 пиксел, расстояние между соседними вертикальными линиями 10 пикселов. Верхние концы всех этих линий находятся на верхней строке изображения границы дороги. Нижние концы расположены на 5 пикселов ниже соответствующей верхней границы изображения поверхности дороги предыдущего кадра. Даже при нескольких разрывах линии границы дороги только узкие вертикальные столбцы, ограниченные черными линиями решетки могут быть окрашены первым однотонным цветом. Если обеспечить такое качество формирования границ изображения, чтобы не допустить разрыва границы изображения дороги на соседних участках решетки черных линий, то верхнюю границу изображения поверхности дороги можно полностью восстановить.

Блок коррекции границ объектов 23 обеспечивает также коррекцию полученного изображения фронтов. Дело в том, что на поверхности дороги могут быть тени, как от деревьев, столбов находящихся вне границ дороги, так и автомобилей. Если такая тень полностью перекрывает полотно дороги, то она создает на изображении границ как минимум две непрерывные черные линии, не позволяющие блоку выделения поверхности дороги 24 окрасить все пиксели изображения поверхности дороги. Блок коррекции границ объектов 23 разрезает такие линии, обеспечивая нормальную работу блока 24.

На следующем этапе выделяют изображение поверхности дороги путем заливки первым однотонным цветом внутри замкнутого контура дороги, ограниченного первым бинарным цветом.

Блок выделения пикселов поверхности дороги 24 обеспечивает выделение пикселов изображения поверхности дороги (Фиг.7), используя алгоритм заливки контура изображения поверхности дороги первым однотонным цветом, в данном случае серым цветом. В данном блоке 24 реализуется один из известных алгоритмов заливки замкнутого контура, которые применяются для генерации изображений. Следует, однако, заметить, что данный алгоритм ранее не применялся для обработки изображений при анализе поверхности дороги, и тем более не применялся в способах определения границ поверхности дороги и распознавания транспортных средств, находящихся на дороге.

Контуры границ изображения дороги содержат в сжатом виде информацию о форме границ дороги и о форме нижней части всех дорожных объектов, соприкасающихся с границами дороги. Анализ формы контура изображения границ дороги позволяет обнаружить и распознать все эти объекты.

Блок формирования верхней границы дороги 25 обеспечивает формирование массива вертикальных координат верхней границы изображения поверхности дороги. Для этого каждый столбец изображения, начиная с первого, сканируется сверху вниз до обнаружения первого серого пиксела. Номер строки этого пиксела записывается в первую ячейку блока памяти верхней границы 26. Таким образом, последовательно сканируются все столбцы изображения. По окончании сканирования последнего столбца, завершается формирование параметров верхней границы изображения поверхности дороги в блоке 26. В процессе работы блока 25 определяются также координаты самой верхней точки этой границы, верхний серый пиксел контура дороги (см. Фиг.10). Горизонтальная координата этой точки условно делит верхнюю границу изображения поверхности дороги на две части (левую и правую), что позволит в дальнейшем сформировать две боковые границы изображения поверхности дороги.

Блок формирования скачков верхней границы дороги 27 анализирует резкие изменения вертикальных координат (скачки) верхней границы дороги и если эти скачки превышает заданный порог записывает параметры скачков в пикселах (горизонтальная координата скачка, строка начала скачка, высота скачка в пикселах), в блок памяти параметров скачков границ дороги 28.

Блок коррекции верхней границы дороги 29 анализирует скачки верхней границы дороги, распознает пары разнополярных скачков, возникающих из-за прорывов границы изображения поверхности дороги при заливке, и фиксирует параметры этих прорывов. При единичном прорыве границы, такой вертикальный прорыв серого цвета имеет форму столбика шириной 10 пикселов, благодаря наличию вертикальных черных линий 5, сформированных блоком коррекции границ объектов 22. Счетчик прорывов, входящий в состав этого блока фиксирует количество прорывов. Этот параметр можно использовать для коррекции пороговых значений градиентов яркости в блоке формирования границ объектов 21 при обработке следующего изображения.

Блок 29, используя информацию о параметрах импульсов прорыва, хранящуюся в блоке 26, описывающего конфигурацию верхней границы изображения поверхности дороги, обеспечивает коррекцию значений в месте прорыва и окрашивает все серые пикселы прорыва в изображении в белый цвет.

Блок распознавания пикселов плоских объектов на дороге 30 распознает пиксели линий разметки, теней, пятен на дороге и т.п. и закрашивает их вторым однотонным цветом (Фиг.8), в данном случае, темно серым цветом, что позволяет отделить тени на полотне дороги от объектов и значительно упрощает распознавание линий разметки. Для реализации этой функции каждый столбец изображения сканируется сверху вниз, начиная с верхнего серого пиксела этого столбца. Все пиксели, отличающиеся от серого, закрашиваются в темно-серый цвет (Фиг.8).

Блок формирования параметров боковых границ 31 обеспечивает формирование горизонтальных координат боковых границ изображения поверхности дороги. Для этого каждая строка изображения, начиная с верхней строки поверхности дороги, сканируется слева направо до обнаружения первого серого пиксела. Номер столбца этого пиксела записывается в первую ячейку левой части блока памяти боковых границ 32. Таким образом, последовательно сканируются все строки изображения. По окончании сканирования последней строки завершается формирование параметров левой границы изображения поверхности дороги в блоке памяти 32. Для формирования правой границы изображения поверхности дороги каждая строка изображения, начиная с верхней строки изображения поверхности дороги, сканируется справа налево до обнаружения первого серого пиксела. По окончании сканирования последней строки завершается формирование параметров правой границы изображения поверхности дороги в блоке памяти боковых границ 32.

Блок памяти боковых границ 32 - это двумерный блок памяти размером 240×4 ячеек, который обеспечивает хранение горизонтальных координат и градиентов боковых границ дороги, которые необходимы для работы блока распознавания пикселов нижних частей объемных объектов 33. Индексом этой памяти является номер строки.

Для определения характера и положения плоских объектов на поверхности дороги выделяют на изображении поверхности дороги объекты, которые находятся ниже верхней границы контура изображения поверхности дороги и ограничены первым бинарным цветом, путем заливки этих объектов вторым однотонным цветом.

На следующем этапе воплощения способа обнаруживают и распознают объемные объекты, изображения которых соприкасаются с контуром изображения поверхности дороги, путем анализа формы контура, левой, правой и верхней границ изображения поверхности дороги, и далее определяют положение этих объектов на дороге.

Блок распознавания пикселов нижних частей объемных объектов 33 распознает пиксели отображений частей физических объектов, находящихся ниже верхней границы отображения дороги и закрашивает их черным цветом (Фиг.8). Такая процедура значительно упрощает последующую обработку этих изображений. Для реализации этой функции каждая строка изображения (Фиг.7), начиная с верхней границы изображения поверхности дороги, сканируется слева направо от левой границы изображения дороги до правой границы. Все белые пиксели, отличающиеся от серого, закрашиваются в черный цвет.

Блок формирования скачков боковых границ дороги 34, используя информацию блока памяти боковых границ 32, описывающих конфигурацию боковых границ изображения поверхности дороги, формирует соответственно горизонтальные дифференциалы боковых границ дороги. Используя эту информацию, блок 34 распознает горизонтальные скачки границ изображения дороги. Так как ширина горизонтальных скачков как правило равна ширине изображений транспортных средств, вызвавших эти скачки, то для выделения скачков автомобилей и мотоциклов вычисляют ширину предполагаемых транспортных средств в см. и если ширина превышают заданный порог, например 40 см., записывает их в блок памяти параметров скачков границ дороги 28.

Структура параметров скачка представлена в Табл.1

Результат работы этого блока для реального изображения представлен на Фиг.10. Стрелками показаны обнаруженные скачки границ изображения дороги. Изображение объекта 1 образовано слившимися изображениями двух автомобилей и представлено одним горизонтальным и тремя вертикальными скачками границ изображения дороги. Изображение объекта 2 представлено горизонтальным и двумя вертикальными скачками.

Так как после предыдущих этапов обработки на изображении отмечены разными цветами изображения двух групп объектов: плоские объекты (окрашены вторым однотонным цветом) и нижние части объемных объектов (окрашены вторым бинарным цветом) то для дальнейшей обработки этих изображений используется параметр цвет: 0 - второй однотонный цвет; 1 - второй бинарный цвет. Для обработки плоских объектов блок 35 устанавливает параметр цвета в 0.

Блок формирования фрагментов окрашенных объектов 36, используя информацию блока памяти боковых границ 32, сканирует изображение поверхности дороги в блоке памяти изображений 22, обнаруживает пиксели заданного цвета, распознает фрагменты слитых по горизонтали пикселов заданного цвета, формирует параметры каждого фрагмента, определяющие длину и положение фрагмента на изображении, и записывает эти параметры в блок памяти параметров фрагментов 37. Блок 36 позволяют сформировать фрагменты для двух классов пиксельных отображений окрашенных объектов:

- Класс 0 - отображения плоских объектов (линии разметки, тени и так далее), пиксели которых окрашены в темно-серый цвет;

- Класс 1 - отображения нижних частей трехмерных объектов, пиксели которых окрашены в черный цвет.

Блок формирования окрашенного объекта блок 38 объединяет группу слитых по вертикали фрагментов в объекты, и записывает параметры этих фрагментов в блок памяти фрагментов объекта 39. На Фиг.9 представлены формы пиксельных изображений фронтального автомобиля (а) и линии разметки (b).

Блок 40 анализирует параметр цвет и в зависимости от значения параметра цвет (0/1) запускает блоки 41 или 43, соответственно.

Блок 41 обеспечивает анализ формы и классификации изображений плоских объектов, выделяет изображения объектов разметки и формирует блок параметров объектов разметки, которые сохраняются в блоке памяти параметров разметки 42.

На Фиг.13а представлена типичная форма пиксельного изображения элемента прерывистой линии разметки полос. Преимуществом представленного здесь способа обнаружения прерывистых линий разметки, по сравнению с существующими способами, является очень высокая надежность распознавания изображений отрезков прерывистых линий разметки.

Блок 43 обеспечивает анализ формы и классификацию изображений транспортных средств, формирует параметры изображений транспортных средств и записывает их в блок 44.

Типы изображений транспортных объектов, распознаваемых этим блоком представлены на Фиг.12а. Для этого блок 43 анализирует сначала форму изображения нижней части объемного объекта, которая храниться в блоке 39. На Фиг.13б-13 г представлен несколько типов изображений нижних частей ТС:

- изображение нижней части фронтального автомобиля (Тип 1);

- изображение нижней части фронтального автомобиля на соседней полосе в ближней зоне (Тип 2);

- изображение нижней части мотоциклиста, движущегося впереди (Тип 3), которые характеризуются следующими параметрами:

Ofw - ширина рамки окрашенной части отображения объекта в пикселах;

Obr - номер нижней строки окрашенной части изображения объекта;

Opw - эффективная ширина окрашенной части изображения объекта в пикселах (только для типов в, г)

Затем блок 43 анализирует параметры скачков горизонтальной и боковых границы изображения дороги, записанных в блоке 28, распознает группу скачков относящихся к изображению распознанной перед этим нижней части транспортного средства и добавляет параметры этих скачков в блок параметров анализируемого объекта в блоке памяти 44.

Тип изображений объектов определяет порядок обработки изображения объекта, обеспечивающий корректное определение ширины изображения транспортных средств в пикселах.

Для определения параметров объектов типов 1-3 используются параметры скачков границ дороги, вызываемых этими объектами и форма пиксельных образов нижних частей. Для объектов типов 4-5 используются только параметры скачков границ дороги, так как для этих объектов отсутствуют окрашенные в черный цвет изображения нижних частей этих объектов.

Объекты типа 1 - это изображения фронтальных автомобилей с положительным и отрицательным вертикальными фронтами, начальные координаты которых почти совпадают с координатами концевых точек горизонтального скачка. Ширина изображения этого объекта равна величине горизонтального скачка. Нижняя строка изображения этого объекта определяется вертикальной координатой отрицательного скачка. У таких объектов можно оценить только ширину. Ширина изображения этих объектов определяется шириной рамки окрашенной нижней части изображения объекта. Такие объекты имеют постоянную ширину. Ширина таких объектов 150-250 см.

Объекты типа 2 - это изображения автомобилей на боковых полосах, находящиеся на дистанции менее 20 м, у которых видима вся задняя часть автомобиля и один бок. Координаты нижней точки отрицательного вертикального скачка совпадают с координатами начальной точки горизонтального скачка. Вертикальная координата нижней точки положительного вертикального скачка несколько выше вертикальной координаты горизонтального скачка.

На Фиг.12б представлена структура изображения объекта типа 2.

Параметры скачков H_Jmp, VJ-, VJ+, которые хранятся в блоке 36, описывают эту структуру и позволяют определить координаты вершин А, В, D, Е многоугольника, описывающего форму изображения объекта типа 2. Ширина изображения этих объектов определяется длиной нижнего фрагмента окрашенной нижней части изображения. Такие объекты имеют постоянную ширину и у них можно оценить ширину и длину. Ширина таких объектов 150-250 см., длина 4-12 м. (см Фиг.13в)

Объекты типа 3 - это изображение мотоциклиста едущего впереди, имеет 2-4 отрицательных вертикальных скачка и примерно столько же положительных вертикальных скачков. Ширина изображения этих объектов определяется шириной рамки окрашенной нижней части изображения объекта. Ширина таких объектов 50-80 см.

Объекты типа 4 - От объектов типа 2 отличаются отсутствием отрицательного вертикального скачка и пиксельного образа окрашенной нижней части объекта. Положение нижней границы такого объекта совпадает с горизонтальным скачком границы изображения дороги. Это, как правило, объект на соседней полосе, задняя часть которого частично попадает в поле зрения камеры. Положение боковой границы изображения этого объекта определяется величиной горизонтального скачка. Ширина изображения задней части таких объектов 30-250 см.

Объекты типа 5 - это боковые автомобили, у которых видима только боковая часть. Изображения таких автомобилей образуют только один положительный скачок. Для таких объектов можно определить только длину и поперечную дистанцию до боковой границы этих объектов.

Данная классификация объектов приведена только для иллюстрации принципа классификации изображений объектов, не исчерпывает число возможных типов изображений транспортных объектов и не является объектом защиты данного изобретения. Параметры изображений транспортных средств записываются в блок памяти изображений транспортных средств 38. Структура параметров изображения транспортных средств зависит от типа объекта и полностью описывает форму изображения объекта. Структура параметров изображения транспортных средств представлена в Табл.2

Блок сравнения 45 проверяет флаг состояния, который устанавливается:

- в "1" блоком 38 когда сформированы все объекты из окрашенных фрагментов цвета 0;

- в "2" блоком 38 когда сформированы все объекты из окрашенных фрагментов цвета 1;

- в "3" блоком 43, когда сгруппированы в объекты все скачки массива 28.

Если этот флаг равен "0", запускается блок 38, который начинает формирование следующего окрашенного объекта; если этот флаг равен "2", запускается блок 43, который формирует группы скачков для объектов типов 4-5. Если этот флаг равен "1" происходит переход к счетчику цвета 46, который увеличивает на единицу значение режима цвета пикселов окрашенных фрагментов и весь цикл работы распознавания окрашенных объектов от блока 36 до блока 45 повторяется, иначе переход к блоку 47 (формирования линий боковых границ изображения дороги и определения конфигурации дороги).

Для описания работы последующих блоков необходимо объяснить известный принцип оценки дистанций до объектов с помощью монокулярной камеры. Для оценки продольной дистанции до объектов типа 1-4 на Фиг.12 необходимо точно определить номер строки нижней границы изображений этих объектов (номер строки отсчитывается от середины кадра вниз). Фиг.15б поясняет принцип измерения продольных дистанций до объектов с помощью монокулярной камеры 2, где:

7 - матрица видеокамеры,

8 - линза объектива камеры с фокусным расстоянием F,

Н - расстояние от оптической оси камеры до поверхности дороги,

D1 - дистанция от плоскости линзы 8 до линии, где плоскость задней части объекта 6 соприкасается с поверхностью дороги.

Osh - расстояние от центра матрицы фотодатчика до нижней границы изображения объекта 6

Тогда дистанцию от фокальной плоскости линзы 8 до автомобиля 6 можно вычислить по формуле:

Н - расстояние от оптической оси камеры до поверхности дороги (см),

F - фокусное расстояние объектива камеры (см),

Rb - текущее значение номера строки матрицы видеодатчика, соответствующее нижней границе изображения объекта (отсчитывается от центра матрицы сенсора),

ps - размер пиксела матрицы сенсора (нм)

На Фиг.15г поясняется механизм измерения ширины автомобиля OW. Ширина автомобиля 6 вычисляется по формуле:

,

где Opw - ширина изображения объекта в пикселах.

Блок формирования линий боковых границ дороги 47 определяет боковые границы изображения дороги в ближней зоне, на дистанциях не более 20 м (отрезок границы дороги в этой зоне можно считать прямым, даже если автомобиль движется по плавному закруглению дороги), для этого блок 48 анализирует содержимое блока памяти параметров транспортных средств 44 и определяет наличие транспортных средств в ближней зоне на соседних полосах, перекрывающих видимые границы дороги.

На Фиг.15а-15в представлены несколько типовых дорожных ситуаций при распознавании границ дороги, обработку которых обеспечивает блок 49 при распознавании формы границ дороги. Линия границы ближней зоны 10 находится на 50 строке кадра (отсчет ведется от середины кадра).

На Рис 15а представлено изображение свободного прямого участка дороги, когда полностью видны обе границы дороги (левая граница 12 и правая граница 13). Левая граница изображения дороги в ближней зоне имеет вид отрезка прямой линии АВ, а правая граница - это отрезок прямой линии CD.

Точки А и С это точки, где левая и правая границы изображения дороги пересекаются с боковыми границами кадра. Вертикальные координаты этих точек хранятся в первой и последней ячейках блока памяти верхней границы 26, соответственно.

Точки В, D - это точки, где линия границы ближней зоны 11 пересекает левую и правую границы изображения дороги, соответственно. Вертикальные координаты этих точек равны вертикальной координате линии границы ближней зоны 11. Для определения горизонтальной координаты точки В, блок памяти верхней границы 26 сканируется слева направо до тех пор, пока значение вертикальной координаты левой границы меньше вертикальной координаты линии 11. Как только вертикальная координата левой границы достигнет или превысит вертикальную координату линии 11, сканирование прекращается.

Горизонтальная координата точки В равна значению счетчика адреса блока памяти верхней границы 26. Для определения горизонтальной координата точки D, блок памяти верхней границы 26 сканируется справа налево. Вертикальные координаты точек В и D записываются в блок памяти параметров дороги 48. Затем по отрезкам АВ и CD определяются уравнения двух прямых линий которые пересекаются в точке О.

Точка О - это точка, в которой пересекаются границы дороги и границы полос на прямых участках дороги. Причем положение этой точки не зависит от поперечного положения автомобиля 1 на дороге, а зависит только от ошибок оценки параметров границ дороги, и отклонения оптической оси камеры 2 от линии 7.

Ошибки оценок параметров границ дороги определяют динамическую ошибку оценки положения точки О, которая уменьшается усреднением результатов измерений 20 последних кадров. Сглаженное значение координат точки О непрерывно обновляется. Статическая ошибка измерения положения точки О определяется постоянным отклонением оптической оси камеры 2 от линии 7 (Фиг.15а)

На Фиг.15в представлено изображение прямого участка дороги, когда нижняя часть правой границы дороги 13 перекрывается боковым объектом 15. В этом случае, если боковой объект это обгоняющий автомобиль передняя часть которого только появилась в поле зрения камеры 2, координаты точки Е определяются координатами концевой точки вертикального скачка 16. Если расстояние между точками D и Е достаточно велико, то по этим точкам можно определить форму правой границы. Если это расстояние мало или изображение бокового автомобиля 15 перекрывает точку D, то правую границу можно идентифицировать по отрезку ОЕ (сглаженные координаты точки О при этом замораживаются).

На Фиг.156 представлено изображение прямого участка дороги, когда автомобиль 15, движущийся по соседней полосе перекрывает точку D. В этом случае параметры линии границы дороги в ближней зоне определяются по отрезку СЕ.

На Фиг.15 г представлено изображение прямого участка дороги, когда автомобиль 1, движется по левой полосе многополосной дороги. В этом случае левая граница дороги определяется по точкам АО а правая по точкам СО.

Границы изображения дороги, идентифицированные блоком 47, являются перспективной проекцией реальных границ дороги. Каждая точка перспективной проекции трансформируется в точку карты дороги. При этом начало координат карты дороги будет привязано к автомобилю, и соответствовать центру фокальной плоскости камеры 2. На Фиг.16 представлена карта дороги, соответствующая изображению Фиг.15в. Точка F соответствует центру фокальной плоскости камеры 2.

Блок 47 позволяет также измерить ширину дороги RW и оценить количество полос на дороге, которые записываются в блок 48.

Ширина дороги RW (в сантиметрах) для ситуаций Фиг.15а и Фиг.15в измеряется по формуле 3, которая выводится из формулы 2:

,

где: BD - длина отрезка BD (Фиг.15а) в пикселах;

50 - номер строки линии границы ближней зоны 11;

Ширина дороги RW (в сантиметрах) для ситуации на Фиг.15г измеряется по формуле:

,

где: ВС - длина отрезка ВС (Фиг.15г) в пикселах

Row (С) - номер строки точки С;

Количество полос на дороге NL оценивается по формуле:

,

где: RLW - ширина правой обочины многополосной дороги в см.;

350 - ширина полосы в см.

Блок формирования границ полосы 49 генерирует форму границ полосы, основываясь на информации блока памяти параметров объектов разметки 42 о параметрах двухмерных объектов прерывистых линий разметки полос. Достаточно распознать один объект разметки, относящиеся к одной границе полосы, чтобы определить положение границы полосы на прямом участке дороги. Определив линии границ полосы блок 50 оценивает ширину полосы в соответствии со следующим алгоритмом:

1. Определяются горизонтальные координаты точек L и М на Фиг.15г, которые образуются в результате пересечения изображений линий левой и правой полос, соответственно, и линии 14, которая идет параллельно линии горизонта 10 на уровне строки 200.

2. Вычисляется ширина полосы по формуле 5, которая выводится из формулы 2:

где LW(t) - результат измерения ширины полосы в одном кадре;

Xm - горизонтальная координата точки М,

XI - горизонтальная координата точки L.

Измеренные параметры границ полосы текущего изображения записываются в блок памяти параметров дороги 48.

Для уменьшения динамической ошибки измерения ширины полосы из-за вертикальной вибрации камеры 2 во время движения автомобиля производится сглаживание серии измеренных значений LW(t) с помощью фильтра Калмана. Если распознана только одна граница полосы, то положение второй границы полосы можно определить зная ранее измеренное значение ширины полосы, хранящееся в блоке 48. Если объекты разметки временно не обнаруживаются, блок 49, используя информацию о параметрах границ дороги, хранящуюся в блоке памяти параметров дороги 48, генерирует виртуальные линии границ полос, что обеспечивает достаточно точную оценку положения автомобиля на дороге даже при временном пропадании линий разметки.

Блок 50 определяет номер текущей полосы автомобиля 1 (Lane No) и положение автомобиля 1 относительно середины текущей полосы и сохраняет их в блоке 48.

На Фиг.16 показаны два варианта расположения автомобиля 1 на трехполосной дороге -1.0 и 1.1. Для определения поперечного положения автомобиля на дороге блок 50 производит следующие действия:

1. Вычисляет расстояние в см. автомобиля 1 до левой границы дороги (LBD1 для автомобиля 1.1 LBD 0 для автомобиля 1.0):

,

где,

RPN (Row pixels number) - количество элементов в строке матрицы видеосенсора 7;

Н - расстояние от оптической оси камеры 2 до поверхности дороги в см.,

Row(A) - номер строки точки А на Фиг.15г.

2. Определяет номер текущей полосы автомобиля 1 (Lane No):

,

где LW - ширина полосы в сантиметрах (хранится в блоке 50).

Так как Lane No - это целое число, то дробная часть результата отбрасывается.

3. Определяет отклонение в см. от середины текущей полосы автомобиля 1 (см. Фиг.15г):

.

Найденные параметры Lane No и dL сохраняются в блоке 48.

Блок 51 определяет продольные и поперечные дистанции до всех транспортных средств в поле зрения камеры 2 и сохраняет их в блоке 44. Для определения положения транспортного средства блок 51 производит следующие действия:

Вычисляет по формуле (1) продольные дистанции от фокальной плоскости объектива 9 камеры 3 до ТС типов 1-4, находящихся в поле зрения камеры 3

Вычисляет по формуле (2) ширину ТС типов 1-4;

Вычисляет поперечные дистанции от автомобиля 1 до объектов (тип 4 - 5),

находящихся на соседних полосах.

Для примера покажем расчет поперечной дистанции HD от автомобиля 1 до объекта 15 на Фиг.16. Следует отметить, что объект 15 обнаруживается, как только передняя часть объекта 15, обгоняющего автомобиль 1 попадает в поле зрения камеры 3. Так как данная технология, в отличие от существующих, точно распознает контуры нижней части такого объекта на поверхности дороги, то можно достаточно точно измерить поперечную дистанцию HD до этого объекта.

Этой дистанции соответствует длина отрезка KG в пикселах на Фиг.15в.

,

Где Row_G - номер строки начала положительного вертикального скачка 16 бокового объекта 15.

Если камера 2 имеет горизонтальный угол зрения 40 град., то обгоняющий автомобиль 15 на соседней полосе можно обнаружить, как только его фронтальная часть выдвинется вперед примерно на 6 метров, впереди автомобиля 1.2, причем для распознавания автомобиля 15 и измерения поперечной дистанции до него достаточно обработать один кадр изображения, в котором обнаружен этот автомобиль.

Для сравнения, наиболее продвинутая технология зрения для автомобилей компании MobilEye (Израиль) может оценить дистанцию до обгоняющего автомобиль на соседней полосе, только когда изображение задней части этого автомобиля полностью появится в поле зрения камеры, причем для распознавания этого автомобиля необходимо обработать не менее 4-5 кадров видеопотока. Это означает, что такой автомобиль будет идентифицирован, только когда его задняя часть окажется на дистанции не менее 12 м от автомобиля 1. До этого момента компьютерный глаз MobilEye лишь смутно видит, что на соседней полосе, в поле зрения камеры появился какой то объект.

Предложенный способ определения границ дороги, формы и положения объектов, находящихся на дороге, основанный на распознавании точек изображения поверхности дороги, позволяет в реальном времени отслеживать дорожную ситуацию и может быть использован в различных системах навигации и управления транспортных средств, в том числе для реализации автономных или полуавтономных автомобилей.

Учитывая что способ обработки изображения, как минимум, на порядок снижает требования к производительности устройства обработки 3, устройство обработки 3 может быть реализовано на базе любого четырехъядерного ARM процессора, которые сейчас устанавливаются в моделях смартфонов и планшетных компьютеров. Учитывая малые размеры и низкое энергопотребление этих процессоров, способ может быть реализован в виде компактного устройства, блок-схема которого представлена на Фиг.17.

Видеосенсор 8, в качестве которого, чаще всего, используется KMOS матрица, и управляемый мультифокальный объектив 17 непосредственно подключаются к соответствующим портам процессора приложений 18. Управляемый мультифокальный объектив обеспечивает изменение фокусного расстояния объектива камеры 2 в четыре раза. При максимальном фокусном расстоянии обеспечивается горизонтальный угол обзора 22 градуса, что позволяет надежно распознавать автомобили на расстояниях 100 м - 120 м. При минимальном фокусном расстоянии обеспечивается горизонтальный угол обзора 90 градусов, что позволяет надежно распознавать транспортные средства (ТС) в ближней зоне на соседних полосах, как только фронтальная часть такого ТС выдвинется вперед на 3 м, относительно фронтальной границы автомобиля 1. Устройство обработки 3 представляет собой встроенную Микро-ЭВМ, которая включает, как минимум, четырехъядерный ARM процессор приложений 18, память программ 19 и оперативную память 20. Такие встроенные микро-ЭВМ, в виде компактных модулей размером 70 мм × 50 мм, выпускает, например, израильская компания Computer-lab. Память программ 19 обеспечивает хранение программы обработки, которая реализует, представленный в изобретении способ. Фактически, описанный способ и устройство для его реализации представляют интеллектуальную видеокамеру, которая обеспечивает сжатие поступающей информации, примерно, в 100 раз (в случае применения монохромного видеосенсора с резолюцией 640 X 480 элементов).

Такая интеллектуальная видеокамера может применяться в качестве системного элемента, при создании многофункциональных систем помощи водителю и систем автономного управления автомобилем. Последовательный интерфейс 52 обеспечивает передачу этой сжатой информации о конфигурации дороги, размерах и положении всех обнаруженных на дороге транспортных средств, в систему обработки верхнего уровня.