УСТРОЙСТВО ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ И СПОСОБ ОБНАРУЖЕНИЯ ТРЕХМЕРНЫХ ОБЪЕКТОВ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Изобретение относится к устройству обнаружения трехмерных объектов и к способу обнаружения трехмерных объектов.

Настоящая заявка испрашивает приоритет японской заявки на патент 2012-166519, поданной 27 июля 2012 г., содержимое которой содержится в данном документе по ссылке и становится частью раскрытия настоящей заявки в указанных государствах, которые признают включение документа по ссылке.

УРОВЕНЬ ТЕХНИКИ

[0002] В традиционно известной технологии два захваченных изображения, захваченные в разные моменты времени, преобразуются в изображение вида "с высоты птичьего полета", и трехмерный объект обнаруживается на основе разности в преобразованных изображениях вида "с высоты птичьего полета" (см. патентный документ 1).

ДОКУМЕНТЫ ПРЕДШЕСТВУЮЩЕГО УРОВНЯ ТЕХНИКИ

ПАТЕНТНЫЕ ДОКУМЕНТЫ

[0003] Патентный документ 1. Выложенная японская заявка на патент № 2008-227646

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, РАЗРЕШАЕМЫЕ ИЗОБРЕТЕНИЕМ

[0004] В случае если трехмерный объект, присутствующий в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства, обнаруживается в качестве находящегося в смежной полосе движения транспортного средства на основе захваченного изображения, захваченного посредством камеры, когда водяная пленка или другое постороннее вещество прилипает к линзе камеры, и линза помутнена, участок светового потока из объекта заслоняется посредством водяной пленки или другого постороннего вещества, прилипающего к линзе, и светорассеивающим образом отражается, и не может надлежащим образом захватываться изображение находящегося в смежной полосе движения транспортного средства. Как результат, не может надлежащим образом обнаруживаться находящееся в смежной полосе движения транспортное средство иногда.

[0005] Проблема, которая должна разрешаться посредством настоящего изобретения, заключается в том, чтобы предоставлять устройство обнаружения трехмерных объектов, посредством которого находящееся в смежной полосе движения транспортное средство может быть надлежащим образом обнаружено, даже когда водяная пленка или другое постороннее вещество прилипает к линзе, и линза помутнена.

СРЕДСТВО ДЛЯ РАЗРЕШЕНИЯ УКАЗАННЫХ ПРОБЛЕМ

[0006] Чтобы разрешать вышеуказанную проблему, настоящее изобретение представляет собой устройство обнаружения трехмерных объектов, содержащее первое средство обнаружения трехмерных объектов для обнаружения трехмерного объекта на основе захваченного изображения и второе средство обнаружения трехмерных объектов для обнаружения трехмерного объекта на основе источника света, который присутствует позади рассматриваемого транспортного средства, при этом обнаруживается степень помутнения линзы, и оценивается, является или нет трехмерный объект находящимся в смежной полосе движения транспортным средством, на основе результата обнаружения, по меньшей мере, из второго средства обнаружения трехмерных объектов, когда степень помутнения линзы равна или превышает предварительно определенное значение определения, и оценивается, является или нет трехмерный объект находящимся в смежной полосе движения транспортным средством, на основе, по меньшей мере, результата обнаружения от первого средства обнаружения трехмерных объектов, когда степень помутнения линзы меньше значения определения.

ПРЕИМУЩЕСТВО ИЗОБРЕТЕНИЯ

[0007] Точность обнаружения результата обнаружения от второго средства обнаружения трехмерных объектов обычно выше точности обнаружения результата обнаружения от первого средства обнаружения трехмерных объектов, когда линза помутнена, а когда линза не помутнена, точность обнаружения результата обнаружения от первого средства обнаружения трехмерных объектов выше точности обнаружения результата обнаружения от второго средства обнаружения трехмерных объектов. Через настоящее изобретение, результат обнаружения от первого средства обнаружения трехмерных объектов и результат обнаружения от второго средства обнаружения трехмерных объектов могут быть использованы в соответствии со степенью помутнения линзы, и находящееся в смежной полосе движения транспортное средство, следовательно, может быть надлежащим образом обнаружено в соответствии со степенью, в которой помутнена линза.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0008] Фиг. 1 является схематичным видом транспортного средства, в котором смонтировано устройство обнаружения трехмерных объектов;

Фиг. 2 является видом сверху, иллюстрирующим состояние движения транспортного средства на фиг. 1;

Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера;

Фиг. 4 является видом для описания общего представления обработки, выполняемой посредством модуля совмещения, фиг. 4(a) является видом сверху, иллюстрирующим состояние движения транспортного средства, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения;

Фиг. 5 является схематичным видом, иллюстрирующим способ, которым формируется форма разностного сигнала посредством модуля обнаружения трехмерных объектов;

Фиг. 6 является видом, иллюстрирующим пример формы разностного сигнала и порогового значения α для обнаружения трехмерного объекта;

Фиг. 7 является видом, иллюстрирующим малые области, разделенные посредством модуля обнаружения трехмерных объектов;

Фиг. 8 является видом, иллюстрирующим пример гистограммы, получаемой посредством модуля обнаружения трехмерных объектов;

Фиг. 9 является видом, иллюстрирующим взвешивание, используемое посредством первого модуля обнаружения трехмерных объектов;

Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, получаемой посредством модуля обнаружения трехмерных объектов;

Фиг 11 является видом для описания способа для вычисления степени помутнения линзы согласно настоящему варианту осуществления;

Фиг. 12 является видом, иллюстрирующим пример степени помутнения линзы согласно настоящему варианту осуществления;

Фиг. 13 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно первому варианту осуществления;

Фиг. 14 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно первому варианту осуществления;

Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей процесс вычисления степени помутнения согласно первому варианту осуществления;

Фиг. 16 является блок-схемой, иллюстрирующей подробности компьютера согласно второму варианту осуществления;

Фиг. 17 является видом, иллюстрирующим состояние движения транспортного средства, фиг. 17(a) является видом сверху, иллюстрирующим позиционную взаимосвязь областей обнаружения, а фиг. 17(b) является видом в перспективе, иллюстрирующим позиционную взаимосвязь областей обнаружения в реальном пространстве;

Фиг. 18 является видом для описания работы модуля вычисления яркостного различия согласно второму варианту осуществления, фиг. 18(a) является видом, иллюстрирующим позиционную взаимосвязь линий концентрации внимания, опорных линий, точек концентрации внимания и опорных точек в изображении вида "с высоты птичьего полета", а фиг. 18(b) является видом, иллюстрирующим позиционную взаимосвязь линий концентрации внимания, опорных линий, точек концентрации внимания и опорных точек в реальном пространстве;

Фиг. 19 является видом для описания подробной работы модуля вычисления яркостного различия согласно второму варианту осуществления, фиг. 19(a) является видом, иллюстрирующим область обнаружения в изображении вида "с высоты птичьего полета", а фиг. 19(b) является видом, иллюстрирующим позиционную взаимосвязь линий концентрации внимания, опорных линий, точек концентрации внимания и опорных точек в изображении вида "с высоты птичьего полета";

Фиг. 20 является видом, иллюстрирующим пример изображения для описания операции обнаружения краев;

Фиг. 21 является видом, иллюстрирующим линию края и распределение яркости на линии края, фиг. 21(a) является видом, иллюстрирующим распределение яркости, когда трехмерный объект (находящееся в смежной полосе движения транспортное средство) присутствует в области обнаружения, а фиг. 21(b) является видом, иллюстрирующим распределение яркости, когда трехмерный объект не присутствует в области обнаружения;

Фиг. 22 является блок-схемой последовательности операций способа (часть 1), иллюстрирующей процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно второму варианту осуществления;

Фиг. 23 является блок-схемой последовательности операций способа (часть 2), иллюстрирующей процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно второму варианту осуществления; и

Фиг. 24 является блок-схемой последовательности операций способа, иллюстрирующей процесс вычисления степени помутнения согласно второму варианту осуществления.

ПРЕДПОЧТИТЕЛЬНЫЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

[0009] ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 является схематичным видом транспортного средства, в котором смонтировано устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления. Цель устройства 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления состоит в том, чтобы обнаруживать другое транспортное средство (также называется "находящимся в смежной полосе движения транспортным средством V2"), присутствующее в смежной полосе движения, в которой возможен контакт, если рассматриваемое транспортное средство V1 собирается сменять полосу движения. Устройство 1 обнаружения трехмерных объектов согласно настоящему варианту осуществления содержит камеру 10, датчик 20 скорости транспортного средства и компьютер 30, как проиллюстрировано на фиг. 1.

[0010] Камера 10 крепится к рассматриваемому транспортному средству V1 в местоположении на высоте h в задней части рассматриваемого транспортного средства V1 таким образом, что оптическая ось составляет угол θ вниз от горизонтали, как проиллюстрировано на фиг. 1. Из этой позиции, камера 10 захватывает изображение предварительно определенной области окружения рассматриваемого транспортного средства V1. Датчик 20 скорости транспортного средства обнаруживает скорость движения рассматриваемого транспортного средства V и вычисляет скорость транспортного средства из скорости вращения колес, обнаруженной, например, посредством датчика скорости вращения колес для считывания скорости вращения колеса. Компьютер 30 обнаруживает находящееся в смежной полосе движения транспортное средство, присутствующее в смежной полосе движения позади рассматриваемого транспортного средства.

[0011] Фиг. 2 является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V1 на фиг. 1. Как проиллюстрировано на чертеже, камера 10 захватывает изображение вида сзади относительно транспортного средства под предварительно определенным углом a обзора. В это время, угол a обзора камеры 10 задается равным углу обзора, который дает возможность захвата изображения левой и правой полос движения (смежных полос движения) в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V1. Захватываемая область изображений включает в себя целевые области A1, A2 обнаружения, которые располагаются сзади рассматриваемого транспортного средства V1 и находятся в смежных полосах движения слева и справа от полосы движения рассматриваемого транспортного средства V1. В настоящем варианте осуществления, "сзади транспортного средства" означает не только непосредственно сзади транспортного средства, но также и сзади и с боков от транспортного средства. Область, изображение которой захватывается сзади транспортного средства, задается в соответствии с углом обзора камеры 10. Например, когда угол в нуль градусов задается как непосредственно позади транспортного средства вдоль направления длины транспортного средства, область, изображение которой захватывается сзади транспортного средства, может задаваться таким образом, что она включает в себя область 0-90 градусов влево и вправо, предпочтительно приблизительно 0-70 градусов, от направления непосредственно обратно.

[0012] Фиг. 3 является блок-схемой, иллюстрирующей подробности компьютера 30 на фиг. 1. Камера 10 и датчик 20 скорости транспортного средства также иллюстрируются на фиг. 3, чтобы четко указывать взаимосвязи соединений.

[0013] Как проиллюстрировано на фиг. 3, компьютер 30 содержит модуль 31 преобразования точки обзора, модуль 32 совмещения, первый модуль 33 обнаружения трехмерных объектов, модуль 34 обнаружения передних фар, второй модуль 35 обнаружения трехмерных объектов, модуль 36 вычисления степени помутнения и модуль 37 оценки трехмерных объектов. Конфигурация каждого из этих модулей описывается ниже.

[0014] Захваченные данные изображений предварительно определенной области, полученные посредством захвата изображений, выполняемого посредством камеры 10, вводятся в модуль 31 преобразования точки обзора, и захваченные данные изображений, введенные таким способом, преобразуются в данные изображений вида "с высоты птичьего полета", которые являются состоянием вида "с высоты птичьего полета". Состояние вида "с высоты птичьего полета" представляет собой состояние просмотра с точки зрения воображаемой камеры, которая смотрит вниз сверху, например, вертикально вниз. Преобразование точки обзора может быть выполнено способом, описанным, например, в выложенной японской заявке на патент № 2008-219063. Причина, по которой захваченные данные изображений преобразуются в данные изображений вида "с высоты птичьего полета", основана на таком принципе, что перпендикулярные края, уникальные для трехмерного объекта, преобразуются в группу прямых линий, которая проходит через конкретную фиксированную точку, посредством преобразования точки обзора в данные изображений вида "с высоты птичьего полета", и использование этого принципа дает возможность различения плоского объекта и трехмерного объекта.

[0015] Данные изображений вида "с высоты птичьего полета", полученные посредством преобразования точки обзора, выполняемого посредством модуля 31 преобразования точки обзора, последовательно вводятся в модуль 32 совмещения, и введенные позиции данных изображений вида "с высоты птичьего полета" в разные моменты времени совмещаются. Фиг. 4 является видом для описания общего представления обработки, выполняемой посредством модуля 32 совмещения, фиг. 4(a) является видом сверху, иллюстрирующим состояние движения рассматриваемого транспортного средства V1, а фиг. 4(b) является изображением, иллюстрирующим общее представление совмещения.

[0016] Как проиллюстрировано на фиг. 4(a), рассматриваемое транспортное средство V1 в данный момент времени размещается в P1, и рассматриваемое транспортное средство V1 за один момент времени до этого размещается в P1′. Предполагается, что находящееся в смежной полосе движения транспортное средство V2 размещается в направлении стороны сзади относительно рассматриваемого транспортного средства V1 и движется параллельно рассматриваемому транспортному средству V1, и что находящееся в смежной полосе движения транспортное средство V2 в данный момент времени размещается в P2, и находящееся в смежной полосе движения транспортное средство V2 за один момент времени до этого размещается в P2′. Кроме того, предполагается, что рассматриваемое транспортное средство V1 проезжает расстояние d в течение одного момента времени. Термин "за один момент времени до этого" может означать время, которое находится в прошлом посредством временного интервала, который задается заранее (например, одного цикла управления) от текущего времени, либо может быть временем, которое находится в прошлом посредством произвольного временного интервала.

[0017] В этом состоянии, изображение PBt вида "с высоты птичьего полета" в данный момент времени является таким, как показано на фиг. 4(b). В этом изображении PBt вида "с высоты птичьего полета" белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными при виде сверху, но находящееся в смежной полосе движения транспортное средство V2 (позиция P2) выглядит сплющенным. То же применимо к изображению PBt-1 вида "с высоты птичьего полета" за один момент времени до этого; белые линии дорожной разметки, нарисованные на поверхности дороги, являются прямоугольными и являются относительно точными в виде сверху, но находящееся в смежной полосе движения транспортное средство V2 (позиция P2′) выглядит сплющенным. Как описано выше, перпендикулярные края трехмерного объекта (края, которые расположены вертикально в трехмерном пространстве от поверхности дороги, также включаются в строгий смысл перпендикулярного края) выглядят как группа прямых линий вдоль направления сплющивания вследствие процесса для преобразования точки обзора в данные изображений вида "с высоты птичьего полета", но поскольку плоское изображение на поверхности дороги не включает в себя перпендикулярные края, такое сплющивание не возникает, даже когда точка обзора преобразована.

[0018] Модуль 32 совмещения совмещает изображения PBt и PBt-1 вида "с высоты птичьего полета", такие как изображения PBt и PBt-1, описанные выше, с точки зрения данных. Когда это выполняется, модуль 32 совмещения смещает изображение PBt-1 вида "с высоты птичьего полета" за один момент времени до этого и сопоставляет позицию с изображением PBt вида "с высоты птичьего полета" в данный момент времени. Левое изображение и центральное изображение на фиг. 4(b) иллюстрируют состояние смещения на проезжаемое расстояние d′. Величина d′ смещения является величиной перемещения в данных изображений вида "с высоты птичьего полета", которые соответствуют фактическому проезжаемому расстоянию d рассматриваемого транспортного средства V1, проиллюстрированного на фиг. 4(a), и определяется на основе сигнала из датчика 20 скорости транспортного средства и временного интервала от одного момента времени до данного момента времени.

[0019] В настоящем варианте осуществления, модуль 32 совмещения совмещает позиции изображений вида "с высоты птичьего полета" из разных моментов времени с точки зрения вида "с высоты птичьего полета" и получает совмещенные изображения вида "с высоты птичьего полета", но этот процесс "совмещения" может выполняться с точностью, которая соответствует типу объекта обнаружения или требуемой точности обнаружения. Например, может выполняться обработка строгого совмещения, в которой позиции совмещаются на основе идентичных времен и идентичных позиций, либо может выполняться обработка нестрогого совмещения для выявления координат каждого изображения вида "с высоты птичьего полета".

[0020] После совмещения модуль 32 совмещения получает разность между изображениями PBt и PBt-1 вида "с высоты птичьего полета" и формирует данные разностного изображения PDt. В настоящем варианте осуществления, модуль 32 совмещения рассматривает абсолютное значение разности в пиксельных значениях изображений PBt и PBt-1 вида "с высоты птичьего полета" в порядке, соответствующем варьированию в окружении освещения, и когда абсолютное значение равно или превышает предварительно определенное пороговое значение th, пиксельные значения разностного изображения PDt задаются равными 1, а когда абсолютное значение меньше предварительно определенного порогового значения th, пиксельные значения разностного изображения PDt задаются равными 0. Посредством этого могут формироваться данные разностного изображения PDt, к примеру, данные разностного изображения PDt, проиллюстрированные справа на фиг. 4(b).

[0021] Первый модуль 33 обнаружения трехмерных объектов формирует форму разностного сигнала на основе данных разностного изображения PDt, проиллюстрированных на фиг. 4(b). В частности, первый модуль 33 обнаружения трехмерных объектов формирует форму разностного сигнала в области обнаружения сзади и слева и справа от рассматриваемого транспортного средства V1. В настоящем варианте осуществления, каждый раз, когда формируется захваченное изображение PDt, первый модуль 33 обнаружения трехмерных объектов также формирует форму разностного сигнала на основе данных сформированного разностного изображения PDt. Другими словами, первый модуль 33 обнаружения трехмерных объектов многократно формирует форму разностного сигнала в цикле захвата (на частоте кадров) захваченных изображений.

[0022] Цель устройства 1 обнаружения трехмерных объектов настоящего примера состоит в том, чтобы вычислять проезжаемое расстояние для находящегося в смежной полосе движения транспортного средства V2, с которым имеется вероятность контакта, если рассматриваемое транспортное средство V1 собирается сменять полосу движения. Соответственно, в настоящем примере, прямоугольные области A1, A2 обнаружения задаются слева и справа позади рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 2. Такие области A1, A2 обнаружения могут задаваться из относительной позиции, которая является относительной для рассматриваемого транспортного средства V1, либо могут задаваться на основе позиции белых линий дорожной разметки. Когда области обнаружения задаются на основе позиции белых линий дорожной разметки, устройство 1 обнаружения трехмерных объектов может использовать, например, известные технологии распознавания белых линий дорожной разметки.

[0023] В настоящем примере, границы заданных областей A1, A2 обнаружения по сторонам рассматриваемого транспортного средства V1 (границы вдоль направления движения) распознаются в качестве линий L1, L2 пересечения с землей, как проиллюстрировано на фиг. 2. В общем, линия пересечения с землей означает линию, в которой трехмерный объект находится в контакте с землей, но в настоящем варианте осуществления, линия пересечения с землей не является линией в контакте с землей, а вместо этого задается способом, описанным выше. Даже в таком случае, разность между линией пересечения с землей согласно настоящему варианту осуществления и нормальной линией пересечения с землей, определенной из позиции находящегося в смежной полосе движения транспортного средства V2, не является чрезвычайно большой, как определено посредством опыта, и фактически не представляет собой проблемы.

[0024] Фиг. 5 является схематичным видом, иллюстрирующим способ, которым формируется форма разностного сигнала посредством первого модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 5, первый модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала из участка, соответствующего областям A1, A2 обнаружения в разностном изображении PDt (чертеж справа на фиг. 4(b)), вычисленном посредством модуля 32 совмещения. В этом случае, модуль 33 обнаружения трехмерных объектов формирует форму DWt разностного сигнала вдоль направления сплющивания трехмерного объекта вследствие преобразования точки обзора. В примере, проиллюстрированном на фиг. 5, хотя приводится описание с использованием только области A1 обнаружения для удобства, форма DWt разностного сигнала формируется посредством идентичной процедуры для области A2 обнаружения также.

[0025] Более конкретно, первый модуль 33 обнаружения трехмерных объектов задает линию La в направлении, в котором сплющивается трехмерный объект, в данных разностного изображения PDt. Первый модуль 33 обнаружения трехмерных объектов затем подсчитывает число разностных пикселов DP, указывающих предварительно определенную разность, на линии La. В настоящем варианте осуществления, разностные пикселы DP, указывающие предварительно определенную разность, имеют пиксельные значения в разностном изображении PDt, которые представляются посредством 0 и 1, и пикселы, указываемые посредством 1, подсчитываются в качестве разностных пикселов DP.

[0026] После подсчета числа разностных пикселов DP первый модуль 33 обнаружения трехмерных объектов определяет точку CP пересечения линии La и линии L1 пересечения с землей. Первый модуль 33 обнаружения трехмерных объектов затем коррелирует точку CP пересечения и подсчитанное число, определяет позицию на горизонтальной оси, т.е. позицию на оси в вертикальном направлении на чертеже справа на фиг. 5 на основе позиции точки CP пересечения, определяет позицию на вертикальной оси, т.е. позицию на оси в поперечном направлении на чертеже справа на фиг. 5, из подсчитанного числа и определяет позиции на графике в качестве подсчитанного числа в точке CP пересечения.

[0027] Аналогично, первый модуль 33 обнаружения трехмерных объектов задает линии Lb, Lc, …, в направлении, в котором сплющивается трехмерный объект, подсчитывает число разностных пикселов DP, определяет позицию на горизонтальной оси на основе позиции каждой точки CP пересечения, определяет позицию на вертикальной оси из подсчитанного числа (числа разностных пикселов DP) и определяет позиции на графике. Первый модуль 33 обнаружения трехмерных объектов повторяет вышеуказанную процедуру в последовательности для того, чтобы формировать частотное распределение, и посредством этого формирует форму DWt разностного сигнала, как проиллюстрировано на чертеже справа на фиг. 5.

[0028] Здесь, разностные пикселы PD в данных разностного изображения PDt представляют собой пикселы, которые изменены в изображении в разные моменты времени, или другими словами, местоположения, которые могут истолковываться как места, в которых присутствует трехмерный объект. Соответственно, в местоположениях, в которых присутствует трехмерный объект, число пикселов подсчитывается вдоль направления, в котором сплющивается трехмерный объект, формируется частотное распределение, и посредством этого формируется форма DWt разностного сигнала. В частности, поскольку число пикселов подсчитывается вдоль направления, в котором сплющивается трехмерный объект, форма DWt разностного сигнала формируется из информации направления высоты для трехмерного объекта.

[0029] Линии La и Lb в направлении, в котором сплющивается трехмерный объект, имеют разные расстояния перекрытия с областью A1 обнаружения, как проиллюстрировано на чертеже слева на фиг. 5. Следовательно, число разностных пикселов DP больше на линии La, чем на линии Lb, когда предполагается, что область A1 обнаружения заполнена разностными пикселами DP. По этой причине, первый модуль 33 обнаружения трехмерных объектов выполняет нормализацию на основе расстояния, на котором перекрываются линии La, Lb в направлении, в котором сплющивается трехмерный объект, и область A1 обнаружения, когда позиция на вертикальной оси определяется из подсчитанного числа разностных пикселов DP. В конкретном примере, предусмотрено шесть разностных пикселов DP на линии La, и предусмотрено пять разностных пикселов DP на линии Lb на чертеже слева на фиг. 5. Соответственно, когда позиция на вертикальной оси определяется из подсчитанного числа на фиг. 5, первый модуль 33 обнаружения трехмерных объектов делит подсчитанное число на расстояние перекрытия или выполняет нормализацию другим способом. Значения формы DWt разностного сигнала, которые соответствуют линиям La, Lb в направлении, в котором сплющивается трехмерный объект, посредством этого становятся практически идентичными, как проиллюстрировано в форме DWt разностного сигнала.

[0030] После того как сформирована форма DWt разностного сигнала, первый модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект, присутствующий в смежной полосе движения, на основе сформированной формы DWt разностного сигнала. Здесь, фиг. 6 является видом для описания способа, посредством которого первый модуль 33 обнаружения трехмерных объектов обнаруживает трехмерный объект, и иллюстрирует пример формы DWt разностного сигнала и порогового значения α для обнаружения трехмерного объекта. Как проиллюстрировано на фиг. 6, первый модуль 33 обнаружения трехмерных объектов оценивает, присутствует или нет трехмерный объект в областях A1, A2 обнаружения, посредством оценки, равен или превышает либо нет пик сформированной формы DWt разностного сигнала предварительно определенное пороговое значение α, которое соответствует пиковой позиции формы DWt разностного сигнала. Когда пик формы DWt разностного сигнала меньше предварительно определенного порогового значения α, первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект не присутствует в областях A1, A2 обнаружения. Когда пик формы DWt разностного сигнала равен или превышает предварительно определенное пороговое значение α, первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект присутствует в областях A1, A2 обнаружения.

[0031] После того как обнаружен трехмерный объект, первый модуль 33 обнаружения трехмерных объектов вычисляет относительную скорость движения трехмерного объекта, обнаруженную посредством первого модуля 33 обнаружения трехмерных объектов, посредством сравнения формы DWt разностного сигнала в данный момент времени и формы DWt-1 разностного сигнала за один момент времени до этого. Другими словами, первый модуль 33 обнаружения трехмерных объектов вычисляет относительную скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 из изменения во времени формы DWt разностного сигнала и формы DWt-1 разностного сигнала.

[0032] Более конкретно, модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество малых областей DWt1-DWtn (где n является произвольным целым числом 2 или более), как проиллюстрировано на фиг. 7. Фиг. 7 является видом, иллюстрирующим малые области DWt1-DWtn, разделенные посредством первого модуля 33 обнаружения трехмерных объектов. Малые области DWt1-DWtn разделяются с возможностью взаимно перекрываться, как проиллюстрировано, например, на фиг. 7. Например, малая область DWt1 и малая область DWt2 перекрывают друг друга, и малая область DWt2 и малая область DWt3 перекрывают друг друга.

[0033] Затем, первый модуль 33 обнаружения трехмерных объектов определяет величину смещения (величину перемещения в направлении по горизонтальной оси (в вертикальном направлении на фиг. 7) формы разностного сигнала) для каждой из малых областей DWt1-DWtn. Здесь, величина смещения определяется из разности (расстояния в направлении по горизонтальной оси) между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени. В этом случае, первый модуль 33 обнаружения трехмерных объектов оценивает позицию (позицию в направлении по горизонтальной оси), в которой в данный момент времени ошибка является минимальной, из формы DWt разностного сигнала, когда форма DWt-1 разностного сигнала за один момент времени до этого перемещается в направлении по горизонтальной оси для каждой из малых областей DWt1-DWtn, и определяет в качестве величины смещения величину перемещения в направлении по горизонтальной оси между исходной позицией формы DWt-1 разностного сигнала и позицией, в которой ошибка является минимальной. Первый модуль 33 обнаружения трехмерных объектов затем подсчитывает величины смещения, определенные для каждой из малых областей DWt1-DWtn, и формирует гистограмму.

[0034] Фиг. 8 является видом, иллюстрирующим пример гистограммы, полученной посредством первого модуля 33 обнаружения трехмерных объектов. Как проиллюстрировано на фиг. 8, в величине смещения возникает некоторая величина переменности, которая представляет собой величину перемещения, в которой ошибка между малыми областями DWt1-DWtn и формой DWt-1 разностного сигнала за один момент времени до этого является минимальной. Соответственно, первый модуль 33 обнаружения трехмерных объектов формирует гистограмму из величин смещения, которые включают в себя переменность, и вычисляет проезжаемое расстояние из гистограммы. В этот момент, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) из максимального значения на гистограмме. Другими словами, в примере, проиллюстрированном на фиг. 8, первый модуль 33 обнаружения трехмерных объектов вычисляет величину смещения, указывающую максимальное значение гистограммы, в качестве проезжаемого расстояния τ*. Таким образом, в настоящем варианте осуществления, более высокоточное проезжаемое расстояние может быть вычислено из максимального значения, даже когда существует переменность в величине смещения. Проезжаемое расстояние τ* является относительным проезжаемым расстоянием трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) относительно рассматриваемого транспортного средства. Первый модуль 33 обнаружения трехмерных объектов, следовательно, вычисляет абсолютное проезжаемое расстояние на основе полученного проезжаемого расстояния τ* и сигнала из датчика 20 скорости транспортного средства, когда должно вычисляться абсолютное проезжаемое расстояние.

[0035] В настоящем варианте осуществления, посредством вычисления проезжаемого расстояния трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) из величины смещения формы DWt разностного сигнала, когда ошибка в формах DWt разностных сигналов, сформированных в разные моменты времени, является минимальной таким способом, проезжаемое расстояние может быть вычислено из величины смещения в форме сигнала, которая является одномерной информацией, и могут поддерживаться на низком уровне вычислительные затраты при вычислении проезжаемого расстояния. Кроме того, посредством разделения формы DW1t разностного сигнала, сформированной в разные моменты времени, на множество малых областей DW1t1-DW1tn, могут получаться множество форм сигналов, представляющих местоположения каждого трехмерного объекта, посредством этого давая возможность определения величины смещения в каждом местоположении трехмерного объекта и давая возможность определения проезжаемого расстояния из множества величин смещения. Следовательно, может повышаться точность вычисления проезжаемого расстояния. В настоящем варианте осуществления, проезжаемое расстояние трехмерного объекта вычисляется из изменения во времени формы DW_t разностного сигнала, которая включает в себя информацию направления высоты. Следовательно, в отличие от случая, в котором внимание уделяется исключительно перемещению одной точки, местоположение обнаружения до изменения во времени и местоположение обнаружения после изменения во времени указываются с включенной информацией направления высоты, и, следовательно, легко становятся идентичным местоположением для трехмерного объекта, проезжаемое расстояние вычисляется из изменения во времени в идентичном местоположении, и может повышаться точность вычисления проезжаемого расстояния.

[0036] Когда должна формироваться гистограмма, первый модуль 33 обнаружения трехмерных объектов может применять взвешивание для каждой из множества малых областей DWt1-DWtn и подсчитывать величины смещения, определенные для каждой из малых областей DWt1-DWtn в соответствии со взвешиванием, чтобы формировать гистограмму. Фиг. 9 является видом, иллюстрирующим взвешивание, используемое посредством первого модуля 33 обнаружения трехмерных объектов.

[0037] Как проиллюстрировано на фиг. 9, малая область DWm (где m является целым числом 1-n-1) является плоской. Другими словами, в малой области DWm, имеется несущественная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Первый модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа малой области DWm. Это обусловлено тем, что плоская малая область DWm не имеет отличительных признаков, и имеется высокая вероятность того, что возрастает ошибка, когда вычисляется величина смещения.

[0038] Между тем, малая область DWm+k (где k является целым числом n-m или менее) имеет большую величину волнистости. Другими словами, в малой области DWm, имеется существенная разность между максимальными и минимальными значениями счетчика числа пикселов, указывающими предварительно определенную разность. Модуль 33 обнаружения трехмерных объектов увеличивает взвешивание этого типа малой области DWm. Это обусловлено тем, что малая область DWm+k, имеющая большую величину волнистости, является легко различимой, и имеется высокая вероятность того, что должна точно вычисляться величина смещения. Такое взвешивание позволяет повышать точность вычисления проезжаемого расстояния.

[0039] Форма DWt разностного сигнала разделяется на множество малых областей DWt1-DWtn в настоящем варианте осуществления, чтобы повышать точность вычисления проезжаемого расстояния, но разделение на малые области DWt1-DWtn не требуется, если не требуется существенная точность при вычислении проезжаемого расстояния. В этом случае, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние из величины смещения формы DWt разностного сигнала, когда ошибка между формой DWt разностного сигнала и формой DWt-1 разностного сигнала является минимальной. Другими словами, способ для определения величины смещения между формой DWt-1 разностного сигнала за один момент времени до этого и формой DWt разностного сигнала в данный момент времени не ограничивается подробностями, описанными выше.

[0040] Первый модуль 33 обнаружения трехмерных объектов в настоящем варианте осуществления определяет скорость движения рассматриваемого транспортного средства V (камера 10) и определяет величину смещения для стационарного объекта из определенной скорости движения. После того, как определена величина смещения стационарного объекта, первый модуль 33 обнаружения трехмерных объектов вычисляет проезжаемое расстояние трехмерного объекта, игнорируя величину смещения, которая соответствует стационарному объекту из максимальных значений гистограммы.

[0041] Фиг. 10 является видом, иллюстрирующим другой пример гистограммы, полученной посредством первого модуля 33 обнаружения трехмерных объектов. Когда стационарный объект, отличный от трехмерного объекта, присутствует в пределах угла обзора камеры 10, два максимальных значения τ1, τ2 появляются на результирующей гистограмме. В этом случае, одно из двух максимальных значений τ1, τ2 является величиной смещения стационарного объекта. Следовательно, первый модуль 33 обнаружения трехмерных объектов определяет величину смещения для стационарного объекта из скорости движения, игнорирует максимальное значение, которое соответствует величине смещения, и вычисляет проезжаемое расстояние трехмерного объекта с использованием оставшегося максимального значения. Посредством этого можно не допускать ситуации, в которой снижается точность вычисления проезжаемого расстояния трехмерного объекта посредством стационарного объекта.

[0042] Даже когда величина смещения, соответствующая стационарному объекту, игнорируется, может быть предусмотрено множество трехмерных объектов, присутствующих в пределах угла обзора камеры 10, когда имеется множество максимальных значений. Тем не менее, чрезвычайно редко множество трехмерных объектов присутствуют в областях A1, A2 обнаружения. Следовательно, первый модуль 33 обнаружения трехмерных объектов прекращает вычисление проезжаемого расстояния. В настоящем варианте осуществления, посредством этого можно не допускать ситуации, в которой вычисляется ошибочное проезжаемое расстояние, к примеру, когда имеется множество максимальных значений.

[0043] Первый модуль 33 обнаружения трехмерных объектов затем оценивает, является или нет трехмерный объект, присутствующий в смежной полосе движения, находящимся в смежной полосе движения транспортным средством V2, на основе скорости движения трехмерного объекта. Например, первый модуль 33 обнаружения трехмерных объектов оценивает, составляет или нет относительная скорость движения трехмерного объекта 10 км/ч или более, и, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1+60 км/ч или менее, и когда оба этих условия удовлетворяются, первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект, присутствующий в смежной полосе движения, представляет собой находящееся в смежной полосе движения транспортное средство V2, и обнаруживает находящееся в смежной полосе движения транспортное средство V2.

[0044] Ниже описывается причина, по которой первый модуль 33 обнаружения трехмерных объектов выполнен с возможностью обнаруживать находящееся в смежной полосе движения транспортное средство V2, присутствующее в смежной полосе движения, посредством оценки того, составляет или нет относительная скорость движения трехмерного объекта 10 км/ч или более, и того, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1+60 км/ч или менее. В настоящем варианте осуществления, области A1, A2 обнаружения располагаются слева и справа позади рассматриваемого транспортного средства V1, и основное внимание уделяется тому, может или нет рассматриваемое транспортное средство V1 контактировать с находящимся в смежной полосе движения транспортным средством, если должна быть выполнена смена полосы движения. Следовательно, при условии, что система в настоящем варианте осуществления активируется на скоростной автомагистрали, когда скорость находящегося в смежной полосе движения транспортного средства меньше 10 км/ч, даже если находящееся в смежной полосе движения транспортное средство V2 присутствует, то поскольку находящееся в смежной полосе движения транспортное средство V2 должно размещаться далеко позади рассматриваемого транспортного средства V1 во время смены полосы движения, не возникает серьезных проблем, если такой трехмерный объект не обнаружен в качестве находящегося в смежной полосе движения транспортного средства V2. Аналогично, когда относительная скорость движения находящегося в смежной полосе движения транспортного средства V2 превышает +60 км/ч относительно рассматриваемого транспортного средства V1 (т.е. когда находящееся в смежной полосе движения транспортное средство V2 движется со скоростью, на 60 км/ч превышающей скорость рассматриваемого транспортного средства V1), поскольку трехмерный объект едет впереди рассматриваемого транспортного средства V1 во время смены полосы движения, не возникает серьезных проблем, если такой трехмерный объект не обнаружен в качестве находящегося в смежной полосе движения транспортного средства V2.

[0045] В зависимости от ошибки присоединения в камере 10, абсолютная скорость движения стационарного объекта может обнаруживаться как составляющая несколько километров в час. Тем не менее, оценка того, составляет или нет абсолютная скорость движения находящегося в смежной полосе движения транспортного средства V2 10 км/ч или более, позволяет уменьшать вероятность того, что стационарный объект должен оцениваться в качестве находящегося в смежной полосе движения транспортного средства V2. Поскольку также можно обнаруживать, что относительная скорость находящегося в смежной полосе движения транспортного средства V2 относительно рассматриваемого транспортного средства V1 составляет сверх +60 км/ч вследствие шума, оценка того, составляет или нет относительная скорость +60 км/ч или менее, позволяет снижать вероятность ошибочного обнаружения вследствие шума. Первый модуль 33 обнаружения трехмерных объектов может оценивать трехмерный объект, присутствующий в смежной полосе движения, как представляющий собой находящееся в смежной полосе движения транспортное средство V2, когда абсолютная скорость движения находящегося в смежной полосе движения транспортного средства V2 не является отрицательной или не составляет 0 км/ч.

[0046] Как проиллюстрировано на фиг. 3, модуль 34 обнаружения передних фар обнаруживает источник света, который является кандидатом для передней фары находящегося в смежной полосе движения транспортного средства V2, присутствующего позади рассматриваемого транспортного средства V1, на основе захваченного изображения, захваченного посредством камеры 10. В частности, модуль 34 обнаружения передних фар обнаруживает источник света, который является кандидатом для передней фары находящегося в смежной полосе движения транспортного средства V2, посредством обнаружения, в качестве области кандидата, соответствующей передней фаре находящегося в смежной полосе движения транспортного средства V2, области изображения, имеющей разность в яркости, равную или превышающую предварительно определенное значение относительно периферии, и имеющей размер, равный или превышающий предварительно определенную область.

[0047] Второй модуль 35 обнаружения трехмерных объектов определяет, соответствует или нет источник света, обнаруженный посредством модуля 34 обнаружения передних фар, передней фаре находящегося в смежной полосе движения транспортного средства V2. В частности, второй модуль 35 обнаружения трехмерных объектов сначала вычисляет, в качестве коэффициента достоверности, вероятность того, что источник света, обнаруженный посредством модуля 34 обнаружения передних фар, соответствует передней фаре находящегося в смежной полосе движения транспортного средства V2.

[0048] Например, по сравнению с передней фарой находящегося в смежной полосе движения транспортного средства V2, движущегося в смежной полосе движения, смежной с полосой движения рассматриваемого транспортного средства V1, передняя фара находящегося через одну полосу движения транспортного средства, движущегося в находящейся через одну полосе движения на расстоянии через одну полосу движения от полосы движения рассматриваемого транспортного средства V1, либо уличный светильник или другой источник света, расположенный у дороги, обнаруживается в позиции, отстоящей от рассматриваемого транспортного средства V1. Следовательно, чем короче расстояние в направлении ширины транспортного средства от рассматриваемого транспортного средства V1 до источника света, тем выше коэффициент достоверности, вычисленный посредством второго модуля 35 обнаружения трехмерных объектов, касательно того, что источник света, обнаруженный посредством модуля 34 обнаружения передних фар, представляет собой переднюю фару находящегося в смежной полосе движения транспортного средства V2. Чем крупнее источник света, обнаруженный посредством модуля 34 обнаружения передних фар, тем ближе, согласно оценке, находится источник света к рассматриваемому транспортному средству V1. Следовательно, чем крупнее источник света, обнаруженный посредством модуля 34 обнаружения передних фар, тем выше коэффициент достоверности, вычисленный посредством второго модуля 35 обнаружения трехмерных объектов, касательно того, что источник света, обнаруженный посредством модуля 34 обнаружения передних фар, представляет собой переднюю фару находящегося в смежной полосе движения транспортного средства V2. Кроме того, поскольку уличный светильник или другой источник света представляет собой стационарный объект и не перемещается, тогда как находящееся в смежной полосе движения транспортное средство V2 движется, скорость перемещения передней фары находящегося в смежной полосе движения транспортного средства V2 превышает скорость перемещения уличного светильника или другого источника стационарного светильника. Поскольку передняя фара находящегося через одну полосу движения транспортного средства обнаруживается в позиции дальше от рассматриваемого транспортного средства V1, чем передняя фара находящегося в смежной полосе движения транспортного средства V2, скорость перемещения передней фары находящегося в смежной полосе движения транспортного средства V2 имеет тенденцию превышать скорость перемещения передней фары находящегося через одну полосу движения транспортного средства. Следовательно, второй модуль 35 обнаружения трехмерных объектов вычисляет скорость движения источника света на основе изменения в позиции источника света, обнаруженного посредством модуля 34 обнаружения передних фар, и чем больше скорость движения источника света, тем выше может быть вычислен коэффициент достоверности касательно того, что источник света представляет собой переднюю фару находящегося в смежной полосе движения транспортного средства V2.

[0049] Когда коэффициент достоверности касательно того, что источник света, обнаруженный посредством модуля 34 обнаружения передних фар, представляет собой переднюю фару находящегося в смежной полосе движения транспортного средства V2, равен или превышает предварительно определенное значение, второй модуль 35 обнаружения трехмерных объектов оценивает то, что находящееся в смежной полосе движения транспортное средство V2 присутствует в смежной полосе движения, и обнаруживает находящееся в смежной полосе движения транспортное средство V2.

[0050] Модуль 36 вычисления степени помутнения вычисляет, в качестве степени помутнения линзы, степень, в которой водяная пленка или другое постороннее вещество прилипает к линзе камеры 10, и линза помутнена (тонкая белая пленка формируется на поверхности линзы). Далее описывается способ, посредством которого модуль 36 вычисления степени помутнения вычисляет степень помутнения линзы.

[0051] Во-первых, модуль 36 вычисления степени помутнения обнаруживает число пиков, превышающих предварительно определенное пороговое значение определения в форме DWt разностного сигнала, сформированной посредством первого модуля 33 обнаружения трехмерных объектов. Например, в примере, проиллюстрированном на фиг. 6, когда пороговое значение определения является идентичным пороговому значению α, модуль 36 вычисления степени помутнения обнаруживает 3 в качестве числа пиков в форме DWt разностного сигнала, которые превышают предварительно определенное пороговое значение определения. В настоящем варианте осуществления, форма DWt разностного сигнала формируется в предварительно определенном цикле (например, в цикле захвата захваченных изображений), и модуль 36 вычисления степени помутнения обнаруживает число пиков, превышающих предварительно определенное пороговое значение определения для сформированной формы DWt разностного сигнала, каждый раз, когда формируется форма DWt разностного сигнала. Другими словами, модуль 36 вычисления степени помутнения обнаруживает число пиков, превышающих предварительно определенное пороговое значение определения в цикле (в цикле захвата захваченных изображений), в котором формируются формы DWt разностных сигналов. Пороговое значение определения не ограничивается идентичностью пороговому значению α и может задаваться надлежащим образом заранее посредством экспериментирования или другого средства.

[0052] Модуль 36 вычисления степени помутнения вычисляет количественный показатель кадров, соответствующий форме DWt разностного сигнала, на основе числа пиков в форме DWt разностного сигнала, которые превышают предварительно определенное пороговое значение определения. В частности, модуль 36 вычисления степени помутнения вычисляет тем более высокий количественный показатель кадров, чем выше степень, в которой может быть оценено то, что число пиков в форме DWt разностного сигнала равно 3 или более, и обнаруживается трехмерный объект (находящееся в смежной полосе движения транспортное средство V2). Например, в примере, проиллюстрированном посредством нижеприведенной таблицы 1, модуль 36 вычисления степени помутнения оценивает то, что находящееся в смежной полосе движения транспортное средство V2 не обнаруживается, и вычисляет количественный показатель в 0 баллов, когда число пиков в форме DWt разностного сигнала, сформированной в предварительно определенном кадре, составляет 0-2, и оценивает то, что может быть обнаружено находящееся в смежной полосе движения транспортное средство V2, и вычисляет количественный показатель в 1 балл, когда число пиков равно 3-4. Когда число пиков в форме DWt разностного сигнала равно 5-6, вероятность обнаружения находящегося в смежной полосе движения транспортного средства V2 оценивается как высокая, и вычисляется количественный показатель в 2 балла, а когда число пиков равно 7 или более, вероятность обнаружения находящегося в смежной полосе движения транспортного средства V2 оценивается еще выше, и вычисляется количественный показатель в 3 балла. Количественный показатель кадров, вычисленный посредством модуля 36 вычисления степени помутнения, затем коррелируется со временем, в которое вычислен количественный показатель кадров, и сохраняется в запоминающем устройстве (не проиллюстрировано), предоставленном в компьютере 30.

[0053] Модуль 36 вычисления степени помутнения затем суммирует количественные показатели кадров, соответствующие формам DW разностных сигналов, сформированным в течение предварительно определенного временного интервала, и вычисляет совокупное значение количественных показателей кадров. Например, когда формы DWt разностных сигналов формируются в цикле в 0,1 секунду, модуль 36 вычисления степени помутнения может получать 25-кадровую часть количественных показателей кадров, сформированных через 2,5 секунды, из запоминающего устройства и вычислять сумму баллов для 25-кадровой части количественных показателей кадров, как проиллюстрировано на фиг. 11. Фиг. 11 является видом для описания способа для вычисления степени помутнения линзы, и на фиг. 11 вычисляется количественный показатель кадров согласно каждой форме DWt разностного сигнала во время t1, время t2, время t3 и т.д.

[0054] Модуль 36 вычисления степени помутнения затем вычисляет количественный показатель считывания, указывающий степень, в которой помутнена линза, на основе суммы баллов количественных показателей кадров, вычисленных в течение предварительно определенного временного интервала. В частности, модуль 36 вычисления степени помутнения вычисляет количественный показатель считывания таким образом, что количественный показатель считывания тем выше, чем выше степень, в которой линза помутнена. Например, в примере, проиллюстрированном посредством нижеприведенной таблицы 2, когда сумма баллов для количественных показателей кадров составляет 0 баллов, поскольку может быть оценено то, что не обнаруживается трехмерный объект (находящееся в смежной полосе движения транспортное средство V2), модуль 36 вычисления степени помутнения оценивает то, что водяная пленка или другое постороннее вещество прилипает к линзе, и имеется высокая вероятность того, что линза помутнена, и модуль 36 вычисления степени помутнения вычисляет количественный показатель считывания в +5. Напротив, когда сумма баллов для количественных показателей кадров составляет 10 или более, поскольку может быть оценено то, что имеется высокая вероятность того, что обнаруживается находящееся в смежной полосе движения транспортное средство V2, модуль 36 вычисления степени помутнения оценивает то, что имеется высокая вероятность того, что линза не помутнена, и вычисляет количественный показатель считывания в -3.

[0055] Как проиллюстрировано в таблицах 1 и 2, модуль 36 вычисления степени помутнения предоставляет верхний предел для количественного показателя кадров и количественного показателя считывания. Другими словами, как проиллюстрировано в таблице 1, когда число пиков в форме разностного сигнала, равных или превышающих предварительно определенное пороговое значение определения, равно 7 или более, модуль 36 вычисления степени помутнения равномерно вычисляет 3 для количественного показателя кадров. Как проиллюстрировано в таблице 2, когда сумма баллов для количественного показателя кадров составляет 10 или более, модуль 36 вычисления степени помутнения равномерно вычисляет -3 для количественного показателя считывания. Через эту конфигурацию, когда находящееся в смежной полосе движения транспортное средство V2 является длиннокузовным грузовиком и т.п., и имеется тенденция к обнаружению большого числа пиков в форме разностного сигнала (например, семь или более пиков обнаруживаются в форме разностного сигнала, даже когда линза помутнена), например, можно эффективно предотвращать обнаружение низкого количественного показателя считывания и оценку линзы как непомутненной несмотря на помутнение.

[0056] Модуль 36 вычисления степени помутнения многократно вычисляет количественный показатель считывания в цикле (например, в цикле захвата захватываемых изображений), в котором формируются формы DWt разностных сигналов. Например, в примере, проиллюстрированном на фиг. 11, во время t25, модуль 36 вычисления степени помутнения сначала вычисляет количественный показатель DS1 считывания для 25 кадров от времени t1 до времени t25. Затем, во время t26, модуль 36 вычисления степени помутнения вычисляет количественный показатель DS2 считывания для 25 кадров от времени t2 до времени t26. Аналогично, вычисляются количественные показатели DS3, DS4 считывания и т.д., причем соответствующие количественные показатели кадров смещаются на один цикл за раз.

[0057] Модуль 36 вычисления степени помутнения интегрирует вычисленные количественные показатели считывания и вычисляет интегрированное значение количественных показателей считывания в качестве степени помутнения линзы. Здесь, фиг. 12 является видом, иллюстрирующим пример степени помутнения линзы, чертеж в верхней части фиг. 12 иллюстрирует временную диаграмму обнаружения передней фары для находящегося в смежной полосе движения транспортного средства V2, а чертеж в нижней части фиг. 12 иллюстрирует пример динамики изменения во времени для степени помутнения линзы. В настоящем варианте осуществления, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2 посредством модуля 34 обнаружения передних фар, модуль 36 вычисления степени помутнения инициирует вычисление количественных показателей считывания, описанных выше, и в то время как обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, модуль 36 вычисления степени помутнения многократно вычисляет количественные показатели считывания и вычисляет интегрированное значение количественных показателей считывания в качестве степени помутнения линзы, как проиллюстрировано на фиг. 12. В примере, проиллюстрированном на фиг. 12, поскольку учитываются количественные показатели кадров за предварительно определенное время после того, как обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2 (например, в течение двух секунд после того, как обнаруживается передняя фара), чтобы вычислять количественные показатели считывания, вычисление степени помутнения линзы инициируется во время tx+1 немного после времени tx, в которое обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2.

[0058] Другими словами, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и инициируется вычисление количественных показателей считывания, модуль 36 вычисления степени помутнения инициирует вычисление степени помутнения линзы посредством использования времени, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, в качестве начала отсчета времени, и вычисления количественных показателей считывания на основе совокупного значения количественных показателей кадров, вычисленных во временном интервале от времени немного перед началом отсчета времени до времени через предварительно определенный временной интервал от начала отсчета времени. Например, в примере, проиллюстрированном на фиг. 11, количественные показатели кадров вычисляются в цикле в 0,1 секунду, и передняя фара находящегося в смежной полосе движения транспортного средства V2 обнаруживается во время t5. В этом случае, с использованием времени t5, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, в качестве начала отсчета времени, модуль 36 вычисления степени помутнения вычисляет количественный показатель считывания на основе суммы баллов 25-кадровой части количественных показателей кадров, вычисленных в течение 2,5 секунд от времени t1 за 0,5 секунды до (немного до) начала отсчета времени t5 до времени t25 через две секунды после начала отсчета времени t5. После того, как обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, а также в то время как обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, модуль 36 вычисления степени помутнения многократно вычисляет количественные показатели считывания на основе суммы баллов 25-кадровой части количественных показателей кадров, вычисленных в течение 2,5 секунд от времени за 0,5 секунды до начала отсчета времени до времени через две секунды после начала отсчета времени, при смещении начала отсчета времени от времени t5, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, до времени t6, t7 и т.д. на один цикл за раз.

[0059] Как проиллюстрировано на фиг. 12, после того, как обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, модуль 36 вычисления степени помутнения прекращает вычисление степени помутнения во время tx+2, когда больше не обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и поддерживает степень помутнения равной идентичному значению до тех пор, пока не будут снова обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2. Когда затем обнаруживается передняя фара второго находящегося в смежной полосе движения транспортного средства V2 (время tx+3), возобновляется вычисление степени помутнения линзы, и вычисление степени помутнения линзы повторяется до времени tx+4, в которое снова больше не обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2.

[0060] В настоящем варианте осуществления, нижнее предельное значение S0 и верхнее предельное значение S2 могут предоставляться для значения степени помутнения линзы, как проиллюстрировано на фиг. 12. Например, в примерах, проиллюстрированных в вышеприведенных таблицах 1 и 2, нижнее предельное значение S0 может задаваться равным 0, а верхнее предельное значение S2 может задаваться равным 100. Посредством этой конфигурации, в котором нижнее предельное значение S0 предоставляется для степени помутнения линзы, даже когда вычисляются количественные показатели считывания, имеющие низкие значения, и степень помутнения линзы (т.е. интегрированное значение количественных показателей считывания) имеет тренд низких значений, несмотря на фактическое помутнение линзы вследствие присутствия грузовика или другого находящегося в смежной полосе движения транспортного средства V2, для которого пики в форме разностного сигнала являются многочисленными и легко обнаруживаются в областях A1, A2 обнаружения, например, когда грузовик или другое находящееся в смежной полосе движения транспортное средство V2 выезжает из областей A1, A2 обнаружения, и вычисленные количественные показатели считывания изменяются на высокие значения, степень помутнения линзы (т.е. интегрированное значение количественных показателей считывания) достигает высокого значения за относительно короткое время, и следовательно, можно надлежащим образом оценивать то, что линза помутнена. Аналогично, посредством конфигурации, в которой верхнее предельное значение S2 предоставляется для степени помутнения линзы, даже когда степень помутнения линзы имеет тренд высоких значений, несмотря на отсутствие фактического помутнения линзы вследствие отсутствия находящегося в смежной полосе движения транспортного средства V2 в периферии, когда обнаруживается находящееся в смежной полосе движения транспортное средство V2, степень помутнения линзы достигает низкого значения за относительно короткое время, и следовательно, можно надлежащим образом оценивать то, что линза не помутнена.

[0061] Как проиллюстрировано на фиг. 3, модуль 37 оценки трехмерных объектов оценивает, присутствует или нет находящееся в смежной полосе движения транспортное средство V2, на основе результата обнаружения для находящегося в смежной полосе движения транспортного средства V2, обнаруженного посредством первого модуля 33 обнаружения трехмерных объектов, и результата обнаружения для находящегося в смежной полосе движения транспортного средства V2, обнаруженного посредством второго модуля 35 обнаружения трехмерных объектов.

[0062] В частности, когда находящееся в смежной полосе движения транспортное средство V2 обнаруживается посредством первого модуля 33 обнаружения трехмерных объектов, модуль 37 оценки трехмерных объектов задает результат обнаружения первого модуля 33 обнаружения трехмерных объектов равным 1, а когда находящееся в смежной полосе движения транспортное средство V2 не обнаруживается посредством первого модуля 33 обнаружения трехмерных объектов, модуль 37 оценки трехмерных объектов вычисляет результат обнаружения первого модуля 33 обнаружения трехмерных объектов равным 0. Аналогично, когда находящееся в смежной полосе движения транспортное средство V2 обнаруживается посредством второго модуля 35 обнаружения трехмерных объектов, модуль 37 оценки трехмерных объектов задает результат обнаружения второго модуля 35 обнаружения трехмерных объектов равным 1, а когда находящееся в смежной полосе движения транспортное средство V2 не обнаруживается посредством второго модуля 35 обнаружения трехмерных объектов, модуль 37 оценки трехмерных объектов вычисляет результат обнаружения второго модуля 35 обнаружения трехмерных объектов равным 0.

[0063] Модуль 37 оценки трехмерных объектов затем применяет взвешивание к результату обнаружения первого модуля 33 обнаружения трехмерных объектов (первому результату обнаружения) и результату обнаружения второго модуля 35 обнаружения трехмерных объектов (второму результату обнаружения) на основе степени помутнения линзы, вычисленной посредством модуля 36 вычисления степени помутнения, как указано в нижеприведенной формуле 1, и оценивает, равно или превышает либо нет совокупное значение взвешенного результата обнаружения первого модуля 33 обнаружения трехмерных объектов (первого результата обнаружения) и результата обнаружения второго модуля 35 обнаружения трехмерных объектов (второго результата обнаружения) предварительно определенное пороговое значение sc определения транспортного средства.

ФОРМУЛА 1

Первый результат обнаружения x Wc1 + Второй результат обнаружения x Wc2≥ Пороговое значение sc определения транспортного средства

Член Wc1 является взвешиванием для результата обнаружения первого модуля 33 обнаружения трехмерных объектов (первого результата обнаружения), и член Wc2 является взвешиванием для результата обнаружения второго модуля 35 обнаружения трехмерных объектов (второго результата обнаружения).

[0064] Здесь, когда степень помутнения линзы является высокой, поскольку участок светового потока из объекта заслоняется посредством водяной пленки или другого постороннего вещества, прилипающего к линзе, и светорассеивающим образом отражается, не может надлежащим образом захватываться изображение находящегося в смежной полосе движения транспортного средства V2. Как результат, не может надлежащим образом формироваться форма DWt разностного сигнала вследствие находящегося в смежной полосе движения транспортного средства V2. Следовательно, когда линза помутнена, точность обнаружения результатов обнаружения посредством первого модуля обнаружения трехмерных объектов на основе формы DWt разностного сигнала имеет тенденцию снижаться. Напротив, даже когда линза помутнена, на изображение с высокой яркостью передней фары находящегося в смежной полосе движения транспортного средства V2 не оказывает простое влияние помутнение линзы, и результат обнаружения первого модуля 33 обнаружения трехмерных объектов на основе передней фары может быть получен с относительно высокой точностью. Следовательно, чем выше степень помутнения линзы, тем меньше относительная величина взвешивания Wc1 результата обнаружения первого модуля 33 обнаружения трехмерных объектов и тем больше относительная величина взвешивания Wc2 результата обнаружения второго модуля 35 обнаружения трехмерных объектов посредством модуля 37 оценки трехмерных объектов. Когда водяная пленка или другое постороннее вещество не прилипает к линзе, и линза не помутнена, точность обнаружения результата обнаружения от первого модуля 33 обнаружения трехмерных объектов для обнаружения кузова транспортного средства находящегося в смежной полосе движения транспортного средства V2 в качестве формы разностного сигнала имеет тенденцию быть выше точности обнаружения результата обнаружения от второго модуля 35 обнаружения трехмерных объектов. Следовательно, чем ниже степень помутнения линзы, тем больше относительная величина взвешивания Wc1 результата обнаружения первого модуля 33 обнаружения трехмерных объектов, и тем меньше относительная величина взвешивания Wc2 результата обнаружения второго модуля 35 обнаружения трехмерных объектов посредством модуля 37 оценки трехмерных объектов.

[0065] Например, в примере, проиллюстрированном на фиг. 12, когда нижнее предельное значение S0 равно 0, а верхнее предельное значение S2 равно 100, модуль 37 оценки трехмерных объектов может оценивать то, что линза помутнена, когда степень помутнения линзы превышает предварительно определенное значение S1 (например, 50), и может оценивать то, что линза не помутнена, когда степень помутнения линзы не превышает предварительно определенное значение S1 (например, 50). В этом случае, модуль 37 оценки трехмерных объектов оценивает то, что линза помутнена, когда степень помутнения линзы превышает предварительно определенное значение S1 (например, 50), и может выполнять взвешивание Wc1 результата обнаружения первого модуля 33 обнаружения трехмерных объектов тем меньшим и выполнять взвешивание Wc2 результата обнаружения второго модуля 35 обнаружения трехмерных объектов тем большим, чем выше степень помутнения линзы. Между тем, модуль 37 оценки трехмерных объектов оценивает то, что линза не помутнена, когда степень помутнения линзы не превышает предварительно определенное значение S1 (например, 50), и может выполнять взвешивание Wc1 результата обнаружения первого модуля 33 обнаружения трехмерных объектов тем большим и выполнять взвешивание Wc2 результата обнаружения второго модуля 35 обнаружения трехмерных объектов тем меньшим, чем ниже степень помутнения линзы.

[0066] Модуль 37 оценки трехмерных объектов оценивает то, что находящееся в смежной полосе движения транспортное средство V2 присутствует, когда совокупное значение результата определения на основе формулы 1, результата обнаружения первого модуля 33 обнаружения трехмерных объектов (первого результата обнаружения) и результата обнаружения второго модуля 35 обнаружения трехмерных объектов (второго результата обнаружения) равно или превышает предварительно определенное пороговое значение sc определения транспортного средства, и оценивает то, что не присутствует находящееся в смежной полосе движения транспортное средство V2, когда совокупное значение результата обнаружения первого модуля 33 обнаружения трехмерных объектов (первого результата обнаружения) и результата обнаружения второго модуля 35 обнаружения трехмерных объектов (второго результата обнаружения) меньше предварительно определенного порогового значения sc определения транспортного средства.

[0067] Далее описывается процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно настоящему варианту осуществления со ссылкой на фиг. 13 и 14. Фиг. 13 и 14 являются блок-схемами последовательности операций способа, иллюстрирующими процесс обнаружения находящихся в смежной полосе движения транспортных средств согласно первому варианту осуществления. В настоящем варианте осуществления, этот процесс обнаружения находящихся в смежной полосе движения транспортных средств выполняется параллельно с процессом вычисления степени помутнения, описанным в дальнейшем. Процесс обнаружения находящихся в смежной полосе движения транспортных средств настоящего варианта осуществления многократно выполняется в предварительно определенном цикле (например, в цикле в 0,1 секунду). Для удобства, ниже описывается обработка, выполняемая для области A1 обнаружения, но идентичная обработка выполняется для области A2 обнаружения.

[0068] Как проиллюстрировано на фиг. 13, данные захваченного изображения P получаются посредством компьютера 30 из камеры 10 (этап S101), и данные изображения PBt вида "с высоты птичьего полета" формируются (этап S102) на основе данных захваченного изображения P, полученных таким способом.

[0069] Модуль 32 совмещения затем совмещает данные изображения PBt вида "с высоты птичьего полета" и данные изображения PBt-1 вида "с высоты птичьего полета" за один момент времени до этого и формирует данные разностного изображения PDt (этап S103). В частности, модуль 32 совмещения рассматривает абсолютное значение разности между пиксельными значениями изображений PBt и PBt-1 вида "с высоты птичьего полета", задает пиксельные значения разностного изображения PDt равными 1, когда абсолютное значение равно или превышает предварительно определенное разностное пороговое значение th, и задает пиксельные значения разностного изображения PDt равными 0, когда абсолютное значение меньше предварительно определенного разностного порогового значения th. После этого, модуль 33 обнаружения трехмерных объектов подсчитывает число разностных пикселов DP, имеющих пиксельные значения 1, из данных разностного изображения PDt и формирует форму DWt разностного сигнала (этап S104).

[0070] На этапе S105, первый модуль 33 обнаружения трехмерных объектов оценивает, равен или превышает либо нет пик в форме DWt разностного сигнала предварительно определенное пороговое значение α. Когда пик формы DWt разностного сигнала не равен или превышает пороговое значение α, т.е. когда по существу нет разности, считается, что трехмерный объект не присутствует в захваченном изображении. Соответственно, когда оценено то, что пик формы DWt разностного сигнала не равен или превышает пороговое значение α (этап S105="Нет"), процесс переходит к этапу S118 на фиг. 14, и первый модуль 33 обнаружения трехмерных объектов оценивает то, что не присутствует трехмерный объект, и не присутствует находящееся в смежной полосе движения транспортное средство V2. Процесс затем возвращается к этапу S101, и обработка, проиллюстрированная на фиг. 13 и 14, повторяется.

[0071] С другой стороны, когда пик в форме DWt разностного сигнала оценивается как равный или превышающий пороговое значение α (этап S105="Да"), первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект присутствует в смежной полосе движения, процесс переходит к этапу S106, и первый модуль 33 обнаружения трехмерных объектов разделяет форму DWt разностного сигнала на множество малых областей DWt1-DWtn (этап S106) и применяет взвешивание для каждой из разделенных малых областей DWt1-DWtn (этап S107). Величина смещения затем вычисляется для каждой из малых областей DWt1-DWtn, и формируется гистограмма, в которой учитывается взвешивание (этап S108).

[0072] Первый модуль 33 обнаружения трехмерных объектов вычисляет относительное проезжаемое расстояние, которое является проезжаемым расстоянием трехмерного объекта относительно рассматриваемого транспортного средства V1, на основе гистограммы (этап S109). Первый модуль 33 обнаружения трехмерных объектов после этого вычисляет абсолютную скорость движения трехмерного объекта из относительного проезжаемого расстояния (S110). В это время, первый модуль 33 обнаружения трехмерных объектов дифференцирует относительное проезжаемое расстояние относительно времени, чтобы вычислять относительную скорость движения, прибавляет скорость рассматриваемого транспортного средства, обнаруженную посредством датчика 20 скорости транспортного средства, и вычисляет абсолютную скорость движения.

[0073] На этапе S111, первый модуль 33 обнаружения трехмерных объектов обнаруживает находящееся в смежной полосе движения транспортное средство V2. В частности, первый модуль 33 обнаружения трехмерных объектов оценивает, является или нет трехмерный объект, присутствующий в смежной полосе движения, находящимся в смежной полосе движения транспортным средством V2, посредством оценки того, составляет или нет абсолютная скорость движения трехмерного объекта 10 км/ч или более, и того, составляет или нет относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 +60 км/ч или менее. Когда оба этих условия удовлетворяются, первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект, присутствующий в смежной полосе движения, представляет собой находящееся в смежной полосе движения транспортное средство V2, и обнаруживает находящееся в смежной полосе движения транспортное средство V2, присутствующее в смежной полосе движения. Когда любое из вышеуказанных условий не удовлетворяется, первый модуль 33 обнаружения трехмерных объектов оценивает то, что трехмерный объект, присутствующий в смежной полосе движения, не является находящимся в смежной полосе движения транспортным средством V2, и не обнаруживается находящееся в смежной полосе движения транспортное средство V2.

[0074] На этапе S112, модуль 34 обнаружения передних фар обнаруживает источник света, который является кандидатом для передней фары находящегося в смежной полосе движения транспортного средства V2. В частности, модуль 34 обнаружения передних фар обнаруживает источник света, который является кандидатом для передней фары находящегося в смежной полосе движения транспортного средства V2, посредством обнаружения, в качестве области кандидата, соответствующей передней фаре находящегося в смежной полосе движения транспортного средства V2, области изображения, имеющей разность в яркости, равную или превышающую предварительно определенное значение относительно периферии, и имеющей размер, равный или превышающий предварительно определенную область на основе захваченного изображения, захваченного посредством камеры 10.

[0075] На этапе S113, второй модуль обнаружения трехмерных объектов обнаруживает находящееся в смежной полосе движения транспортное средство V2 на основе источника света, который является кандидатом для передней фары находящегося в смежной полосе движения транспортного средства V2, обнаруженного на этапе S112. В частности, второй модуль 35 обнаружения трехмерных объектов вычисляет коэффициент достоверности касательно того, что источник света, обнаруженный на этапе S112, представляет собой переднюю фару находящегося в смежной полосе движения транспортного средства V2, и когда вычисленный коэффициент достоверности равен или превышает предварительно определенное значение, второй модуль 35 обнаружения трехмерных объектов оценивает то, что трехмерный объект, присутствующий в смежной полосе движения, представляет собой находящееся в смежной полосе движения транспортное средство V2, и обнаруживает находящееся в смежной полосе движения транспортное средство V2, присутствующее в смежной полосе движения. Когда источник света в качестве кандидата для передней фары находящегося в смежной полосе движения транспортного средства V2 не обнаруживается на этапе S112, или коэффициент достоверности касательно того, что источник света, обнаруженный на этапе S112, представляет собой переднюю фару находящегося в смежной полосе движения транспортного средства V2, меньше предварительно определенного значения, оценивается то, что трехмерный объект, присутствующий в смежной полосе движения, не является находящимся в смежной полосе движения транспортным средством V2, и не обнаруживается находящееся в смежной полосе движения транспортное средство V2.

[0076] На этапе S114, модуль 37 оценки трехмерных объектов получает степень помутнения линзы, вычисленную посредством процесса вычисления степени помутнения, описанного в дальнейшем. На этапе S115, модуль 37 оценки трехмерных объектов применяет взвешивание к результату обнаружения от первого модуля 33 обнаружения трехмерных объектов, полученному на этапе S111, и к результату обнаружения от второго модуля 35 обнаружения трехмерных объектов, полученному на этапе S113, на основе степени помутнения линзы, полученной на этапе S114. В частности, чем выше степень помутнения линзы, тем меньше взвешивание Wc1 результата обнаружения первого модуля 33 обнаружения трехмерных объектов и тем больше взвешивание Wc2 результата обнаружения второго модуля 35 обнаружения трехмерных объектов посредством модуля 37 оценки трехмерных объектов.

[0077] На этапе S116, модуль 37 оценки трехмерных объектов оценивает, превышает или нет совокупное значение результатов обнаружения, взвешиваемых на этапе S115, предварительно определенное пороговое значение sc определения транспортного средства, как проиллюстрировано в вышеприведенной формуле 1. Когда совокупное значение взвешенного результата обнаружения первого модуля 33 обнаружения трехмерных объектов и результата обнаружения второго модуля 35 обнаружения трехмерных объектов превышает предварительно определенное пороговое значение sc определения транспортного средства, процесс переходит к этапу S117, и оценивается то, что присутствует находящееся в смежной полосе движения транспортное средство V2. Когда предварительно определенное пороговое значение определения транспортного средства не превышается, процесс переходит к этапу S118, и оценивается то, что не присутствует находящееся в смежной полосе движения транспортное средство V2.

[0078] В настоящем варианте осуществления, поскольку основное внимание уделяется тому, может или нет рассматриваемое транспортное средство V1 контактировать, если должна быть выполнена смена полосы движения, когда находящееся в смежной полосе движения транспортное средство V2 обнаруживается на этапе S117, предупреждающий звук может быть выдан водителю рассматриваемого транспортного средства, либо отображение, соответствующее предупреждению, может формироваться посредством предварительно определенного устройства отображения.

[0079] Далее описывается процесс вычисления степени помутнения согласно настоящему варианту осуществления со ссылкой на фиг. 15. Фиг. 15 является блок-схемой последовательности операций способа, иллюстрирующей процесс вычисления степени помутнения согласно первому варианту осуществления. Процесс вычисления степени помутнения, описанный ниже, выполняется в предварительно определенном цикле (например, в цикле в 0,1 секунду). Процесс вычисления степени помутнения, описанный ниже, выполняется параллельно с процессом обнаружения находящихся в смежной полосе движения транспортных средств, описанным выше, и степень помутнения линзы, вычисленная в этом процессе вычисления степени помутнения, используется во время обнаружения находящегося в смежной полосе движения транспортного средства V2 в процессе обнаружения находящихся в смежной полосе движения транспортных средств, описанном выше.

[0080] На этапе S201, модуль 36 вычисления степени помутнения сначала обнаруживает число пиков, превышающих предварительно определенное пороговое значение определения в форме DWt разностного сигнала, сформированной посредством процесса обнаружения находящихся в смежной полосе движения транспортных средств, описанного выше. Например, в примере, проиллюстрированном на фиг. 6, когда предварительно определенное пороговое значение определения является идентичным пороговому значению α, модуль 36 вычисления степени помутнения обнаруживает 3 в качестве числа пиков в форме DWt разностного сигнала, которые превышают предварительно определенное пороговое значение определения.

[0081] На этапе S202, модуль 36 вычисления степени помутнения вычисляет количественные показатели кадров на основе числа пиков в форме DWt разностного сигнала, обнаруженной на этапе S201, как проиллюстрировано в вышеприведенной таблице 1. Например, на этапе S201, когда число пиков, превышающих предварительно определенное пороговое значение определения, обнаруживается в качестве 3, модуль 36 вычисления степени помутнения, вычисляет количественный показатель кадров 1, в соответствии с вышеприведенной таблицей 1. Модуль 36 вычисления степени помутнения сохраняет вычисленный количественный показатель кадров в запоминающем устройстве, предоставленном в компьютере 30.

[0082] На этапе S203, модуль 36 вычисления степени помутнения определяет, обнаруживаются или нет передняя фара находящегося в смежной полосе движения транспортного средства V2. В настоящем варианте осуществления, обнаружение источника света в качестве кандидата для передней фары находящегося в смежной полосе движения транспортного средства V2 многократно выполняется посредством модуля 34 обнаружения передних фар, и когда источник света в качестве кандидата для передней фары находящегося в смежной полосе движения транспортного средства V2 обнаруживается как результат обнаружения посредством модуля 34 обнаружения передних фар, модуль 36 вычисления степени помутнения трактует этот результат в качестве обнаружения передних фар находящегося в смежной полосе движения транспортного средства V2, и процесс переходит к этапу S204. Когда источник света в качестве кандидата для передней фары находящегося в смежной полосе движения транспортного средства V2 не обнаруживается посредством модуля 34 обнаружения передних фар, этот результат трактуется в качестве необнаружения передней фары находящегося в смежной полосе движения транспортного средства V2, процесс возвращается к этапу S201, и повторяется вычисление количественного показателя кадров.

[0083] На этапе S204, модуль 36 вычисления степени помутнения вычисляет сумму баллов количественных показателей кадров, вычисленных в течение предварительно определенного временного интервала. Здесь, поскольку количественные показатели кадров, вычисленные на этапе S202, сохраняются в запоминающем устройстве, предоставленном в компьютере 30, модуль 36 вычисления степени помутнения может извлекать количественные показатели кадров, вычисленные в течение предварительно определенного временного интервала, из количественных показателей кадров, сохраненных в запоминающем устройстве, и вычислять сумму баллов количественных показателей кадров. Например, как проиллюстрировано на фиг. 11, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и инициируется вычисление степени помутнения линзы, с использованием времени t5, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, в качестве начала отсчета времени, модуль 36 вычисления степени помутнения вычисляет сумму баллов 25-кадровой части количественных показателей кадров в течение 2,5 секунд от времени t1 за 0,5 секунды до (немного до) начала отсчета времени t5 до времени t25 через две секунды после начала отсчета времени t5. После того, как инициируется вычисление степени помутнения линзы, последовательно вычисляется сумма баллов 25-кадровой части количественных показателей кадров в течение 2,5 секунд от времени за 0,5 секунды до (немного до) начала отсчета времени до двух секунд после начала отсчета времени, тогда как начало отсчета времени смещается на один цикл за раз, как проиллюстрировано на фиг. 11.

[0084] На этапе S205, модуль 36 вычисления степени помутнения вычисляет количественный показатель считывания, как проиллюстрировано в вышеприведенной таблице 2, на основе суммы баллов количественных показателей кадров, вычисленных на этапе S204. Например, в примере, проиллюстрированном в таблице 2, когда сумма баллов количественных показателей кадров составляет пять баллов, вычисляется количественный показатель считывания в +1.

[0085] На этапе S206, модуль 36 вычисления степени помутнения интегрирует количественные показатели считывания, вычисленные на этапе S205, и вычисляет интегрированное значение количественных показателей считывания в качестве степени помутнения линзы, как проиллюстрировано на фиг. 12. Вычисленная степень помутнения линзы используется в процессе обнаружения находящихся в смежной полосе движения транспортных средств, описанном в дальнейшем.

[0086] В настоящем варианте осуществления, с учетом того факта, что находящееся в смежной полосе движения транспортное средство V2 трудно обнаруживать относительно рассматриваемого транспортного средства V1, когда водяная пленка или другое постороннее вещество прилипает к линзе, и линза помутнена, приспосабливается конфигурация, в которой обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и находящееся в смежной полосе движения транспортное средство V2 обнаруживается на основе передней фары находящегося в смежной полосе движения транспортного средства V2. Может быть приспособлена конфигурация, в которой процесс вычисления степени помутнения, проиллюстрированный на фиг. 13 и 14, выполняется только при условиях, в которых передняя фара находящегося в смежной полосе движения транспортного средства V2 работает, например, только ночью. Посредством этого может уменьшаться вычислительная нагрузка, отвлекаемая на обнаружение находящегося в смежной полосе движения транспортного средства V2 днем. Модуль 36 вычисления степени помутнения может оценивать то, что сейчас ночь, когда полная яркость захваченного изображения, захваченного посредством камеры 10, например, равна или менее предварительно определенного значения. Модуль 36 вычисления степени помутнения также может оценивать, сейчас ночь или нет, на основе счетчика освещенности или времени суток.

[0087] Как описано выше, в первом варианте осуществления, форма разностного сигнала формируется из разностного изображения для изображения вида "с высоты птичьего полета", взвешивание в соответствии со степенью помутнения линзы применяется к результату обнаружения первого модуля 33 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе формы разностного сигнала и к результату обнаружения второго модуля 35 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе передней фары, и оценивается, присутствует или нет находящееся в смежной полосе движения транспортное средство V2, на основе взвешенных результатов обнаружения. Здесь, когда линза помутнена, результат обнаружения второго модуля 35 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе передней фары имеет тенденцию быть более надежным по сравнению с результатом обнаружения первого модуля 33 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе формы разностного сигнала, а когда линза не помутнена, результат обнаружения первого модуля 33 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе формы разностного сигнала имеет тенденцию быть более надежным по сравнению с результатом обнаружения второго модуля 35 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе передней фары. Следовательно, в настоящем варианте осуществления, можно надлежащим образом обнаруживать находящееся в смежной полосе движения транспортное средство V2 посредством задания взвешивания результата обнаружения первого модуля 33 обнаружения трехмерных объектов тем меньшим и взвешивания результата обнаружения второго модуля 35 обнаружения трехмерных объектов тем большим, чем выше степень помутнения линзы, и оценки того, присутствует или нет находящееся в смежной полосе движения транспортное средство V2.

[0088] В первом варианте осуществления, во время вычисления степени помутнения линзы, вероятность обнаружения трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2) оценивается тем выше, чем больше число пиков, которые превышают предварительно определенное пороговое значение определения в форме разностного сигнала, и вычисляется высокий количественный показатель кадров. Чем ниже совокупное значение количественных показателей кадров, вычисленных в течение предварительно определенного временного интервала, тем труднее для линзы, согласно оценке, обнаруживать трехмерный объект (находящееся в смежной полосе движения транспортное средство V2), т.е. тем более помутненной оценивается линза, вычисляется высокий количественный показатель считывания, и интегрированное значение количественных показателей считывания вычисляется как степень помутнения линзы. В настоящем варианте осуществления, посредством такой оценки того, может или нет обнаруживаться трехмерный объект (находящееся в смежной полосе движения транспортное средство V2) на основе формы разностного сигнала, фактически сформированной, степень, в которой помутнена линза, может надлежащим образом вычисляться как степень помутнения линзы. В частности, в настоящем варианте осуществления, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, поскольку может быть оценено то, что находящееся в смежной полосе движения транспортное средство V2 присутствует в смежной полосе движения, и может обнаруживаться форма разностного сигнала вследствие находящегося в смежной полосе движения транспортного средства V2, посредством оценки того, присутствует или нет находящееся в смежной полосе движения транспортное средство V2, на основе формы разностного сигнала вследствие находящегося в смежной полосе движения транспортного средства V2, можно оценивать, может либо не может обнаруживаться находящееся в смежной полосе движения транспортное средство V2 вследствие помутнения линзы. Посредством этого может надлежащим образом вычисляться степень помутнения линзы.

[0089] В настоящем варианте осуществления, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и инициируется вычисление степени помутнения линзы, с использованием времени, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, в качестве начала отсчета времени, степень помутнения линзы количественного показателя считывания вычисляется на основе количественных показателей кадров, вычисленных после начала отсчета времени, как проиллюстрировано на фиг. 11. Причина этого состоит в том, что поскольку кузов транспортного средства находящегося в смежной полосе движения транспортного средства V2 обычно обнаруживается позади передней фары находящегося в смежной полосе движения транспортного средства V2, форма разностного сигнала вследствие находящегося в смежной полосе движения транспортного средства V2 может быть обнаружена после того, как обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и степень, в которой может обнаруживаться находящееся в смежной полосе движения транспортное средство V2, может вычисляться как количественный показатель кадров. В настоящем варианте осуществления, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и инициируется вычисление степени помутнения линзы, количественные показатели кадров, вычисленные немного до времени, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, учитывается для того, чтобы вычислять количественный показатель считывания. Причина этого состоит в том, что кузов транспортного средства для находящегося в смежной полосе движения транспортного средства V2 также может иногда обнаруживаться до того, как обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2.

[0090] ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ

Далее описывается устройство 1a обнаружения трехмерных объектов согласно второму варианту осуществления. Устройство 1a обнаружения трехмерных объектов согласно второму варианту осуществления является идентичным первому варианту осуществления, за исключением того, что компьютер 30a предоставляется вместо компьютера 30 первого варианта осуществления, как проиллюстрировано на фиг. 16, и работа является такой, как описано ниже. Здесь, фиг. 16 является блок-схемой, иллюстрирующей подробности компьютера 30a согласно второму варианту осуществления.

[0091] Устройство 1a обнаружения трехмерных объектов согласно второму варианту осуществления содержит камеру 10 и компьютер 30a, как проиллюстрировано на фиг. 16. Компьютер 30a конфигурируется из модуля 31 преобразования точки обзора, модуля 38 вычисления яркостного различия, модуля 39 обнаружения линий краев, первого модуля 33a обнаружения трехмерных объектов, модуля 34 обнаружения передних фар, второго модуля 35 обнаружения трехмерных объектов, модуля 36a вычисления степени помутнения и модуля 34a оценки трехмерных объектов. Ниже описывается конфигурация устройства 1a обнаружения трехмерных объектов согласно второму варианту осуществления. Модуль 31 преобразования точки обзора, модуль 34 обнаружения передних фар, второй модуль 35 обнаружения трехмерных объектов и модуль 37 оценки трехмерных объектов имеют конфигурацию, идентичную конфигурации первого варианта осуществления, и не описываются ниже.

[0092] Фиг. 16 является видом, иллюстрирующим диапазон захвата изображений камеры 10 на фиг. 16, фиг. 16(a) является видом сверху, а фиг. 20(b) является видом в перспективе в реальном пространстве позади рассматриваемого транспортного средства V1. Камера 10 устанавливается под предварительно определенным углом a обзора, и задняя сторона относительно рассматриваемого транспортного средства V1, включенная в предварительно определенный угол a обзора, захватывается так, как проиллюстрировано на фиг. 16(a). Угол a обзора камеры 10 задается таким образом, что смежные полосы движения включаются в захватываемый диапазон камеры 10 в дополнение к полосе движения, в которой движется рассматриваемое транспортное средство V1, способом, идентичным способу, проиллюстрированному на фиг. 2.

[0093] Области A1, A2 обнаружения в настоящем примере являются трапецеидальными при виде сверху (в состоянии вида "с высоты птичьего полета"), и позиция, размер и форма областей A1, A2 обнаружения определяются на основе расстояний d1-d4. Области A1, A2 обнаружения примера, проиллюстрированного на чертеже, не ограничены трапецеидальной формой и также могут иметь прямоугольную или другую форму в виде "с высоты птичьего полета", как проиллюстрировано на фиг. 2.

[0094] Здесь, расстояние d1 является расстоянием от рассматриваемого транспортного средства V1 до линий L1, L2 пересечения с землей. Линии L1, L2 пересечения с землей означают линии, вдоль в которых трехмерный объект, который присутствует в полосе движения, смежной с полосой движения, в которой движется рассматриваемое транспортное средство V, контактирует с землей. В настоящем варианте осуществления, цель заключается в том, чтобы обнаруживать находящееся в смежной полосе движения транспортное средство V2 и т.п. (включающее в себя двухколесное транспортное средство и т.п.), движущееся в левой или правой полосе движения позади рассматриваемого транспортного средства V1 и смежной с полосой движения рассматриваемого транспортного средства V1. Соответственно, расстояние d1, которое представляет собой позицию линий L1, L2 пересечения с землей находящегося в смежной полосе движения транспортного средства V2, может определяться как практически фиксированное из расстояния d11 от рассматриваемого транспортного средства V1 до белой линии W дорожной разметки и расстояния d12 от белой линии W дорожной разметки до позиции, в которой прогнозируется движение находящегося в смежной полосе движения транспортного средства V2.

[0095] Расстояние d1 не ограничивается фиксированным заданием и может быть переменным. В этом случае, компьютер 30a распознает позицию белой линии W дорожной разметки относительно рассматриваемого транспортного средства V1 с использованием распознавания белых линий дорожной разметки или другой технологии, и расстояние d11 определяется на основе позиции распознанной белой линии W дорожной разметки. Расстояние d1 посредством этого переменно задается с использованием определенного расстояния d11. В настоящем варианте осуществления, описанном ниже, приблизительно определяются позиция, в которой движется находящееся в смежной полосе движения транспортное средство V2 (расстояние d12 от белой линии W дорожной разметки), и позиция, в которой движется рассматриваемое транспортное средство V1 (расстояние d11 от белой линии W дорожной разметки), и фиксированно определяется расстояние d1.

[0096] Расстояние d2 является расстоянием, идущим из задней концевой части рассматриваемого транспортного средства V1 в направлении продвижения транспортного средства. Расстояние d2 определяется таким образом, что области A1, A2 обнаружения размещаются, по меньшей мере, в пределах угла a обзора камеры 10. В настоящем варианте осуществления, в частности, расстояние d2 задается таким образом, что оно примыкает к диапазону, секционированному в пределах угла a обзора. Расстояние d3 указывает длину областей A1, A2 обнаружения в направлении продвижения транспортного средства. Расстояние d3 определяется на основе размера трехмерного объекта, который должен быть обнаружен. В настоящем варианте осуществления, объект, который должен быть обнаружен, представляет собой находящееся в смежной полосе движения транспортное средство V2, и т.п., и, следовательно, расстояние d3 задается равным длине, которая включает в себя находящееся в смежной полосе движения транспортное средство V2.

[0097] Расстояние d4 указывает высоту, которая задается в реальном пространстве таким образом, что она включает в себя шины находящегося в смежной полосе движения транспортного средства V2 и т.п., как проиллюстрировано на фиг. 16(b). В изображении вида "с высоты птичьего полета" расстояние d4 является длиной, проиллюстрированной на фиг. 16(a). Расстояние d4 также может быть длиной, которая не включает в себя полосы движения, дополнительно смежные с левой и правой смежными полосами движения в изображении вида "с высоты птичьего полета" (т.е. смежные через одну полосы движения на расстоянии через одну полосу движения). Причина этого заключается в том, что когда включаются полосы движения на расстоянии через одну полосу движения от полосы движения рассматриваемого транспортного средства V1, более невозможно отличать, присутствует или нет находящееся в смежной полосе движения транспортное средство V2 в смежных полосах движения слева и справа от полосы движения, в которой движется рассматриваемое транспортное средство V1, или присутствует или нет смежное через одну полосу движения транспортное средство в смежной через одну полосе движения на расстоянии через одну полосу движения.

[0098] Расстояния d1-d4 определяются так, как описано выше, и посредством этого определяются позиция, размер и форма областей A1, A2 обнаружения. Более конкретно, позиция верхней стороны b1 областей A1, A2 обнаружения, образующих трапецию, определяется посредством расстояния d1. Начальная позиция C1 верхней стороны b1 определяется посредством расстояния d2. Конечная позиция C2 верхней стороны b1 определяется посредством расстояния d3. Поперечная сторона b2 областей A1, A2 обнаружения, образующих трапецию, определяется посредством прямой линии L3, идущей от камеры 10 к начальной позиции C1. Аналогично, поперечная сторона b3 областей A1, A2 обнаружения, образующих трапецию, определяется посредством прямой линии L4, идущей от камеры 10 к конечной позиции C2. Позиция нижней стороны b4 областей A1, A2 обнаружения, образующих трапецию, определяется посредством расстояния d4. Таким образом, области, окруженные посредством сторон b1-b4, представляют собой области A1, A2 обнаружения. Области A1, A2 обнаружения являются правильными квадратами (прямоугольниками) в реальном пространстве позади рассматриваемого транспортного средства V1, как проиллюстрировано на фиг. 16(b).

[0099] Модуль 38 вычисления яркостного различия вычисляет яркостные различия в данных изображений вида "с высоты птичьего полета", которые подвергнуты преобразованию точки обзора посредством модуля 31 преобразования точки обзора, чтобы обнаруживать края трехмерного объекта, включенного в изображение вида "с высоты птичьего полета". Модуль 38 вычисления яркостного различия вычисляет, для каждой из множества позиций вдоль перпендикулярной воображаемой линии, идущей вдоль перпендикулярного направления в реальном пространстве, яркостное различие между двумя пикселами около каждой позиции. Модуль 38 вычисления яркостного различия допускает вычисление яркостного различия посредством способа для задания одной перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве, или способа для задания двух перпендикулярных воображаемых линий.

[0100] Ниже описан конкретный способ для задания двух перпендикулярных воображаемых линий. Относительно подвергнутого преобразованию точки обзора изображения вида "с высоты птичьего полета" модуль 38 вычисления яркостного различия задает первую перпендикулярную воображаемую линию, которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и вторую перпендикулярную воображаемую линию, которая отличается от первой перпендикулярной воображаемой линии, и которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве. Модуль 38 вычисления яркостного различия определяет яркостное различие между точкой на первой перпендикулярной воображаемой линии и точкой на второй перпендикулярной воображаемой линии непрерывно вдоль первой перпендикулярной воображаемой линии и второй перпендикулярной воображаемой линии. Ниже подробно описывается работа модуля 38 вычисления яркостного различия.

[0101] Модуль 38 вычисления яркостного различия задает первую перпендикулярную воображаемую линию La (в дальнейшем называемую "линией La концентрации внимания"), которая соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и которая проходит через область A1 обнаружения, как проиллюстрировано на фиг. 17(a). Модуль 38 вычисления яркостного различия задает вторую перпендикулярную воображаемую линию Lr (в дальнейшем называемую "опорной линией Lr"), которая отличается от линии La концентрации внимания, соответствует сегменту линии, идущему в перпендикулярном направлении в реальном пространстве, и проходит через область A1 обнаружения. Здесь, опорная линия Lr задается в позиции, отстоящей от линии La концентрации внимания на предварительно определенное расстояние в реальном пространстве. Линии, которые соответствуют сегментам линии, идущим в перпендикулярном направлении в реальном пространстве, являются линиями, которые расходятся радиально от позиции Ps камеры 10 в изображении вида "с высоты птичьего полета". Эти радиально расходящиеся линии являются линиями, которые соответствуют направлению сплющивания трехмерного объекта при преобразовании в вид "с высоты птичьего полета".

[0102] Модуль 38 вычисления яркостного различия задает точку Pa концентрации внимания на линии La концентрации внимания (точку на первой перпендикулярной воображаемой линии). Модуль 38 вычисления яркостного различия также задает опорную точку Pr на опорной линии Lr (точку на второй перпендикулярной воображаемой линии). Линия La концентрации внимания, точка Pa концентрации внимания, опорная линия Lr и опорная точка Pr имеют взаимосвязь в реальном пространстве, проиллюстрированную на фиг. 17(b). Из фиг. 17(b) очевидно, что линия La концентрации внимания и опорная линия Lr являются линиями, идущими в перпендикулярном направлении в реальном пространстве, и что точка Pa концентрации внимания и опорная точка Pr являются точками, заданными с практически идентичной высотой в реальном пространстве. Точка Pa концентрации внимания и опорная точка Pr не обязательно должны строго поддерживаться на идентичной высоте, и разрешается определенная величина ошибки, которая позволяет точке Pa концентрации внимания и опорной точке Pr считаться находящимся на идентичной высоте.

[0103] Модуль 38 вычисления яркостного различия определяет яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr. Если яркостное различие между точкой Pa концентрации внимания и опорной точкой Pr является значительным, возможно, что край присутствует между точкой Pa концентрации внимания и опорной точкой Pr. В частности, поскольку перпендикулярная воображаемая линия задается в качестве сегмента линии, идущего в перпендикулярном направлении в реальном пространстве относительно изображения вида "с высоты птичьего полета", чтобы обнаруживать трехмерный объект, присутствующий в областях A1, A2 обнаружения, имеется высокая вероятность того, что имеется край трехмерного объекта в местоположении, в котором задана линия La концентрации внимания, когда яркостное различие между линией La концентрации внимания и опорной линией Lr является высоким. Соответственно, модуль 39 обнаружения линий краев, проиллюстрированный на фиг. 16, обнаруживает линию края на основе яркостного различия между точкой Pa концентрации внимания и опорной точкой Pr.

[0104] Этот аспект описывается подробнее. Фиг. 18 является видом для описания подробной работы модуля 38 вычисления яркостного различия. Фиг. 18(a) иллюстрирует изображение вида "с высоты птичьего полета" состояния вида "с высоты птичьего полета", а фиг. 18(b) является укрупненным видом изображения вида "с высоты птичьего полета", проиллюстрированного на фиг. 18(a). На фиг. 18, проиллюстрирована и описана только область A1 обнаружения, но яркостное различие вычисляется с использованием идентичной процедуры для области A2 обнаружения.

[0105] Когда находящееся в смежной полосе движения транспортное средство V2 отображается в захваченном изображении, захваченном посредством камеры 10, находящееся в смежной полосе движения транспортное средство V2 появляется в области A1 обнаружения в изображении вида "с высоты птичьего полета", как проиллюстрировано на фиг. 18(a). Линия La концентрации внимания задается на резиновом участке шины находящегося в смежной полосе движения транспортного средства V2 в изображении вида "с высоты птичьего полета" на фиг. 18(b), как проиллюстрировано в укрупненном виде области B1 на фиг. 18(a). В этом состоянии, модуль 38 вычисления яркостного различия сначала задает опорную линию Lr. Опорная линия Lr задается вдоль перпендикулярного направления в позиции, отстоящей на предварительно определенное расстояние от линии La концентрации внимания в реальном пространстве. В частности, в устройстве 1a обнаружения трехмерных объектов согласно настоящему варианту осуществления, опорная линия Lr задается в позиции на расстоянии, отстоящем на 10 см от линии La концентрации внимания в реальном пространстве. Опорная линия Lr посредством этого задается на колесе шины находящегося в смежной полосе движения транспортного средства V2 таким образом, что она отстоит на расстояние, соответствующее 10 см от резины шины находящегося в смежной полосе движения транспортного средства V2, например, в изображении вида "с высоты птичьего полета".

[0106] Затем, модуль 38 вычисления яркостного различия задает множество точек Pa1-PaN концентрации внимания на линии La концентрации внимания. На фиг. 18(b), шесть точек Pa1-Pa6 концентрации внимания (в дальнейшем называемых "точкой Pai концентрации внимания" при указании произвольной точки) задаются для удобства описания. Произвольное число точек Pa концентрации внимания может задаваться на линии La концентрации внимания. В нижеприведенном описании, N точек Pa концентрации внимания задаются на линии La концентрации внимания.

[0107] Модуль 38 вычисления яркостного различия после этого задает опорные точки Pr1-PrN таким образом, что они имеют высоту, идентичную высоте точек Pa1-PaN концентрации внимания в реальном пространстве. Модуль 38 вычисления яркостного различия вычисляет яркостное различие между парами из точки Pa концентрации внимания и опорной точки Pr с идентичной высотой. Модуль 35 вычисления яркостного различия посредством этого вычисляет яркостное различие между двумя пикселами для каждой из множества позиций (1-N) вдоль перпендикулярной воображаемой линии, идущей в перпендикулярном направлении в реальном пространстве. Модуль 38 вычисления яркостного различия вычисляет яркостное различие, например, между первой точкой Pa1 концентрации внимания и первой опорной точкой Pr1 и вычисляет яркостное различие между второй точкой Pa2 концентрации внимания и второй опорной точкой Pr2. Модуль 38 вычисления яркостного различия посредством этого определяет яркостное различие непрерывно вдоль линии La концентрации внимания и опорной линии Lr. Другими словами, модуль 38 вычисления яркостного различия последовательно определяет яркостное различие между третьей-N-ой точками Pa3-PaN концентрации внимания и третьей-N-ой опорными точками Pr3-PrN.

[0108] Модуль 38 вычисления яркостного различия многократно выполняет процесс задания вышеописанной опорной линии Lr, задания точки Pa концентрации внимания, задания опорной точки Pr и вычисления яркостного различия при смещении линии La концентрации внимания в пределах области A1 обнаружения. Другими словами, модуль 38 вычисления яркостного различия многократно выполняет вышеописанный процесс при изменении позиций линии La концентрации внимания и опорной линии Lr на идентичное расстояние в реальном пространстве вдоль направления, в котором идет линия L1 пересечения с землей. Модуль 35 вычисления яркостного различия, например, задает линию, которая представляет собой опорную линию Lr в предыдущем процессе, в качестве линии La концентрации внимания, задает опорную линию Lr относительно линии La концентрации внимания и последовательно определяет яркостное различие.

[0109] Таким образом, определение яркостного различия из точки Pa концентрации внимания на линии La концентрации внимания и опорной точки Pr на опорной линии Lr, которые имеют практически идентичную высоту в реальном пространстве, дает возможность четкого обнаружения яркостного различия, когда край, идущий в перпендикулярном направлении, присутствует. Точность для обнаружения трехмерного объекта может повышаться без влияния на процесс для обнаружения трехмерного объекта, даже когда трехмерный объект растянут в соответствии с высотой от поверхности дороги посредством преобразования в изображение вида "с высоты птичьего полета", чтобы сравнивать яркость между перпендикулярными воображаемыми линиями, идущими в перпендикулярном направлении в реальном пространстве.

[0110] Возвращаясь к фиг. 16, модуль 39 обнаружения линий краев обнаруживает линию края из непрерывного яркостного различия, вычисленного посредством модуля 38 вычисления яркостного различия. Например, в случае, проиллюстрированном на фиг. 18(b), первая точка Pa1 концентрации внимания и первая опорная точка Pr1 размещаются в идентичном участке шины, и следовательно, яркостное различие является малым. С другой стороны, вторая-шестая точки Pa2-Pa6 концентрации внимания размещаются в резиновых участках шины, и вторая-шестая опорные точки Pr2-Pr6 размещаются в участке колеса шины. Следовательно, яркостное различие между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6 является большим. Соответственно, модуль 39 обнаружения линий краев допускает обнаружение того, что край присутствует между второй-шестой точками Pa2-Pa6 концентрации внимания и второй-шестой опорными точками Pr2-Pr6, где яркостное различие является высоким.

[0111] В частности, когда должна обнаруживаться линия края, модуль 39 обнаружения линий краев сначала назначает атрибут i-ой точке Pai концентрации внимания из яркостного различия между i-ой точкой Pai концентрации внимания (координаты (xi, yi)) и i-ой опорной точкой Pri (координаты (xi′, yi′)) в соответствии с формулой 2, приведенной ниже.

ФОРМУЛА 2

когда I(xi, yi)>I(xi′, yi′)+t,

s(xi, yi)=1, и

когда I(xi, yi)<I(xi′, yi′)-t,

s(xi, yi)=-1.

Иначе,

s(xi, yi)=0.

[0112] В вышеприведенной формуле 2, t представляет пороговое значение края, I(xi, yi) представляет значение яркости i-ой точки Pai концентрации внимания, и I(xi′, yi′) представляет значение яркости i-ой опорной точки Pri. Согласно формуле 2, атрибут s(xi, yi) точки Pai концентрации внимания равен 1, когда значение яркости точки Pai концентрации внимания превышает значение яркости, полученное посредством прибавления порогового значения t края к опорной точке Pri. С другой стороны, атрибут s(xi, yi) точки Pai концентрации внимания равен -1, когда значение яркости точки Pai концентрации внимания меньше значения яркости, полученного посредством вычитания порогового значения t края из опорной точки Pri. Атрибут s(xi, yi) точки Pai концентрации внимания равен 0, когда значение яркости точки Pai концентрации внимания и значение яркости опорной точки Pri находятся во взаимосвязи, отличной от вышеизложенной взаимосвязи.

[0113] Затем, модуль 39 обнаружения линий краев определяет, представляет собой или нет линия La концентрации внимания линию края, из неразрывности c(xi, yi) атрибута s вдоль линии La концентрации внимания на основе нижеприведенной формулы 3.

ФОРМУЛА 3

когда s(xi, yi)=s(xi+1, yi+1) (за исключением 0=0)

c(xi, yi)=1.

Иначе,

c(xi, yi)=0.

[0114] Неразрывность c(xi, yi) равна 1, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания являются идентичными. Неразрывность c(xi, yi) равна 0, когда атрибут s(xi, yi) точки Pai концентрации внимания и атрибут s(xi+1, yi+1) смежной точки Pai+1 концентрации внимания не являются идентичными.

[0115] Затем, модуль 39 обнаружения линий краев определяет сумму неразрывностей c всех точек Pa концентрации внимания на линии La концентрации внимания. Модуль 39 обнаружения линий краев нормализует неразрывность c посредством деления суммы неразрывностей c, определенных таким способом, на число N точек Pa концентрации внимания. Модуль 39 обнаружения линий краев оценивает то, что линия La концентрации внимания является линией края, когда нормализованное значение превышает пороговое значение θ. Пороговое значение θ задается заранее посредством экспериментирования или другого средства.

[0116] Другими словами, модуль 39 обнаружения линий краев оценивает, представляет собой или нет линия La концентрации внимания линию края на основе нижеприведенной формулы 4. Модуль 39 обнаружения линий краев затем оценивает, являются нет все линии La концентрации внимания, нарисованные в области A1 обнаружения, линиями краев.

ФОРМУЛА 4

Σc(xi, yi)/N>θ.

[0117] Таким образом, во втором варианте осуществления, атрибут назначается точке Pa концентрации внимания на основе яркостного различия между точкой Pa концентрации внимания на линии La концентрации внимания и опорной точкой Pr на опорной линии Lr, и оценивается, является или нет линия La концентрации внимания линией края на основе неразрывности c атрибутов вдоль линии La концентрации внимания. Следовательно, границы между областями, имеющими высокую яркость, и областями, имеющими низкую яркость, обнаруживаются в качестве линий краев, и может выполняться обнаружение краев в соответствии с естественными ощущениями человека. Ниже подробно описываются результаты вышеуказанного. Фиг. 20 является видом, иллюстрирующим пример изображения для описания обработки, выполняемой модуля 39 обнаружения линий краев. Этот пример изображения представляет собой изображение, в котором первый полосковый шаблон 101 и второй полосковый шаблон 102 являются смежными друг с другом, при этом первый полосковый шаблон 101 указывает полосковый шаблон, в котором повторяются области с высокой яркостью и области с низкой яркостью, а второй полосковый шаблон 102 указывает полосковый шаблон, в котором повторяются области с низкой яркостью и области с высокой яркостью. Кроме того, в этом примере изображения области первого полоскового шаблона 101, в которых яркость является высокой, и области второго полоскового шаблона 102, в которых яркость является низкой, являются смежными друг с другом, и области первого полоскового шаблона 101, в которых яркость является низкой, и области второго полоскового шаблона 102, в которых яркость является высокой, являются смежными друг с другом. Местоположение 103, размещаемое на границе между первым полосковым шаблоном 101 и вторым полосковым шаблоном 102, имеет тенденцию не восприниматься как край посредством органов чувств человека.

[0118] Напротив, поскольку области с низкой яркостью и области с высокой яркостью являются смежными друг с другом, местоположение 103 распознается в качестве края, когда край обнаруживается только посредством яркостного различия. Тем не менее, модуль 39 обнаружения линий краев определяет местоположение 103 в качестве линии края только тогда, когда существует неразрывность в атрибутах яркостного различия, в дополнение к использованию яркостного различия в местоположении 103. Следовательно, модуль 39 обнаружения линий краев способен устранять ошибочное определение, при котором местоположение 103, которое не распознается в качестве линии края посредством органов чувств человека, распознается в качестве линии края, и может выполняться обнаружение краев, которое соответствует органам чувств человека.

[0119] Возвращаясь к фиг. 16, первый модуль 33a обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 39 обнаружения линий краев. Как описано выше, устройство 1a обнаружения трехмерных объектов согласно настоящему варианту осуществления обнаруживает линию краев, идущую в вертикальном направлении в реальном пространстве. Обнаружение множества линий краев, идущих в перпендикулярном направлении, указывает, что имеется высокая вероятность того, что трехмерный объект присутствует в областях A1, A2 обнаружения. Соответственно, первый модуль 33a обнаружения трехмерных объектов обнаруживает трехмерный объект на основе числа линий краев, обнаруженных посредством модуля 39 обнаружения линий краев. В частности, первый модуль 33a обнаружения трехмерных объектов оценивает, составляет или нет число линий краев, обнаруженных посредством модуля 39 обнаружения линий краев, предварительно определенное пороговое значение β, и когда число линий краев равно или превышает предварительно определенное пороговое значение β, линии краев, обнаруженные посредством модуля 39 обнаружения линий краев, оцениваются в качестве линий краев трехмерного объекта.

[0120] Кроме того, до обнаружения трехмерного объекта, модуль 33a обнаружения трехмерных объектов определяет, являются или нет корректными линии краев, обнаруженные посредством модуля 39 обнаружения линий краев. Первый модуль 33a обнаружения трехмерных объектов определяет, равно или превышает либо нет изменение яркости на линиях краев предварительно определенное пороговое значение tb вдоль линий краев изображения вида "с высоты птичьего полета". Когда изменение яркости на линиях краев в изображении вида "с высоты птичьего полета" равно или превышает предварительно определенное пороговое значение tb, оценивается то, что линии краев обнаружены посредством ошибочного определения. С другой стороны, когда изменение яркости на линиях краев в изображении вида "с высоты птичьего полета" меньше предварительно определенного порогового значения tb, определяется то, что линии краев являются корректными. Пороговое значение tb задается заранее посредством экспериментирования или другого средства.

[0121] Фиг. 21 является видом, иллюстрирующим распределение яркости на линии края, фиг. 21(a) иллюстрирует линию края и распределение яркости, когда находящееся в смежной полосе движения транспортное средство V2 в качестве трехмерного объекта присутствует в области A1 обнаружения, а фиг. 21(b) иллюстрирует линию края и распределение яркости, когда трехмерный объект не присутствует в области A1 обнаружения.

[0122] Как проиллюстрировано на фиг. 21(a), предполагается, что оценено то, что линия La концентрации внимания, заданная на резиновом участке шины находящегося в смежной полосе движения транспортного средства V2, является линией края в изображении вида "с высоты птичьего полета". В этом случае, изменение яркости на линии La концентрации внимания в изображении вида "с высоты птичьего полета" является постепенным. Это обусловлено укрупнением шины находящегося в смежной полосе движения транспортного средства в изображении вида "с высоты птичьего полета" вследствие преобразования точки обзора изображения, захваченного посредством камеры 10, в изображение вида "с высоты птичьего полета". С другой стороны, предполагается, что линия La концентрации внимания, заданная в участке знаков белого цвета "50", нарисованном на поверхности дороги, в изображении вида "с высоты птичьего полета" ошибочно определяется как линия края, как проиллюстрировано на фиг. 21(b). В этом случае, изменение яркости на линии La концентрации внимания в изображении вида "с высоты птичьего полета" имеет значительную волнистость. Это обусловлено тем, что дорога и другие участки с низкой яркостью смешиваются с участками с высокой яркостью в знаках белого цвета на линии края.

[0123] Первый модуль 33a обнаружения трехмерных объектов части скручивания определяет, обнаружена или нет линия края посредством ошибочного определения на основе разностей в распределении яркости на линии La концентрации внимания, как описано выше. Например, когда захваченное изображение, полученное посредством камеры 10, преобразуется в изображение вида "с высоты птичьего полета", трехмерный объект, включенный в захваченное изображение, зачастую появляется растянутым в изображении вида "с высоты птичьего полета". Как описано выше, когда шина находящегося в смежной полосе движения транспортного средства V2 растягивается, шина в качестве одного местоположения растягивается, и изменения яркости изображения вида "с высоты птичьего полета" в направлении растяжения зачастую являются малыми. Напротив, когда символ и т.п., нанесенный на поверхности дороги, ошибочно определен в качестве линии края, области с высокой яркостью, к примеру, участок символов, и области с низкой яркостью, к примеру, участок поверхности дороги, смешанно включаются в изображение вида "с высоты птичьего полета". В этом случае, изменения яркости в направлении растягивания имеют тенденцию быть больше. Соответственно, первый модуль 33a обнаружения трехмерных объектов оценивает то, что линия края обнаружена посредством ошибочного определения, и что линия края не вызывается посредством трехмерного объекта, когда изменение яркости вдоль линии края равно или превышает предварительно определенное пороговое значение tb. Посредством этого можно устранять определение знаков белого цвета, таких как примеру, "50" на поверхности дороги, придорожная растительность и т.п., в качестве линий краев и устранять снижение точности обнаружения трехмерного объекта. С другой стороны, первый модуль 33a обнаружения трехмерных объектов определяет то, что линия края является линией края трехмерного объекта, и то, что трехмерный объект присутствует, когда изменения яркости вдоль линии края меньше предварительно определенного порогового значения tb.

[0124] В частности, первый модуль 33a обнаружения трехмерных объектов вычисляет изменение яркости линии края с использованием нижеприведенной формулы 5 или 6. Изменение яркости линии края соответствует значению оценки в перпендикулярном направлении в реальном пространстве. Формула 5 оценивает распределение яркости с использованием совокупного значения квадрата разности между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания. Формула 6 оценивает распределение яркости с использованием совокупного значения абсолютного значения разности между i-ым значением I(xi, yi) яркости и смежным (i+1)-ым значением I(xi+1, yi+1) яркости на линии La концентрации внимания.

ФОРМУЛА 5

Значение оценки в направлении, соответствующем перпендикуляру = Σ[{I(xi, yi)-I(xi+1, yi+1)}-2].

ФОРМУЛА 6

Значение оценки в направлении, соответствующем перпендикуляру = Σ|I(xi, yi)-I(xi+1, yi+1)|.

[0125] Использование формулы 6 является неограничивающим, и также можно преобразовывать в двоичную форму атрибут b смежного значения яркости с использованием порогового значения t2 и затем суммировать преобразованный в двоичную форму атрибут b для всех точек Pa концентрации внимания, аналогично нижеприведенной формуле 7.

ФОРМУЛА 7

Значение оценки в направлении, соответствующем перпендикуляру = Σb(xi, yi),

где b(xi, yi)=1, когда |I(xi, yi)-I(xi+1, yi+1)|>t2.

Иначе,

b(xi, yi)=0.

[0126] Атрибут b(xi, yi) точки Pa концентрации внимания (xi, yi) равен 1, когда абсолютное значение яркостного различия между значением яркости точки Pai концентрации внимания и значением яркости опорной точки Pri превышает пороговое значение t2. Когда вышеуказанная взаимосвязь не справедлива, атрибут b(xi, yi) точки Pai концентрации внимания равен 0. Пороговое значение t2 задается заранее посредством экспериментирования или другого средства, так что линия La концентрации внимания не определяется как находящаяся на идентичном трехмерном объекте. Первый модуль 33a обнаружения трехмерных объектов затем суммирует атрибут b для всех точек Pa концентрации внимания на линии La концентрации внимания и определяет значение оценки в перпендикулярном эквивалентном направлении, чтобы посредством этого определять, вызывается или нет линия края посредством трехмерного объекта, и присутствует или нет трехмерный объект.

[0127] Модуль 36a вычисления степени помутнения согласно второму варианту осуществления вычисляет количественный показатель кадров для каждого кадра на основе на числа линий краев, обнаруженных из каждого изображения вида "с высоты птичьего полета", полученного в предварительно определенном цикле (на частоте кадров). Например, когда число обнаруженных линий краев равно 0-2, модуль 36a вычисления степени помутнения оценивает то, что находящееся в смежной полосе движения транспортное средство V2 не обнаруживается, и вычисляет количественный показатель в 0 баллов, а когда число обнаруженных линий краев равно 3-4, модуль 36a вычисления степени помутнения оценивает то, что, возможно, может обнаруживаться находящееся в смежной полосе движения транспортное средство V2, и вычисляет количественный показатель в 1 балл, как проиллюстрировано в нижеприведенной таблице 3. Когда число линий краев равно 5-6, модуль 36a вычисления степени помутнения оценивает то, что имеется высокая вероятность того, что обнаруживается находящееся в смежной полосе движения транспортное средство V2, и вычисляет количественный показатель в 2 балла, а когда число обнаруженных линий краев равно 7 или более, модуль 36a вычисления степени помутнения оценивает то, что имеется еще более высокая вероятность того, что обнаруживается находящееся в смежной полосе движения транспортное средство V2, и вычисляет количественный показатель в 3 балла.

[0128] Модуль 36a вычисления степени помутнения вычисляет количественный показатель считывания на основе количественных показателей кадров, вычисленных в течение предварительно определенного времени, и интегрирует вычисленные количественные показатели считывания и посредством этого вычисляет интегрированное значение количественных показателей считывания в качестве степени помутнения линзы. Количественный показатель считывания и степень помутнения линзы могут быть вычислены посредством способа, идентичного способу из первого варианта осуществления.

[0129] Далее описывается способ обнаружения находящихся в смежной полосе движения транспортных средств согласно второму варианту осуществления со ссылкой на фиг. 22 и 23. Фиг. 22 и 23 являются блок-схемами последовательности операций, иллюстрирующими подробности способа обнаружения находящихся в смежной полосе движения транспортных средств согласно второму варианту осуществления. В настоящем варианте осуществления, процесс обнаружения находящихся в смежной полосе движения транспортных средств выполняется параллельно с процессом вычисления степени помутнения, описанным в дальнейшем. Процесс обнаружения находящихся в смежной полосе движения транспортных средств настоящего варианта осуществления многократно выполняется в предварительно определенном цикле (например, в цикле в 0,1 секунду). Для удобства, ниже описывается обработка, выполняемая для области A1 обнаружения, но идентичная обработка выполняется для области A2 обнаружения.

[0130] На этапе S301, предварительно определенная область, указываемая посредством угла a обзора и позиции крепления, захватывается посредством камеры 10, и данные изображений для захваченного изображения P, захваченного посредством камеры 10, получаются посредством компьютера 30a. Затем, модуль 31 преобразования точки обзора преобразует точку обзора полученных данных изображений и формирует данные изображений вида "с высоты птичьего полета" на этапе S302.

[0131] Затем, на этапе S303, модуль 38 вычисления яркостного различия задает линию La концентрации внимания в области A1 обнаружения. В это время, модуль 38 вычисления яркостного различия задает линию, соответствующую линии, идущей в перпендикулярном направлении в реальном пространстве, в качестве линии La концентрации внимания. Модуль 38 вычисления яркостного различия далее задает опорную линию Lr в области A1 обнаружения на этапе S304. В это время, модуль 38 вычисления яркостного различия задает, в качестве опорной линии Lr, линию, которая соответствует линии, идущей в перпендикулярном направлении в реальном пространстве, и которая отстоит на предварительно определенное расстояние в реальном пространстве от линии La концентрации внимания.

[0132] Затем, на этапе S305, модуль 38 вычисления яркостного различия задает множество точек Pa концентрации внимания на линии La концентрации внимания. Кроме того, в это время, модуль 38 вычисления яркостного различия в это время задает определенное число точек Pa концентрации внимания, которые не являются проблематичными во время обнаружения краев посредством модуля 39 обнаружения линий краев. На этапе S306, модуль 38 вычисления яркостного различия задает опорные точки Pr таким образом, что точки Pa концентрации внимания и опорные точки Pr, имеют практически идентичную высоту в реальном пространстве. Точки Pa концентрации внимания и опорные точки Pr посредством этого выстраиваются в ряд практически в горизонтальном направлении, и линия края, идущая в перпендикулярном направлении в реальном пространстве, проще обнаруживается.

[0133] Затем, на этапе S307, модуль 38 вычисления яркостного различия вычисляет яркостное различие между точками Pa концентрации внимания и опорными точками Pr с идентичной высотой в реальном пространстве. Модуль 39 обнаружения линий краев вычисляет атрибут s точек Pa концентрации внимания в соответствии с формулой 1, описанной выше, на основе яркостного различия, вычисленного посредством модуля 38 вычисления яркостного различия.

[0134] Кроме того, на этапе S308, модуль 39 обнаружения линий краев затем вычисляет неразрывность c атрибута s точек Pa концентрации внимания в соответствии с формулой 2. На этапе S309, модуль 39 обнаружения линий краев определяет, превышает или нет значение, полученное посредством нормализации суммы неразрывности c, пороговое значение θ в соответствии с формулой 3. Когда оценено то, что нормализованное значение превышает пороговое значение θ (этап S309="Да"), модуль 39 обнаружения линий краев обнаруживает линию La концентрации внимания в качестве линии края на этапе S310. Процесс затем переходит к этапу S311. Когда оценено то, что нормализованное значение не превышает пороговое значение θ (этап S309="Нет"), модуль 39 обнаружения линий краев не обнаруживает то, что линия La концентрации внимания является линией края, и процесс переходит к этапу S311.

[0135] На этапе S311, компьютер 30a оценивает, выполнены или нет процессы этапов S303-S310 для всех линий La концентрации внимания, которые могут задаваться в области A1 обнаружения. Когда оценивается то, что вышеуказанные процессы не выполнены для всех линий La концентрации внимания (этап S311="Нет"), процесс возвращается к этапу S303, задается новая линия La концентрации внимания, и процесс повторяется через этап S311. С другой стороны, когда оценивается то, что процессы выполнены для всех линий La концентрации внимания (этап S311="Да"), процесс переходит к этапу S312.

[0136] На этапе S312, первый модуль 33a обнаружения трехмерных объектов вычисляет изменение яркости вдоль линии края для каждой линии края, обнаруженной на этапе S310. Первый модуль 33a обнаружения трехмерных объектов вычисляет изменение яркости линий краев в соответствии с любой из формул 5, 6 и 7. Затем, на этапе S313, первый модуль 33a обнаружения трехмерных объектов исключает, из линий краев, линии краев, в которых изменение яркости равно или превышает предварительно определенное пороговое значение tb. Другими словами, когда определяется то, что линия края, имеющая большое изменение яркости, не является корректной линией края, линия края не используется для обнаружения трехмерного объекта. Как описано выше, это осуществляется для того, чтобы устранять обнаружение знаков на поверхности дороги, придорожной растительности и т.п., включенных в область A1 обнаружения, в качестве линий краев. Следовательно, предварительно определенное пороговое значение tb определяется посредством экспериментирования или другого средства заранее и задается на основе изменения яркости, которое возникает вследствие знаков на поверхности дороги, придорожной растительности и т.п. С другой стороны, первый модуль 33a обнаружения трехмерных объектов оценивает линию края, имеющую изменение яркости, которое меньше предварительно определенного порогового значения tb, в качестве линии края трехмерного объекта и посредством этого обнаруживает трехмерный объект, присутствующий в смежной полосе движения.

[0137] Затем, на этапе S314, первый модуль 33a обнаружения трехмерных объектов обнаруживает находящееся в смежной полосе движения транспортное средство V2. В частности, первый модуль 33a обнаружения трехмерных объектов оценивает, присутствует или нет находящееся в смежной полосе движения транспортное средство V2 в смежной полосе движения, посредством оценки того, равно или превышает либо нет число линий краев, обнаруженных на этапе S310, предварительно определенное пороговое значение β. Здесь, пороговое значение β определяется заранее посредством экспериментирования или другого средства и задается. Например, когда четырехколесное транспортное средство задается в качестве трехмерного объекта, который должен быть обнаружен, второе пороговое значение β задается заранее посредством экспериментирования или другого средства на основе числа линий краев четырехколесного транспортного средства, которое появляется в области A1 обнаружения. Когда число линий краев равно или превышает пороговое значение β, первый модуль 33a обнаружения трехмерных объектов оценивает то, что находящееся в смежной полосе движения транспортное средство V2 присутствует в области A1 обнаружения, и обнаруживает находящееся в смежной полосе движения транспортное средство V2 в смежной полосе движения. С другой стороны, когда число линий краев не равно или превышает пороговое значение β, первый модуль 33a обнаружения трехмерных объектов оценивает то, что находящееся в смежной полосе движения транспортное средство V2 не присутствует в области A1 обнаружения, и не обнаруживает находящееся в смежной полосе движения транспортное средство V2.

[0138] Аналогично этапам S112-S114 первого варианта осуществления, на этапах S315-S317, обнаруживается источник света в качестве кандидата для передней фары находящегося в смежной полосе движения транспортного средства V2 (этап S315), и находящееся в смежной полосе движения транспортное средство V2 обнаруживается (этап S316) посредством второго модуля 35 обнаружения трехмерных объектов на основе обнаруженного источника света, который является кандидатом для передней фары находящегося в смежной полосе движения транспортного средства V2. После этого получается степень помутнения линзы, вычисленная посредством процесса вычисления степени помутнения, описанного в дальнейшем (этап S317).

[0139] На этапе S318, результат обнаружения первого модуля 33a обнаружения трехмерных объектов, полученный на этапе S314, и результат обнаружения второго модуля 35 обнаружения трехмерных объектов, полученный на этапе S316, взвешиваются посредством модуля 37 оценки трехмерных объектов на основе степени помутнения линзы, полученной на этапе S317. В частности, модуль 37 оценки трехмерных объектов выполняет взвешивание Wc1 результата обнаружения первого модуля 33a обнаружения трехмерных объектов тем меньшим и взвешивание Wc2 результата обнаружения второго модуля 35 обнаружения трехмерных объектов тем большим, чем выше степень помутнения линзы, как проиллюстрировано посредством формулы 1.

[0140] Затем, на этапе S319, модуль 37 оценки трехмерных объектов оценивает, превышает или нет совокупное значение результатов обнаружения, взвешенное на этапе S318, предварительно определенное пороговое значение sc определения транспортного средства, как проиллюстрировано посредством формулы 1, и когда совокупное значение взвешенного результата обнаружения первого модуля 33a обнаружения трехмерных объектов и результата обнаружения второго модуля 35 обнаружения трехмерных объектов превышает предварительно определенное пороговое значение sc определения транспортного средства, процесс переходит к этапу S320, и оценивается, присутствует что находящееся в смежной полосе движения транспортное средство V2. Когда совокупное значение не превышает предварительно определенное пороговое значение sc определения транспортного средства, процесс переходит к этапу S321, и оценивается то, что не присутствует находящееся в смежной полосе движения транспортное средство V2.

[0141] Далее описывается процесс вычисления степени помутнения согласно второму варианту осуществления со ссылкой на фиг. 24. Фиг. 24 является блок-схемой последовательности операций способа, иллюстрирующей процесс вычисления степени помутнения согласно второму варианту осуществления. Процесс вычисления степени помутнения, описанный ниже, выполняется в предварительно определенном цикле (например, в цикле в 0,1 секунду). Процесс вычисления степени помутнения, описанный ниже, выполняется параллельно с процессом обнаружения находящихся в смежной полосе движения транспортных средств, описанным выше, и степень помутнения линзы, вычисленная в этом процессе вычисления степени помутнения, используется во время обнаружения находящегося в смежной полосе движения транспортного средства V2 в процессе обнаружения находящихся в смежной полосе движения транспортных средств, описанном выше.

[0142] На этапе S401, модуль 36 вычисления степени помутнения обнаруживает число линий краев, обнаруженных в процессе обнаружения находящихся в смежной полосе движения транспортных средств, описанном выше. На этапе S402, количественный показатель кадров вычисляется на основе числа линий краев, обнаруженных на этапе S401, как проиллюстрировано в вышеприведенной таблице 1.

[0143] Процесс, идентичный процессу на этапах S203-S206 первого варианта осуществления, выполняется на этапах S403-S406. Другими словами, выполняется определение в отношении того, обнаруживается или нет передняя фара находящегося в смежной полосе движения транспортного средства V2 (этап S403), и когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2 (этап S403="Да"), вычисляется сумма баллов количественных показателей кадров, вычисленных в течение предварительно определенного временного интервала (этап S404). Количественный показатель считывания затем вычисляется (этап S405), как проиллюстрировано в вышеприведенной таблице 2, на основе суммы баллов вычисленных количественных показателей кадров, и интегрированное значение количественного показателя считывания вычисляется как степень помутнения линзы (этап S406). Когда передняя фара находящегося в смежной полосе движения транспортного средства V2 не обнаруживается (этап S403="Нет"), вычисление количественного показателя кадров повторяется. Степень помутнения линзы, вычисленная на этапе S406, используется в процессе обнаружения находящихся в смежной полосе движения транспортных средств, проиллюстрированном на фиг. 22 и 23.

[0144] Как описано выше, во втором варианте осуществления, обнаруживается край находящегося в смежной полосе движения транспортного средства V2, взвешивание, соответствующее степени помутнения линзы, применяется к результату обнаружения первого модуля 33a обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе края и к результату обнаружения второго модуля 35 обнаружения трехмерных объектов для обнаружения находящегося в смежной полосе движения транспортного средства V2 на основе передней фары, и выполняется оценка на основе взвешенных результатов обнаружения в отношении того, присутствует или нет находящееся в смежной полосе движения транспортное средство V2. В частности, взвешивание результата обнаружения первого модуля 33 обнаружения трехмерных объектов задается тем меньшим, и взвешивание результата обнаружения второго модуля 35 обнаружения трехмерных объектов задается тем большим, чем выше степень помутнения линзы, и оценивается, присутствует или нет находящееся в смежной полосе движения транспортное средство V2. В дополнение к преимуществу первого варианта осуществления, посредством этого во втором варианте осуществления можно надлежащим образом обнаруживать находящееся в смежной полосе движения транспортное средство V2 в соответствии со степенью, в которой помутнена линза, также тогда, когда находящееся в смежной полосе движения транспортное средство V2 обнаруживается на основе края, обнаруженного из захваченного изображения.

[0145] Варианты осуществления, описанные выше, описываются для того, чтобы упрощать понимание настоящего изобретения, и не описываются для того, чтобы ограничивать настоящее изобретение. Следовательно, элементы, раскрытые в вышеприведенных вариантах осуществления, имеют намерение включать в себя все конструктивные модификации и эквиваленты, которые попадают в объем настоящего изобретения.

[0146] Например, в вариантах осуществления, описанных выше, пояснена примерная конфигурация, в которой результат обнаружения первого модуля 33 обнаружения трехмерных объектов и результат обнаружения второго модуля 35 обнаружения трехмерных объектов взвешиваются на основе степени помутнения линзы, как проиллюстрировано в формуле 1, и находящееся в смежной полосе движения транспортное средство V2 оценивается как присутствующее, когда совокупное значение взвешенного результата обнаружения первого модуля 33 обнаружения трехмерных объектов и результата обнаружения второго модуля 35 обнаружения трехмерных объектов равно или превышает предварительно определенное пороговое значение sc определения транспортного средства. Тем не менее, эта конфигурация не является ограничивающей, и может быть приспособлена конфигурация, в которой разностное пороговое значение th и пороговое значение t края для обнаружения трехмерного объекта изменяются, например, на основе степени помутнения линзы. В частности, разностное пороговое значение th или пороговое значение t края могут быть изменены на меньшее значение, чем выше степень помутнения линзы, для того чтобы упрощать обнаружение трехмерного объекта. В этом случае, трехмерный объект может легко обнаруживаться, даже когда линза помутнена, и, следовательно, может надлежащим образом обнаруживаться находящееся в смежной полосе движения транспортное средство V2, присутствующее в смежной полосе движения. Аналогично, пороговое значение α и пороговое значение β для обнаружения трехмерного объекта могут быть тем ниже, чем выше степень помутнения линзы. Пороговое значение θ, пороговое значение t2, пороговое значение tb и другие значения также могут изменяться, чем выше степень помутнения линзы, чтобы упрощать обнаружение трехмерного объекта. Пиксельные значения (или значения яркости), выведенные из камеры 10, также могут увеличиваться, чем выше обнаруженная степень помутнения линзы. В этом случае, поскольку становится проще обнаруживать разностные пикселы DP или края, ускоряется обнаружение трехмерного объекта (находящегося в смежной полосе движения транспортного средства V2), и как результат, находящееся в смежной полосе движения транспортное средство V2 может быть надлежащим образом обнаружено, даже когда линза помутнена.

[0147] В первом варианте осуществления, описанном выше, поясняется примерная конфигурация, в которой трехмерный объект обнаруживается в качестве находящегося в смежной полосе движения транспортного средства V2, когда скорость движения трехмерного объекта удовлетворяет предварительно определенному условию. Тем не менее, может быть приспособлена конфигурация, в которой обнаружение находящегося в смежной полосе движения транспортного средства V2 ускоряется посредством ослабления вышеуказанного условия, например, когда степень помутнения линзы является высокой. В вариантах осуществления, описанных выше, трехмерный объект оценивается в качестве находящегося в смежной полосе движения транспортного средства V2, когда абсолютная скорость движения трехмерного объекта, например, составляет 10 км/ч или более, и относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 составляет +60 км/ч или менее. Тем не менее, может быть приспособлена конфигурация, в которой трехмерный объект оценивается в качестве находящегося в смежной полосе движения транспортного средства V2, когда абсолютная скорость движения трехмерного объекта составляет 5 км/ч или более, и относительная скорость движения трехмерного объекта относительно рассматриваемого транспортного средства V1 составляет +70 км/ч или менее, например, когда степень помутнения линзы является высокой.

[0148] В дополнение к вариантам осуществления, описанным выше, может быть приспособлена конфигурация, в которой предполагается, что линза помутнена, и находящееся в смежной полосе движения транспортное средство V2 не может обнаруживаться надлежащим образом, когда степень помутнения линзы равна или превышает предварительно определенное значение, и обнаружение находящегося в смежной полосе движения транспортного средства V2 не выполняется в таком случае. Например, в примере, проиллюстрированном на фиг. 12, также может быть приспособлена конфигурация, в которой не выполняется обнаружение находящегося в смежной полосе движения транспортного средства V2, когда степень помутнения линзы достигает верхнего предельного значения S2 в 100, либо когда степень помутнения линзы находится около верхнего предельного значения S2, т.е. в 80 или выше.

[0149] В вариантах осуществления, описанных выше, пояснена примерная конфигурация, в которой количественный показатель считывания вычисляется на основе количественных показателей кадров, вычисленных в течение предварительно определенного временного интервала, включающего в себя количество света для времени до момента времени, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, когда обнаруживается передняя фара находящегося в смежной полосе движения транспортного средства V2, и инициируется вычисление степени помутнения линзы. Тем не менее, эта конфигурация не является ограничивающей, и может быть приспособлена конфигурация, в которой количественный показатель считывания вычисляется, например, только на основе количественных показателей кадров, вычисленных в течение предварительно определенного временного интервала после того, как обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2. Например, в примере, проиллюстрированном на фиг. 11, может быть приспособлена конфигурация, в которой количественный показатель DS1 считывания вычисляется посредством вычисления количественного показателя считывания на основе 25-кадровой части количественных показателей кадров от времени t5, в которое обнаружена передняя фара находящегося в смежной полосе движения транспортного средства V2, до времени t30.

[0150] Кроме того, в вариантах осуществления, описанных выше, описывается пример случая, в котором водяная пленка или другое постороннее вещество прилипает к линзе камеры 10, и линза помутнена. Тем не менее, постороннее вещество не ограничивается водяной пленкой и также может включать в себя капли дождя, грязь и т.п.

[0151] Камера 10 вариантов осуществления, описанных выше, соответствует средству захвата изображений настоящего изобретения, модуль 31 преобразования точки обзора соответствует средству преобразования изображений настоящего изобретения, и модуль 32 совмещения, первый модуль 33, 33a обнаружения трехмерных объектов, модуль 38 вычисления яркостного различия и модуль 39 обнаружения линий краев соответствуют первому средству обнаружения трехмерных объектов настоящего изобретения. Модуль 34 обнаружения передних фар соответствует средству обнаружения источников света настоящего изобретения, второй модуль 35 обнаружения трехмерных объектов соответствует второму средству обнаружения трехмерных объектов настоящего изобретения, модуль 37 оценки трехмерных объектов соответствует средству управления настоящего изобретения, и модуль 36, 36a вычисления степени помутнения соответствует средству вычисления степени помутнения настоящего изобретения.

СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ

[0152] 1, 1a - устройство обнаружения трехмерных объектов

10 - камера

20 - датчик скорости

30, 30a - компьютер

31 - модуль преобразования точки обзора

32 - модуль совмещения

33, 33a - первый модуль обнаружения трехмерных объектов

34 - модуль обнаружения передних фар

35 - второй модуль обнаружения трехмерных объектов

36, 36a - модуль вычисления степени помутнения

37 - модуль оценки трехмерных объектов

38 - модуль вычисления яркостного различия

39 - модуль обнаружения линий краев

a - угол обзора

A1, A2 - области обнаружения

CP - точка пересечения

DP - разностные пикселы

DWt, DWt′ - форма разностных сигналов

DWt1-DWm, DWm+k-DWtn - малые области

L1, L2 - линии пересечения с землей

La, Lb - линия в направлении, в котором сплющивается трехмерный объект

P - захваченное изображение

PBt - изображение вида "с высоты птичьего полета"

PDt - разностное изображение

V1 - рассматриваемое транспортное средство

V2 - находящееся в смежной полосе движения транспортное средство