Результат интеллектуальной деятельности: ПРОМЫШЛЕННЫЕ ТРАНСПОРТНЫЕ СРЕДСТВА, МЕСТОПОЛОЖЕНИЕ КОТОРЫХ ОПРЕДЕЛЯЕТСЯ ПО ПЛАФОНАМ ВЕРХНЕГО ОСВЕЩЕНИЯ

Ссылка на родственные заявки

Настоящая заявка испрашивает приоритет в соответствии с предварительной заявкой на выдачу патента США №61/884,388, поданной 30 сентября 2013 года; предварительной заявкой на выдачу патента США №61/897,287, поданной 30 октября 2013 года; и предварительной заявкой на выдачу патента США №14/499,721, поданной 29 сентября 2014 года.

Предшествующий уровень техники настоящего изобретения

Настоящее изобретение, в общем, относится к системам и способам выдачи признаков потолочных плафонов, в частности, к системам и способам выдачи характерных осевых линий потолочных плафонов.

Для перемещения грузов в промышленной среде рабочие часто используют промышленные транспортные средства, к которым относятся, например, вилочные автопогрузчики, ручные или электроприводные тележки для перевозки поддонов и/или иные подъемно-транспортные машины. Промышленные транспортные средства могут быть представлены автоматически управляемыми тележками или транспортными тележками с ручным управлением, перемещающимися в окружающем пространстве. С целью облегчения автоматического дистанционного управления, перемещения или и того и другого промышленное транспортное средство может быть снабжено системой определения его местоположения в окружающем пространстве. Иными словами, промышленное транспортное средство может быть оснащено датчиками и процессорами для определения его местоположения в окружающем пространстве, например, для определения ориентации и положения промышленного транспортного средства. Датчики могут быть выполнены с возможностью обнаружения объектов в окружающем пространстве, а определение местоположения транспортного средства может зависеть от признаков, выделенных из изображения такого обнаруженного объекта.

Краткое раскрытие настоящего изобретения

В одном из вариантов осуществления настоящего изобретения промышленное транспортное средство может содержать видеокамеру и один или несколько процессоров; при этом указанные компоненты коммуникативно связаны друг с другом. Видеокамера может быть установлена на промышленном транспортном средстве таким образом, чтобы она была направлена на потолок складского помещения. Видеокамера способна фиксировать входное изображение плафонов, расположенных на потолке складского помещения. Один или несколько процессоров выполняют машиночитаемые команды для увязки исходных признаков потолочных плафонов на входном изображении с одной или несколькими группами признаков. Для преобразования исходных признаков одной или нескольких групп признаков в линейные сегменты, соотнесенные с одной или несколькими группами признаков, может быть выполнено преобразование Хафа. Затем может быть найдена выпуклая оболочка исходных признаков одной или нескольких групп признаков. После чего линейные сегменты одной или нескольких групп признаков сравниваются с линейными сегментами выпуклой оболочки в пространстве Хафа. Линейные сегменты одной или нескольких групп признаков, которые выходят за пределы порогового значения степени сходства с выпуклой оболочкой исходных признаков одной или нескольких групп признаков, отбраковываются. Для одной или нескольких групп признаков может быть отобрано предпочтительное множество линий из линейных сегментов одной или нескольких групп признаков. Из предпочтительного множества линий может быть выделена осевая линия одной или нескольких групп признаков. Осевая линия одной или нескольких групп признаков может быть соотнесена с одним из потолочных плафонов на входном изображении. Промышленное транспортное средство может перемещаться внутри складского помещения, используя осевую линию одной или нескольких групп признаков.

В другом варианте осуществления настоящего изобретения промышленное транспортное средство может содержать видеокамеру и один или несколько процессоров, коммуникативно связанных с указанной видеокамерой. Эта видеокамера может быть установлена на промышленном транспортном средстве таким образом, чтобы она была направлена на потолок складского помещения. Эта видеокамера захватывает входное изображение светопрозрачного фонаря, расположенного на потолке складского помещения. Один или несколько процессоров выполняют машиночитаемые команды для выделения первичных характерных контуров светопрозрачного фонаря на входном изображении потолка. Первичные характерные контуры могут быть сведены в группу признаков. Для преобразования первичных характерных контуров группы признаков в линейные сегменты, соотнесенные с этой группой признаков, может быть выполнено преобразование Хафа. Затем может быть найдена выпуклая оболочка первичных характерных контуров группы признаков. После чего линейные сегменты группы признаков сравниваются с линейными сегментами выпуклой оболочки в пространстве Хафа. Линейные сегменты группы признаков, которые выходят за пределы порогового значения степени сходства с выпуклой оболочкой первичных характерных контуров группы признаков, отбраковываются. Для группы признаков может быть отобрано предпочтительное множество линий из линейных сегментов этой группы признаков. Из предпочтительного множества линий группы признаков может быть выделена осевая линия этой группы признаков. По осевой линии может определяться ориентация промышленного транспортного средства, его положение, или и то и другое. Используя данные об ориентации, местоположении или о том и другом, промышленное транспортное средство может перемещаться внутри складского помещения.

В еще одном из вариантов осуществления настоящего изобретения может быть реализован способ проводки промышленного транспортного средства. Он предусматривает захват входного изображения светопрозрачного фонаря и плафона практически круглой формы на потолке складского помещения. Сначала видеокамерой, соединенной с промышленным транспортным средством, захватывается входное изображение. Из входного изображения светопрозрачного фонаря могут быть выделены исходные признаки. Выпуклая оболочка исходных признаков может быть найдена автоматически с помощью одного или нескольких процессоров. Используя выпуклую оболочку, из исходных признаков можно отобрано предпочтительное множество линий. С помощью одного или нескольких процессоров практически круглый плафон на входном изображении может быть автоматически преобразован в точечный признак. Из предпочтительного множества линий может быть выделена осевая линия светопрозрачного фонаря. По осевой линии и точечному признаку может определяться ориентация промышленного транспортного средства, его положение, или и то и другое. Используя данные об ориентации, местоположении или о том и другом, промышленное транспортное средство может перемещаться внутри складского помещения.

А в еще одном из вариантов осуществления настоящего изобретения может быть реализована система проводки промышленного транспортного средства через здание. Эта система содержит видеокамеру, выполненную с возможностью установки на промышленном транспортном средстве и захвата изображения потолка здания, на котором установлены плафоны, а также один или несколько процессоров, которые коммуникативно связаны с указанной видеокамерой. Эта видеокамера способна захватывать входные изображения потолочных плафонов внутри здания. Один или несколько процессоров выполняют машиночитаемые команды для увязки исходных признаков потолочных плафонов на входном изображении с одной или несколькими группами признаков. Для преобразования исходных признаков одной или нескольких групп признаков в линейные сегменты, соотнесенные с одной или несколькими группами признаков, может быть выполнено преобразование Хафа. Затем может быть найдена выпуклая оболочка исходных признаков одной или нескольких групп признаков. После чего линейные сегменты одной или нескольких групп признаков сравниваются с линейными сегментами выпуклой оболочки в пространстве Хафа. Линейные сегменты одной или нескольких групп признаков, которые выходят за пределы порогового значения степени сходства с выпуклой оболочкой исходных признаков одной или нескольких групп признаков, отбраковываются. Для одной или нескольких групп признаков может быть отобрано предпочтительное множество линий из линейных сегментов одной или нескольких групп признаков. Из предпочтительного множества линий может быть выделена осевая линия одной или нескольких групп признаков. Осевая линия одной или нескольких групп признаков может быть соотнесена с одним из потолочных плафонов на входном изображении. Используя осевую линию одной или нескольких групп признаков, промышленное транспортное средство может перемещаться внутри складского помещения.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, выпуклая оболочка может содержать линейные сегменты оболочки, с которыми сравниваются линейные сегменты одной или нескольких групп признаков.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, один или несколько процессоров могут выполнять машиночитаемые команды для преобразования линейных сегментов оболочки в координаты пространства Хафа, где линейные сегменты оболочки представляют собой бесконечные линии, обозначаемые координатами ρ и θ.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, один или несколько процессоров могут выполнять машиночитаемые команды для ранжирования линейных сегментов одной или нескольких групп признаков по степени интенсивности линий. Первая краевая линия может быть отобрана из линейных сегментов предпочтительного множества линий. Первая краевая линия может представлять собой линию высшего ранга из числа линейных сегментов предпочтительного множества линий. Дополнительно или в качестве альтернативного варианта первая краевая линия может быть представлена координатами ρ и θ. Дополнительно или в качестве альтернативного варианта один или несколько процессоров могут выполнять машиночитаемые команды для отбора второй краевой линии из линейных сегментов предпочтительного множества линий. Вторая краевая линия может быть отобрана, исходя из близости к координате θ первой краевой линии. Дополнительно или в качестве альтернативного варианта вторая краевая линия может быть отделена от первой краевой линии пороговым значением расстояния. Дополнительно или в качестве альтернативного варианта один или несколько процессоров могут выполнять машиночитаемые команды для перебора линейных сегментов из предпочтительного множества линий, переходя от линий высшего ранга к линиям низшего ранга, с целью отбора второй краевой линии. Дополнительно или в качестве альтернативного варианта один или несколько процессоров могут выполнять машиночитаемые команды для вычисления точки схождения, в которой сходятся вторая и первая краевые линии. Затем рассчитывается линия деления пополам второй краевой линии и первой краевой линии. По линии деления пополам может быть рассчитана осевая линия.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, каждая группа из числа одной или нескольких групп исходных признаков может быть по отдельности преобразована в линейные сегменты.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, входное изображение может быть недоэкспонировано для высвечивания плафонов верхнего освещения.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, один или несколько процессоров могут выполнять машиночитаемые команды для выделения исходных признаков светопрозрачных фонарей. Исходными признаками могут служить первичные характерные контуры. Первичные характерные контуры могут быть отнесены к классу светопрозрачных фонарей. Первичные характерные контуры могут быть сведены в одну или несколько групп признаков. Одна или несколько групп признаков могут включать в себя по одной группе на каждый уникальный светопрозрачный фонарь из числа всех светопрозрачных фонарей. В каждой их этих групп могут содержаться первичные характерные контуры уникального светопрозрачного фонаря.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, плафоны верхнего освещения могут быть представлены круглыми и совмещенными плафонами. Один или несколько процессоров могут выполнять машиночитаемые команды для выделения признаков из изображений круглых и совмещенных плафонов. Исходные признаки могут включать в себя признаки, выделенные из изображений круглых и совмещенных плафонов. Признаки, выделенные из изображений круглых и совмещенных плафонов, могут быть разбиты на два класса: стандартные плафоны и совмещенные плафоны. Дополнительно или в качестве альтернативного варианта исходные признаки могут включать в себя лишние признаки. Один или несколько процессоров могут выполнять машиночитаемые команды для классификации лишних признаков как искажений. Дополнительно или в качестве альтернативного варианта первичные характерные контуры могут быть сведены в одну или несколько групп признаков, исходя из их относительной близости друг к другу. Один или несколько процессоров могут выполнять машиночитаемые команды для расчета минимального рабочего прямоугольника для каждого из первичных характерных контуров. Относительная близость может быть рассчитана по расстоянию между признаками минимального рабочего прямоугольника для каждого из первичных характерных контуров.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, запоминающее устройство может быть коммуникативно связано с одним или несколькими процессорами, видеокамерой или обоими указанными компонентами.

Применительно к любым промышленным транспортным средствам, способам и системам, описанным в настоящем документе, промышленное транспортное средство может быть приспособлено к перемещению в ручном и/или автоматическом режиме управления.

Более полное понимание указанных и дополнительных признаков, предложенных в вариантах осуществления заявленного изобретения, которые описаны в настоящем документе, может быть достигнуто путем ознакомления с нижеследующим подробным описанием в привязке к чертежам.

Краткое описание фигур

Варианты осуществления заявленного изобретения, представленные в настоящем документе, носят исключительно иллюстративный характер и не ограничивают объем заявленного изобретения, определенный формулой изобретения. Более полное понимание нижеследующего подробного описания иллюстративных вариантов осуществления настоящего изобретения может быть достигнуто в привязке к прилагаемым чертежам, на которых одни и те же позиции обозначаются одними и теми же номерами; в частности:

На фиг. 1 изображено транспортное средство, местоположение которого определяется по объектам окружающего пространства согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 2 представлена блок-схема, иллюстрирующая пример алгоритма выделения признаков на изображении видеокамеры/выделения признаков верхнего освещения при определении местоположения транспортного средства по объектам окружающего пространства согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 3 схематически показано входное изображение трех светопрозрачных фонарей согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 4 представлена блок-схема, иллюстрирующая пример алгоритма выделения признаков светопрозрачных фонарей согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 5 представлено схематическое изображение первичных характерных контуров трех светопрозрачных фонарей по фиг. 3 согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 6 представлено схематическое изображение исходных признаков по фиг. 5, сведенных в отдельные группы, соответствующие каждому из светопрозрачных фонарей по фиг. 3, согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 7 представлено схематическое изображение линейных сегментов, выделенных из групп исходных признаков по фиг. 5 с использованием метода выделения характерных признаков, согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе;

На фиг. 8 представлено схематическое изображение отобранных линейных сегментов по фиг. 7, преобразованных в «бесконечные» линии, согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе; и

На фиг. 9 представлено схематическое изображение признаков осевой линии, наложенных на входное изображение по фиг. 3, согласно одному или нескольким вариантам осуществления заявленного изобретения, проиллюстрированным и описанным в настоящем документе.

Подробное раскрытие настоящего изобретения

Варианты осуществления заявленного изобретения, описанные в настоящем документе, относятся, в общем, к способам определения местоположения по объектам окружающего пространства (метод EBL) для выделения признаков из элементов верхнего освещения, включающих в себя, помимо прочего, светопрозрачные фонари. Способ EBL может быть использован для определения местоположения и/или перемещения промышленного транспортного средства в пределах здания, такого как склад. Элементы верхнего освещения могут быть предусмотрены в потолке или установлены на потолке здания. Однако в некоторых вариантах реализации заявленного изобретения дополнительно или в качестве альтернативного варианта предусмотрено, что светильники могут свисать с потолка или соответствующих настенных конструкций. В некоторых вариантах осуществления настоящего изобретения на промышленном транспортном средстве (например, на автоматически управляемой тележке или транспортной тележке с ручным управлением), которое перемещается по складскому помещению, может быть установлена видеокамера. Входным изображением может быть любое изображение, захваченное видеокамерой до выделения из него признаков.

Как показано на фиг. 1, транспортное средство (100) может быть выполнено с возможностью перемещения в пределах складского помещения (110). Транспортное средство (100) может представлять собой промышленное транспортное средство для подъема и перемещения полезных грузов, такое как вилочный автопогрузчик, штабелер с выдвижным грузоподъемником, штабелер-комплектовщик, тележка-штабелер, буксировщик, паллетная тележка, самоходный прицеп с высоко/низко расположенной платформой, кран-штабелер, погрузчик с боковым выдвижным грузоподъемником, вилочный подъемник или иное транспортное средство подобного рода. Промышленное транспортное средство может быть выполнено с возможностью перемещения в ручном или автоматическом режиме по поверхности (122) складского помещения (110) по заданному маршруту. Соответственно, перемещение транспортного средства (100) вперед и назад осуществляется за счет вращения одного или нескольких колес (124). Дополнительно может быть предусмотрена возможность изменения направления движения транспортного средства (100) за счет управления одним или несколькими колесами (124) с помощью руля. Опционально транспортное средство может содержать органы (126) управления, обеспечивающие управление функциями транспортного средства, такими как, помимо прочего, частота вращения колес (124), ориентация колес (124) и т.п. Органы (126) управления могут представлять собой средства управления, соотнесенные с определенными функциями транспортного средства (100). К ним относятся, например, переключатели, кнопки, рычаги, ручки, педали, устройство ввода-вывода и т.п. Следует отметить, что термин «перемещать» в контексте настоящего документа означает управлять перемещением транспортного средства с одного места в другое.

Транспортное средство (100) дополнительно содержит видеокамеру (102) для захвата изображений потолка. Видеокамера (102) может представлять собой любое устройство подобного рода, способное фиксировать внешний вид объекта и преобразовывать его в изображение. Соответственно, видеокамера (102) может содержать датчик изображений, такой как, например, прибор с зарядовой связью, датчик изображений на КМОП-структуре или функциональные эквиваленты указанных устройств. В некоторых вариантах осуществления настоящего изобретения транспортное средство (100) может быть расположено внутри складского помещения (110) и выполнено с возможностью захвата изображений потолка (112) складского помещения (110). Для захвата потолочных изображений видеокамера (102) может быть установлена на транспортном средстве (100) таким образом, чтобы она была направлена на потолок (112). С целью описания и раскрытия заявленного изобретения термин «изображение» в контексте настоящего документа означает отображение внешнего вида обнаруженного объекта. Изображение может быть представлено в различных машиночитаемых форматах, таких как, например, JPEG, JPEG 2000, Exif, TIFF, RAW, GIF, BMP, PNG, Netpbm, WEBP, растровые форматы, векторные форматы или иные форматы подобного рода, пригодные для фиксации потолочных объектов.

На потолке (112) складского помещения (110) могут быть предусмотрены элементы верхнего освещения, такие как, помимо прочего, потолочные плафоны (114), освещающие транспортное средство, работающее внутри складского помещения, с потолка (112) или, в общем, сверху. Потолочные плафоны (114) могут представлять собой плафоны практически прямоугольной формы, такие как, например, светопрозрачные фонари (116), лампы дневного света или иные светильники подобного рода; при этом они могут быть предусмотрены на потолке или свисать с потолка или настенных конструкций, обеспечивая освещение сверху. В контексте настоящего документа термин «светопрозрачный фонарь» означает отверстие на потолке или крыше, закрытое практически прозрачной средой, пропускающей дневной свет, такой как, например, воздух, стекло, пластик и т.п. Хотя светопрозрачные фонари могут характеризоваться самой разной формой и размерами, светопрозрачные фонари, описанные в настоящем документе, могут представлять собой «стандартные» вытянутые фонари практически прямоугольной формы, разделенные или не разделенные поперечинами или перекладинами на ряд панелей. В альтернативном варианте светопрозрачные фонари могут представлять собой не связанные друг с другом фонари меньшего размера прямоугольной или круглой формы, схожие по размерам с окнами спальни, т.е. примерно 30×60 дюймов (примерно 73×146 см). Дополнительно или в качестве альтернативного варианта потолочные плафоны (114) могут включать в себя плафоны практически круглой формы, такие как, например, круглые плафоны (118); совмещенные плафоны (120), состоящие из множества примыкающих друг к другу круглых плафонов, образующих единый объект; или иные плафоны подобного рода. Таким образом, элементы верхнего освещения или «потолочные плафоны» представляют собой источники естественного (например, дневного) или искусственного (например, электрического) освещения.

Варианты осуществления заявленного изобретения, описанные в настоящем документе, могут содержать один или несколько процессоров (104), коммуникативно связанных с видеокамерой (102). Один или несколько процессоров (104) могут выполнять машиночитаемые команды для автоматической реализации любого способа или функции, описанной в настоящем документе. Запоминающее устройство (106), содержащее машиночитаемые команды, может быть коммуникативно связано с одним или несколькими процессорами (104), видеокамерой (102) или указанными компонентами в любом сочетании. Каждый процессор из числа одного или нескольких процессоров (104) может представлять собой процессор, интегральную схему, микрочип, компьютер или любое иное вычислительное устройство, способное выполнять машиночитаемые команды или выполненное с возможностью выполнения функций аналогично машиночитаемым командам. Запоминающее устройство (106) может представлять собой ОЗУ, ПЗУ, флэш-память, жесткий диск или любой энергонезависимый носитель, на котором могут храниться машиночитаемые команды.

Один или несколько процессоров (104) и запоминающее устройство (106) могут быть интегрированы в видеокамеру (102). Дополнительно или в качестве альтернативного варианта один или несколько процессоров (104) и запоминающее устройство (106) могут быть интегрированы в транспортное средство (100). Кроме того, один или несколько процессоров (104) и запоминающее устройство (106) могут быть отделены от транспортного средства (100) и видеокамеры (102). Например, один или несколько процессоров (104), запоминающее устройство (106) или оба этих компонента могут быть предусмотрены на сервере или мобильном вычислительном устройстве. Следует отметить, что один или несколько процессоров (104), запоминающее устройство (106) и видеокамера (102) могут представлять собой дискретные компоненты, коммуникативно связанные друг с другом в пределах объема заявленного изобретения. Соответственно в некоторых вариантах осуществления настоящего изобретения компоненты одного или нескольких процессоров (104), компоненты запоминающего устройства (106) и компоненты видеокамеры (102) могут быть физически отделены друг от друга. Фраза «коммуникативно связаны» в контексте настоящего документа означает, что компоненты способны обмениваться друг с другом сигналами данных, например, электрическими сигналами через проводящую среду, электромагнитными сигналами по воздуху, оптическими сигналами по оптическим волноводам и т.п.

Таким образом, в вариантах осуществления настоящего изобретения может быть предусмотрена логическая схема или алгоритм, написанный любым языком программирования любого поколения (например, 1GL, 2GL, 3GL, 4GL или 5GL). Логическая схема или алгоритм может быть написан как машинный код, исполняемый непосредственно процессором; или же как язык ассемблера, объектно-ориентированный язык программирования, скриптовый язык, микрокод и т.д., который может быть скомпилирован или сведен в машиночитаемые команды, хранящиеся на машиночитаемом носителе информации. Дополнительно или в качестве альтернативного варианта логическая схема или алгоритм может быть написан на языке описания технических средств (HDL). Кроме того, логическая схема или алгоритм может быть реализован через программируемую логическую интегральную схему типа FPGA, специализированную заказную интегральную схему (ASIC) или их эквиваленты.

Как было отмечено выше, транспортное средство (100) может быть коммуникативно связано с одним или несколькими процессорами (104); или же в него могут быть интегрированы такие процессоры. Соответственно, один или несколько процессоров (104) могут выполнять машиночитаемые команды по управлению функциями органов (126) управления или по их замене. Машиночитаемые команды могут храниться в запоминающем устройстве (106). Соответственно, в некоторых вариантах осуществления настоящего изобретения транспортное средство (100) может перемещаться в автоматическом режиме под управлением одного или нескольких процессоров (104), выполняющих машиночитаемые команды. В некоторых вариантах реализации заявленного изобретения местоположение транспортного средства (100) во время перемещения может контролироваться системой EBL.

Например, транспортное средство (100) может автоматически перемещаться по поверхности (122) в пределах складского помещения (110) по заданному маршруту в заданное место, исходя из своего локализованного положения. В некоторых вариантах осуществления настоящего изобретения транспортное средство (100) может определить свое локализованное положение относительно складского помещения (110). Локализованное положение транспортного средства (100) может быть определено путем сравнения входных данных с картографическими данными. Картографические данные могут храниться в запоминающем устройстве (106) и периодически обновляться; или же картографические данные могут поступать с сервера или иного источника данных подобного рода. С учетом локализованного положения можно проложить маршрут движения транспортного средства (100) до требуемой точки. После прокладки маршрута транспортное средство (100) может начать движение по заданному маршруту, перемещаясь по поверхности (122) складского помещения (110). В частности, один или несколько процессоров (106) могут выполнять машиночитаемые команды для реализации функций EBL и управления транспортным средством (100). В одном из вариантов осуществления настоящего изобретения один или несколько процессоров (106) могут регулировать рулевое управление колесами (124) и контролировать подачу горючей смеси в двигатель для перемещения транспортного средства (100) по поверхности (122).

На фиг. 2 представлена блок-схема, иллюстрирующая последовательность выполнения операций по полному алгоритму (10) выделения признаков на изображении видеокамеры (CFE-алгоритму). Следует отметить, что хотя в проиллюстрированном варианте осуществления настоящего изобретения все операции пронумерованы и выстроены в определенной последовательности, эти операции могут выполняться и в альтернативной последовательности в пределах объема настоящего изобретения. Следует также отметить, что одна или несколько операций могут быть пропущены в пределах объема вариантов осуществления заявленного изобретения, раскрытых в настоящем документе.

Как показано на фиг. 1-3, CFE-алгоритм (10) может предусматривать операцию (20) предварительной обработки входного изображения (200) потолка (204) до выполнения последующих операций над входным изображением (200). Как видно, входное изображение (200) фиксирует кадр со светопрозрачными фонарями (202), соответствующими светопрозрачным фонарям (116) складского помещения (110). В некоторых вариантах осуществления настоящего изобретения операция (20) предварительной обработки может предусматривать устранение эффекта дисторсии объектива на входном изображении (200). Дополнительно или в качестве альтернативного варианта входное изображение (200) может фиксироваться с намеренным недоэкспонированием для высвечивания потолочных плафонов (114), в том числе светопрозрачных фонарей (116). Было установлено, что недоэкспонирование способствует уменьшению отражений и других побочных артефактов, наличие которых усложняет процесс выделения признаков и делает его менее надежным.

CFE-алгоритм (10) может предусматривать дополнительную операцию (22) по выделению признаков из входного изображения (200) потолка (204). В операции (22) по выделению признаков может использоваться один или несколько алгоритмов обнаружения признаков, таких как, например, алгоритм максимально стабильных экстремальных регионов (MSER), стадия определения порогового значения в сочетании с методом Опу для выделения исходных признаков (например, плафонов) из изображения или эквивалентные алгоритмы. В частности, выделенные из входного изображения (200) признаки могут быть использованы в процессе определения местоположения для вычисления положения потолочных плафонов (114), изображение которых зафиксировано видеокамерой (102). Например, из признаков круглых элементов освещения, таких как плафоны практически круглой формы, могут быть выделены центроиды. Кроме того, светопрозрачный фонарь небольшого размера может быть полностью захвачен одним кадром изображения. Соответственно, функция выделения центроидов может быть применена в отношении плафонов практически круглой формы.

CFE-алгоритм (10) может дополнительно предусматривать операцию (24) классификации исходных признаков (206), выделенных из входного изображения (200) потолка (204) в ходе выполнения операции (22) по выделению признаков. Операция (24) классификации предусматривает разделение исходных признаков (206) на разные классы с целью их подготовки к последующему, более точному, процессу обработки. Например, по отношению более длинной главной оси к малой оси может быть проведено различие между совмещенными и круглыми плафонами. Светопрозрачные панели могут быть отделены от круглых плафонов, исходя из размеров и круглости. В частности, круглые плафоны обычно образуют на изображении пятна меньшего размера и более круглой формы в сравнении со светопрозрачными панелями. Иногда более мелкие сегменты светопрозрачных панелей могут быть представлены на изображении во фрагментированном виде, что может привести к ошибке при классификации.

В проиллюстрированном варианте осуществления настоящего изобретения исходные признаки (206) могут быть разделены на следующие четыре класса: стандартные плафоны (круглой формы), совмещенные плафоны, светопрозрачные фонари и искажения. Метка искажений может быть использована для обозначения лишних «ложных» признаков, таких как отражения. Исходные признаки (206), классифицированные как искажения, могут быть отбракованы на стадии выполнения операции (24) классификации признаков; т.е. они не будут использоваться в ходе выполнения последующих операций. Каждый из признаков остальных трех классов может быть подвергнут отдельной обработке для выделения требуемой информации. Как будет подробнее описано ниже, из исходных признаков (206) класса стандартных плафонов и класса совмещенных плафонов может быть выделен точечный признак, а из класса стандартных светопрозрачных фонарей может быть выделен линейный признак, после чего каждый из выделенных признаков может быть передан в систему EBL.

В частности, на стадии (26) обработки данных по круглым плафонам выявляются центроиды исходных признаков (206) класса стандартных плафонов. Дополнительно или в качестве альтернативного варианта на стадии (28) обработки данных по совмещенным плафонам осуществляется разделение пары плафонов, которые проявляются слитно на входном изображении (200), и выполняется поиск двух центроидов. На стадии (30) обработки данных по светопрозрачным фонарям все выделенные компоненты, относящиеся к классу светопрозрачных фонарей, сводятся в соответствующую группу, после чего вычисляются их осевые линии, что будет подробнее описано ниже. На стадии (50) фильтрации признаков по целевой области удаляются признаки, выходящие за пределы данной области. Соответственно, могут быть удалены любые остаточные признаки, такие как отражения от стойки тележки. На стадии (52) преобразования системы координат осуществляется перевод координат признаков из системы обработки изображений (например, начало отсчета - в верхнем левом углу) в систему EBL (например, начало отсчета - по центру изображения) до того, как подтвержденные признаки будут переданы в EBL на стадии (54).

Обратимся теперь к фиг. 3-5, где на фиг.4 представлена блок-схема последовательности (30) операций по обработке признаков класса светопрозрачных фонарей. Следует отметить, что хотя в проиллюстрированном варранте реализации заявленного изобретения все эти операции пронумерованы и выстроены в определенной последовательности, они могут выполняться и в альтернативной последовательности в пределах объема настоящего изобретения. Следует также отметить, что одна или несколько операций могут быть пропущены в пределах объема вариантов осуществления заявленного изобретения, раскрытых в настоящем документе. Входными данными для последовательности (30) операций по обработке признаков класса светопрозрачных фонарей служат первичные характерные контуры (208), которые могут представлять собой исходные признаки (206) входного изображения (200), отнесенные к классу светопрозрачных фонарей. Выходными данными последовательности (30) операций по обработке признаков класса светопрозрачных фонарей может служить множество характерных осевых линий (226). В некоторых вариантах осуществления настоящего изобретения осевые линии (226) могут быть определены как координаты в пространстве Хафа (т.е. как полярные координаты). Предпочтительно, чтобы для каждого уникального светопрозрачного фонаря (202), зафиксированного на входном изображении (200), была подтверждена одна осевая линия (226).

Как показано на фиг. 4 и 6, последовательность (30) операций по обработке признаков класса светопрозрачных фонарей может предусматривать стадию (32) группирования, на которой первичные характерные контуры (208) соотносятся со светопрозрачными фонарями. В ходе операции по группированию может быть использован любой алгоритм, способный обеспечить повторяющееся соотнесение первичных характерных контуров (208) со светопрозрачными фонарями (202). В одном из вариантов осуществления настоящего изобретения для группирования первичных характерных контуров (208), исходя из их относительной близости друг к другу, может быть использовано пороговое значение расстояния. Поскольку первичные характерные контуры (208) могут иметь сложную форму, сначала для каждого из них могут быть рассчитаны ориентированные рабочие прямоугольники минимального размера, после чего по указанным прямоугольникам может быть рассчитано расстояние между признаками для группирования.

Соответственно, первичные характерные контуры (208) могут быть сгруппированы с целью их разделения по светопрозрачным фонарям, соотнесенным с первичными характерными контурами (208). Заявителями было установлено, что колебания естественного освещения могут вызывать несоответствие изображений, т.е. панели могут разбиваться непоследовательно. Соответственно, осевые линии (226) могут определяться по всем светопрозрачным фонарям, которые представлены сгруппированными первичными характерными контурами (208), а не по признакам каждой отдельной панели. В некоторых вариантах осуществления настоящего изобретения первичные характерные контуры (208) могут быть сведены в группы (210) признаков, по одной группе на каждый светопрозрачный фонарь (202). В частности, поскольку входное изображение (200) (фиг. 3) содержит три светопрозрачных фонаря (202), первичные характерные контуры могут быть сведены в три группы (210) признаков, которые локализуются на стадии (32) группирования.

Как показано на фиг. 4 и 7, последовательность (30) операций по обработке признаков класса светопрозрачных фонарей может предусматривать стадию (34) выделения признаков, на которой из первичных характерных контуров (208) выделяются линейные сегменты (212). Линейные сегменты (212) могут быть соотнесены с каждой из групп (210) признаков в виде первичных характерных контуров (208). В некоторых вариантах осуществления настоящего изобретения стадия (34) выделения признаков может предусматривать использование алгоритма выделения признаков, который может обеспечить преобразование каждой группы (210) признаков в виде первичных характерных контуров (208) по отдельности, т.е. единовременно по одной труппе, в линейные сегменты (212), соотнесенные с группой (210) признаков, из который были выделены эти линейный сегменты (212). В некоторых вариантах реализации заявленного изобретения по каждой отдельной группе (210) признаков в виде первичных характерных контуров (208) может быть выполнено преобразование Хафа с целью выявления линейных сегментов (212), соотнесенных с каждым светопрозрачным фонарем (202). Каждый из линейных сегментов (212) может быть представлен двумя концевыми точками. Возвращаемые после преобразования Хафа линейные сегменты (212) могут быть ранжированы по степени интенсивности, т.е. чем больше пикселей в линии или чем длиннее линия, тем более высокий ранг эта линия имеет в преобразовании Хафа. Было установлено, что из-за эффекта искажения перспективы и затемнения линейные сегменты (212) более высокого ранга могут не соответствовать «правильным» краевым линиям. Например, линейными сегментами (212) более высокого ранга могут быть перпендикулярные пересекающие линии (218), отходящие от поперечин, разделяющих панели. Для повышения вероятности выделения корректных осевых линий может быть предусмотрена стадия (36) фильтрации, на которой отфильтровываются нежелательные линии, возвращаемые после преобразования.

Как показано на фиг. 4, 6 и 8, последовательность (30) операций по обработке признаков класса светопрозрачных фонарей может предусматривать стадию (36) фильтрации для отбора предпочтительного множества линий (214) из линейных сегментов (212) в группах (210) признаков. Например, после выделения групп (210) признаков в виде линейных сегментов (212) предпочтительное множество линий (214) может быть отобрано с помощью алгоритма вычислительной геометрии, например, алгоритма для решения статических задач или иного алгоритма подобного рода. В одном из вариантов осуществления настоящего изобретения для отбора предпочтительного множества линий (214) может быть использован алгоритм выпуклой оболочки. Было установлено, что использование алгоритмов выпуклой оболочки в сочетании с преобразованиями Хафа может существенно улучшить возможности CFE-алгоритма (10) (фиг. 2) по выделению «правильных» краевых линий, используемых для нахождения характерных осевых линий. Соответственно, может быть повышена точность определения осевых линий и улучшена локализация с использованием характерных осевых линий.

В некоторых вариантах осуществления настоящего изобретения может быть найдена выпуклая оболочка (220) групп (210) признаков в виде первичных характерных контуров (208) (например, группы концевых точек светопрозрачных фонарей и т.п.). Выпуклая оболочка (220) может представлять собой выпуклое множество, содержащее первичные характерные контуры (208), такое как, например, глобальное минимальное выпуклое множество или локальное минимальное выпуклое множество, определенное алгоритмом выпуклой оболочки. Выпуклая оболочка (220) групп (210) признаков в виде первичных характерных контуров (208) может содержать упорядоченный перечень точек, именуемых точками выпуклой оболочки (А, В, С и D). В некоторых вариантах осуществления настоящего изобретения точки выпуклой оболочки могут циклически повторяться для нахождения линейных сегментов (228) оболочки, составляющих выпуклую оболочку (220); т.е. линейный сегмент (228) может быть образован точкой А оболочки и точкой В оболочки, точкой В оболочки и точкой С оболочки, точкой С оболочки и точкой D оболочки, точкой D оболочки и точкой А оболочки, и т.д. Линейные сегменты (228) оболочки могут быть преобразованы в координаты пространства Хафа (т.е. в полярные координаты).

Обратимся теперь к фиг. 6-8. Линейные сегменты (228) выпуклой оболочки (220) могут сравниваться (предпочтительно в пространстве Хафа) с линейными сегментами (212), соотнесенными с группой (210) признаков в виде первичных характерных контуров (208). Любые линейные сегменты (212) из группы (210) признаков, которые выходят за пределы определенного порогового значения степени сходства с линейными сегментами (228) выпуклой оболочки (220) в координатах пространства Хафа, могут быть отбракованы и исключены из предпочтительного множества линий. Следует отметить, что отбраковывается большинство диагональных линий (230) и перпендикулярных пересекающих линий (218) в группах (210) признаков. Дополнительно или в качестве альтернативного варианта линейные сегменты (212), представленные двумя концевыми точками, могут быть преобразованы в «бесконечные» линии, т.е. линии, представленные в пространства Хафа координатами ρ и θ.

Если обратиться к фиг. 2, 4 и 7, то следует отметить, что в некоторых вариантах осуществления настоящего изобретения стадия (36) фильтрации не является обязательной. Например, заявителями было установлено, что если расстояние от видеокамеры (102) до потолка (112) достаточно велико, то входное изображение (200) может характеризоваться уменьшенным искажением перспективы. Следовательно, перпендикулярные пересекающие линии (218), отходящие от поперечин, которые разделяют панели, могут быть не обнаружены в ходе выполнения операции (34) по выделению признаков, так как перпендикулярные пересекающие линии (218) могут оказаться намного короче длинных «правильных» краевых линий на входном изображении (200).

Как показано на фиг. 2, 4 и 7-9, последовательность (30) операций по обработке признаков класса светопрозрачных фонарей может предусматривать стадию (38) вычисления осевой линии, на которой осуществляется отбор двух краевых линий из группы (210) признаков, соответствующих светопрозрачному фонарю (202), и вычисление осевой линии (226) по отобранным краевым линиям. В частности, для выведения осевой линии (226) для каждого светопрозрачного фонаря (202) могут быть отобраны и использованы первая краевая линия (222) и вторая краевая линия (224). По завершении отбора предпочтительного множества линий (214) в качестве первой краевой линии (222) могут быть отобраны линейные сегменты (212) наивысшего ранга, оставшиеся в предпочтительном множестве линий (214). Поскольку координаты первой краевой линии в пространстве Хафа могут быть известны, то может быть инициирован перебор линий (214) из предпочтительного множества (от линий высшего ранга к линиям низшего ранга) с целью отбора второй краевой линии (224) из числа линейных сегментов (212), которая характеризовалась бы углом 0, приближенным к углу первой краевой линии (222). Поскольку в некоторых вариантах осуществления настоящего изобретения операция (36) фильтрации является необязательной, первая краевая линия (222) и вторая краевая линия (224) могут быть отобраны, как это описано выше, непосредственно из группы (210) признаков в виде линейных сегментов (212).

В некоторых вариантах осуществления настоящего изобретения для того, чтобы гарантировать отбор второй краевой линии (224) таким образом, чтобы она отстояла от первой краевой линии (222) в пространстве Хафа, т.е. во избежание отбора аналогичной линии, выведенной по повторяющемуся признаку, может быть использовано пороговое значение расстояния. В частности, заявителями было установлено, что множественные схожие линии могут быть сведены после преобразования Хафа в единую краевую линию. Соответственно, в качестве второй краевой линии (224) могут быть отобраны линейные сегменты (212) высшего ранга, удовлетворяющие критериям подобия.

Осевая линия (226) может быть рассчитана по первой краевой линии (222) и второй краевой линии (224). Например, в одном из вариантов осуществления настоящего изобретения осевая линия (226) может быть локализована путем вычисления точки схождения, в которой первая краевая линия (222) сходится со второй краевой линией (224). Линия деления пополам может быть найдена с использованием координат точки (216) схождения, первой краевой линии (222) и второй краевой линии (224) в пространстве Хафа. Линия деления может быть использована в качестве осевой линии (226). Осевые линии (226), которые наложены поверх входного изображения (200), как это показано на фиг. 9, могут быть переданы в систему EBL. Таким образом, осевая линия каждой группы признаков может быть соотнесена с одним из светопрозрачных фонарей, а система EBL может быть использована для выдачи признаков, обеспечивающих перемещение транспортного средства, или же она может отображаться на дисплее, коммуникативно связанным с системой EBL. Следует отметить, что существует ряд параметров (например, пороговые значения), которые могут быть сконфигурированы под каждую функцию CFE-алгоритма в зависимости от конкретного производственного объекта, в пределах которой перемещается транспортное средство. Соответственно, варианты осуществления заявленного изобретения, описанные в настоящем документе, могут дополнительно предусматривать стадию калибровки для определения точных значений параметров.

Следует понимать, что варианты реализации CFE-алгоритма, описанные в настоящем документе, могут быть использованы для выделения признаков из объектов, зафиксированных на входных изображениях потолка. Таким образом, объекты, которые могут быть обнаружены на потолке, такие как, например, потолочные плафоны, могут быть использованы для генерирования признаков, которые могут быть переданы в систему EBL. Система EBL может использовать признаки, полученные с входного изображения, для определения ориентации транспортного средства, его положения или и того и другого. Например, переданные признаки могут включать в себя осевые линии и точечные признаки, которые могут быть использованы в совокупности. Соответственно, ориентация и положение транспортного средства могут быть использованы в качестве параметров навигации, одновременной локализации и картирования (SLAM) или и того и другого.

Следует отметить, что термины «практически» и «около» в контексте настоящего документа означают естественную степень неопределенности, которая может быть отнесена к любому количественному сравнению, значению, измерению или иному показателю. В контексте настоящего документа эти термины также используются для отражения степени возможного отклонения количественного показателя от заявленного контрольного значения, которое не приводит к изменению базовых функций рассматриваемого объекта изобретения.

Хотя в настоящем документе проиллюстрированы и описаны конкретные примеры осуществления изобретения, следует понимать, что возможны различные изменения и дополнения, не выходящие за пределы существа и объема настоящего изобретения, определенные формулой изобретения. Более того, хотя в настоящем описании представлены различные аспекты заявленного предмета изобретения, эти аспекты не обязательно должны использоваться в сочетании. Поэтому предполагается, что прилагаемая формула изобретения охватывает все такие изменения и дополнения в пределах объема заявленного предмета изобретения.