ОБНАРУЖЕНИЕ СОСТОЯНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ ОБРАБОТКИ ИЗОБРАЖЕНИЯ, СООТВЕТСТВУЮЩИЙ СПОСОБ И ПОСТОЯННЫЙ МАШИНОЧИТАЕМЫЙ НОСИТЕЛЬ

УРОВЕНЬ ТЕХНИКИ

[0001] Беспилотные транспортные средства (UV), которые могут включать в себя беспилотные воздушные транспортные средства (UAV), беспилотные летательные аппараты, беспилотные наземные транспортные средства, даже совместно действующие роботы и т.д., обычно эксплуатируются без человека на борту. Пилотируемые транспортные средства, такие как летательные аппараты, вертолеты, пилотируемые наземные транспортные средства и т.д., обычно эксплуатируются с человеком на борту. Транспортные средства, включая беспилотные и пилотируемые транспортные средства, с системами формирования изображения, такими как видеокамеры, инфракрасные (IR) датчики и т.д., могут использоваться для съемки изображений интересующей области. Изображения могут анализироваться по отношению к объектам, которые расположены в интересующей области.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0002] Признаки настоящего изобретения проиллюстрированы на примерах, показанных на нижеследующих чертежах. На нижеследующих чертежах одинаковые ссылочные позиции обозначают одинаковые элементы, при этом:

[0003] Фиг. 1 иллюстрирует подробную архитектуру системы обнаружения состояния с использованием обработки изображения в соответствии с примером настоящего изобретения;

[0004] Фиг. 2 иллюстрирует общее выполнение для системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0005] Фиг. 3 иллюстрирует разделение данных на участке для системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0006] Фиг. 4 иллюстрирует поток данных для модуля формирования трехмерной модели системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0007] Фиг. 5 иллюстрирует процесс подготовки данных привязки глобальной системы позиционирования (GPS) для использования в модуле формирования трехмерной модели в соответствии с примером настоящего изобретения;

[0008] Фиг. 6 иллюстрирует формирование карт высот для модуля формирования трехмерной модели в соответствии с примером настоящего изобретения;

[0009] Фиг. 7 иллюстрирует поток данных для распознавателя (модуля распознавания) объекта системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0010] Фиг. 8 иллюстрирует область линейных инфраструктурных объектов, которая должна контролироваться посредством системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0011] Фиг. 9 иллюстрирует общую реализацию и исполнение для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0012] Фиг. 10 иллюстрирует классификацию земли и формирование маски земли для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0013] Фиг. 11 иллюстрирует оценку уровня высоты земли для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0014] Фиг. 12 иллюстрирует подготовку обучающих данных для системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0015] Фиг. 13 иллюстрирует обнаружение мачт и формирование маски мачт для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0016] Фиг. 14 иллюстрирует обнаружение электрических линий и формирование маски линейной интересующей области (ROI) для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0017] Фиг. 15 иллюстрирует обнаружение растительности и формирование маски растительности для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0018] Фиг. 16 иллюстрирует обнаружение неизвестного объекта и формирование маски неизвестного объекта для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0019] Фиг. 17 и 18 иллюстрируют создание областей для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0020] Фиг. 19 иллюстрирует консолидацию области для модуля распознавания объектов в соответствии с примером настоящего изобретения;

[0021] Фиг. 20А-20C иллюстрируют модуль реконструкции трехмерной кривой для системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0022] Фиг. 21 иллюстрирует поток данных модуля анализа рисков для модуля анализа рисков системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0023] Фиг. 22-24 иллюстрируют оценку рисков для областей для модуля анализа рисков в соответствии с примером настоящего изобретения;

[0024] Фиг. 25 иллюстрирует обнаружение растительности в полосе отчуждения (RoW) для модуля анализа рисков в соответствии с примером настоящего изобретения;

[0025] Фиг. 26 иллюстрирует обнаружение высоких деревьев для модуля анализа рисков в соответствии с примером настоящего изобретения;

[0026] Фиг. 27 иллюстрирует определение минимального клиренса (просвета) линии электропередачи для модуля анализа рисков в соответствии с примером настоящего изобретения;

[0027] Фиг. 28 и 29 иллюстрируют консолидацию рисков для модуля консолидации рисков системы обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0028] Фиг. 30 иллюстрирует поток данных клиентского пользовательского интерфейса, относящегося к системе обнаружения состояния с использованием обработки изображения согласно фиг. 1 в соответствии с примером настоящего изобретения;

[0029] Фиг. 31 иллюстрирует клиентский пользовательский интерфейс в соответствии с примером настоящего изобретения;

[0030] Фиг. 32 иллюстрирует способ определения состояния с использованием обработки изображения в соответствии с примером настоящего изобретения;

[0031] Фиг. 33 иллюстрирует способ обнаружения состояния с использованием обработки изображения в соответствии с примером настоящего изобретения; и

[0032] Фиг. 34 иллюстрирует компьютерную систему согласно примеру настоящего изобретения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0033] Для простоты и в иллюстративных целях, настоящее изобретение описано с обращением, главным образом, к его примерам. В нижеследующем описании приведено множество конкретных подробностей для обеспечения полного понимания настоящего изобретения. Однако будет очевидно, что настоящее изобретение может быть осуществлено без ограничения этими конкретными подробностями. В других случаях, некоторые способы и структуры не были подробно описаны, чтобы не затруднять понимание настоящего изобретения.

[0034] В настоящем описании формы единственного числа предназначены для обозначения по меньшей мере одного конкретного элемента. В контексте настоящей заявки термин «включает в себя» означает включение, но без ограничения указанным; термин «включающий в себя» означает включение, но без ограничения указанным. Термин «основанный на» означает основанный по меньшей мере частично на этом.

[0035] В отношении транспортных средств в общем (например, UAV, беспилотных летательных аппаратов, беспилотных наземных транспортных средств, пилотируемых летательных аппаратов, пилотируемых вертолетов, пилотируемых наземных транспортных средств, спутников и т.д.), такие транспортные средства могут использоваться для обнаружения состояния с использованием обработки изображения, как описано в настоящем документе. С усовершенствованиями в датчиках, возможностями методов анализа данных и программируемыми компонентами механизации, транспортные средства могут использоваться в различных неоднозначных средах и для выполнения множества неоднозначных задач. Например, транспортные средства могут использоваться для доставки контейнеров, в сельском хозяйстве, аварийных службах, для проверки трубопроводов, проверки мачт линии электропередачи и т.д. Однако интеграция транспортных средств в отношении контроля объектов и анализа состояния таких объектов с использованием компьютерного зрения и прогнозной аналитики является ограниченной. Как правило, объект может быть описан как нечто, что контролируется (например, трубопроводы, сети энергоснабжения, железные дороги, автомагистрали, растительность, деревья, объекты и т.д.). В этом отношении, объекты могут быть описаны как инфраструктурные объекты - объекты, проверка состояния которых может быть основной целью контроля (например, мачты для сетей энергоснабжения, линии электропередачи для сетей энергоснабжения и т.д.) или как неинфраструктурные объекты - объекты, которые потенциально могут нанести ущерб инфраструктурным объектам или препятствуют инфраструктурным объектам выполнять свои задачи (например, растительность, антропогенные объекты и т.д.).

[0036] В соответствии с одним примером, относительно контроля и анализа состояния таких объектов, как энергосистемы, энергосистемы отвечают за формирование, передачу и распределение энергии в различные районы, дома, отрасли промышленности и т.д. Для таких энергосистем, при передаче энергии могут возникнуть проблемы. Для передачи энергии может быть определен путь, где расположены электрические линии, которые используются для передачи энергии, причем путь обозначается как полоса отчуждения (RoW). Эта RoW может использоваться коммунальными предприятиями, чтобы получать доступ к мачтам передачи, например, для текущего обслуживания мачт и электрических линий, для аварийного доступа, чтобы поддерживать область электрических линий свободной от растительности и объектов, которые могут мешать работе электрических линий, и/или чтобы идентифицировать, когда есть какие-либо препятствия, которые могут вызвать проблемы в области электрических линий. Термин «область электрических линий» может использоваться для описания области, которая включает в себя электрические линии и мачты. RoW может быть описана как область, которая включает в себя область электрических линий, и область вблизи электрических линий, которая должна быть свободна от растительности, сооружений или других объектов. RoW должна быть очищена, чтобы избежать рисков, таких как искровое перекрытие или электрическая дуга, которые могут вызывать широкомасштабные отключения электроэнергии и пожары, чтобы гарантировать надежное и безопасное энергоснабжение и безопасность общественных и частных зон, которые находятся вокруг RoW.

[0037] В отношении примера контроля и анализа состояния объектов, таких как энергетические системы, существующие процедуры обслуживания передачи могут включать в себя периодические проверки, которые выполняются обслуживающим персоналом с помощью вертолета или пешим образом, которые могут выполняться для определения, существует ли какая-либо потребность в ремонте. Этот тип стратегии влечет за собой как значительные затраты на техническое обслуживание, так и затраты времени. Кроме того, если происходит случайный инцидент, например, падение дерева как последствие грозы, то точное определение места происшествия является сложным и трудоемким.

[0038] Задачи, описанные здесь в отношении примера контроля и анализа состояния объектов, таких как энергосистемы, могут также применяться к другим отраслям и областям, таким как контроль и анализ состояния зданий, железных дорог, автомагистралей и т.д.

[0039] Чтобы решить вышеупомянутые проблемы в отношении контроля и анализа состояния объектов, в настоящем документе раскрывается система обнаружения состояния с использованием обработки изображения и способ обнаружения состояния с использованием обработки изображения. Для раскрытых здесь системы и способа, могут быть интегрированы такие технологии, как транспортные средства, компьютерное зрение, машинное обучение, распознавание образов и расширенный анализ для оценки того, существуют ли какие-либо виды рисков в отношении контролируемых объектов. Например, в отношении энергосистем, система и способ, раскрытые здесь, могут обеспечивать контроль и анализ состояния, относящиеся к RoW и/или области электрических линий. Система и способ, раскрытые в настоящем документе, могут предоставлять релевантную информацию в отношении обнаруженных рисков, такую как местоположение в глобальной системе позиционирования (GPS), размер и т.д. На основании использования транспортных средств, контроль и анализ состояния, обеспечиваемые системой и способом, раскрытыми здесь, могут выполняться эффективным образом с точки зрения времени и затрат, включая области, которые могут быть труднодоступными для людей.

[0040] В отношении контроля и анализа состояния объектов, контроль и анализ состояния могут использоваться для других приложений, связанных с работой объектов. Например, результаты контроля и анализа состояния могут использоваться для определения и/или оптимального использования бюджета, ассоциированного с задачами, связанными с контролем и анализом состояния. Например, в отношении энергетических систем, контроль и анализ состояния могут быть использованы для определения того, какие области RoW наиболее опасны, и очистки таких областей. В отношении других приложений, полет в непосредственной близости от объекта, который контролируется, может использоваться для проверки правильности выполнения предыдущей задачи, связанной с объектом. Результаты анализа исторических данных, относящегося к контролю и анализу состояния, также могут быть использованы для оптимизации планового обслуживания объектов и продления срока службы таких объектов.

[0041] В соответствии с примерами, система и способ, раскрытые в настоящем документе, могут в большинстве случаев использовать контроллер задания для назначения и управления заданием при получении заказа на выполнение работы. Контролер задания может поддерживать знание парка транспортных средств, датчиков и экипажа, а также информацию о статусе заказа на выполнение работы и статусе задания. Контролер задания может преобразовать заказ на выполнение работы в запрос задания путем назначения транспортных средств, датчиков и экипажа запросу задания, идентификации плана движения транспортного средства и цели задания. После запуска задания система, раскрытая здесь, может анализировать данные связи (например, телеметрические данные), принятые во время задания, и может формировать сигналы оповещения и/или другую информацию на основании обнаружения рисков.

[0042] В отношении контроллера задания, который отслеживает информацию, относящуюся к транспортным средствам, датчиков и экипажа, управляющего транспортным средством, транспортные средства могут отслеживаться, например, по типу, наличию и возможности установки конкретных датчиков. Контроллер задания также может отслеживать датчики по типу, наличию и возможности установки на конкретных транспортных средствах. Экипажи, управляющие транспортным средством могут также отслеживаться по наличию и способности управлять конкретными транспортными средствами.

[0043] Контроллер задания может получить заказ на выполнение работы, относящийся к заданию транспортного средства. В соответствии с примером, заказы на выполнение работы могут быть получены от различных предприятий и могут охватывать различные виды применения транспортных средств. Контроллер задания может преобразовать заказ на выполнение работы в запрос задания. Запрос задания может идентифицировать, например, операцию для транспортного средства, тип транспортного средства для выполнения операции, по меньшей мере один тип датчика, который должен быть установлен на транспортном средстве, экипаж для эксплуатации транспортного средства, план движения и/или цель задания. Например, запрос задания может указывать на то, что транспортное средство с неподвижным крылом или квадрокоптер (т.е. типы транспортных средств) могут быть оснащены фотокамерой для съемки изображений RoW для множества мачт. После запуска задания, транспортное средство может следовать плану движения автономно (например, для беспилотного транспортного средства) или с переменными степенями дистанционного управления оператором от контроллера задания. Датчики, установленные на транспортном средстве, могут передавать данные в реальном времени на контроллер задания, который может передавать релевантные данные в систему, раскрытую здесь, для дальнейшего анализа. Передача релевантных данных может происходить либо после посадки транспортного средства (например, для воздушных транспортных средств), завершения задания, либо в реальном времени на основании доступности ширины полосы.

[0044] Хотя примеры системы и способа, раскрытые в настоящем документе, были описаны в отношении энергетических систем (например, контроля и анализа состояния мачт и электрических линий), раскрытые система и способ могут использоваться в различных средах и для различных целей. Например, раскрытые система и способ могут использоваться для контроля трубопровода в нефтегазовой отрасли. В нефтегазовой отрасли, раскрытые система и способ могут использоваться в других сценариях, включая другие виды разведки (например, обследование участка, бурение на буровой площадке и т.д.), разработки (например, размещение площадки, рендеринг объекта, капитальные вложения, технический надзор и т.д.), производства (например, проверка факела/вентиляции, обнаружение масляного блеска, предотвращение аварийных ситуаций и т.д.), изготовления (проверка промывочных желобков/вытяжной трубы, проверка резервуара/газа, обнаружение газа и т.д.) и транспортировки (например, контроль RoW, контроль хищения и т.д.).

[0045] Система и способ, раскрытые в настоящем документе, могут быть использованы при доставке контейнеров (например, пищевых продуктов, медикаментов, оборудования и т.д.), воздушном наблюдении (например, полицией/пожарной службой, для картографии, фотографии, кино, журналистики, недвижимости и т.д.), разведке (например, при обнаружении мин, обследовании участка и т.д.), исследовании (например, дикой природы, атмосферы, океана и т.д.), дистанционном зондировании (например, телекоммуникационном, метеорологическом, морском, в строительстве и т.д.), оказании помощи в связи со стихийными бедствиями (например, помощь оставшимся в живых, исследование загрязненных районов и т.д.), в окружающей среде (например, лесные пожары, угрозы и т.д.) и сельском хозяйстве (например, распыление пестицидов, рост сельскохозяйственных культур, заболевание, уровень орошения, дикие животные и т.д.).

[0046] Система и способ, раскрытые в настоящем документе, могут использоваться для планирования диагностического обслуживания для обеспечения проверки, диагностики, ремонта и технического обслуживания имущества. Кроме того, раскрытые система и способ могут использоваться, например, для идентификации и планирования управления, связанного с окружающей средой (например, ландшафтом, растительностью и т.д.). Система и способ, раскрытые в настоящем документе, могут также обеспечивать усовершенствования в области безопасности и защиты окружающей среды, связанные с различными видами деятельности, описанными здесь. Например, в отношении энергетических систем, раскрытые система и способ могут использоваться для эффективной и экономичной защиты имущества от саботажа и террористических действий.

[0047] Система и способ, раскрытые в настоящем документе, могут использоваться, чтобы анализировать данные с транспортного средства для определения задач, которые могут быть автоматизированы как электронным, так и механическим способом в рабочем потоке, и чтобы выявлять интуитивные решения (догадки), которые могут быть получены из данных. Эти интуитивные решения могут использоваться для принятия операционных решений, таких как сокращение времени выполнения до обнаружения проблемы или диагностическое обслуживание мачт и электрических линий, например, в отрасли энергосистем. Система и способ, раскрытые в настоящем документе, могут предусматривать снижение воздействия опасных сред, повышать действенность и эффективность в отношении обнаружения состояния с использованием обработки изображения и оптимизировать операции.

[0048] В общем, система и способ, раскрытые в настоящем документе, могут предназначаться для широкого спектра применений, в которых анализ данных на основании автоматических или автоматизированных средств, может использоваться для снижения затрат, повышения надежности и повышения производительности.

[0049] Система и способ, раскрытые в настоящем документе, могут учитывать аспекты, связанные с состоянием технологии транспортных средств, регулирование и соответствие, готовность и безопасность и конфиденциальность. В отношении технологии транспортных средств, система и способ, раскрытые в настоящем документе, могут обеспечивать аппаратную и программную платформу и установку для обнаружения состояния с использованием обработки изображения.

[0050] Система обнаружения состояния с использованием обработки изображения и способ обнаружения состояния с использованием обработки изображения обеспечивают техническое решение технических задач, связанных, например, с обнаружением состояния с использованием обработки изображения. Система и способ, раскрытые в настоящем документе, обеспечивают техническое решение модуля формирования трехмерной модели для приема изображений, захваченных транспортным средством во время движения транспортного средства вдоль пути транспортного средства, и телеметрических данных, связанных с движением транспортного средства вдоль пути транспортного средства. Телеметрические данные могут включать в себя информацию регистрации движения, связанную с движением транспортного средства вдоль пути транспортного средства, и данные гео-привязки, относящиеся к множеству наземных контрольных точек (GCP) вдоль пути транспортного средства. Модуль формирования трехмерной модели может формировать на основании телеметрических данных и изображений трехмерную (или двух с половиной-мерную) модель объектов вдоль пути транспортного средства. Двух с половиной-мерная модель может представлять собой уменьшенное представление трехмерной (x, y, z) модели и включать в себя информацию, связанную с поверхностью, для которой присутствует одно значение «глубины» или «высоты» (z) для каждой точки в плоскости (х, у). Для трехмерной модели, каждая точка (x, y) может включать в себя более одной «глубины» или «высоты» (z), так что возможны нависающие элементы. Модуль формирования трехмерной модели может использовать трехмерную (или двух с половиной-мерную) модель для формирования ортофотоплана, который включает в себя путь транспортного средства, карты абсолютной (над уровнем моря) высоты (то есть карты высот изображений, где каждая карта высот изображения представляет карту высот для изображения) и данные GPS-выравнивания изображений (т.е. данные для преобразования локальных координат изображения и соответствующей высот в GPS-координаты, а также для преобразования GPS-координат и высот в локальные координаты изображения), связанные с начальными изображениями. Данные выравнивания могут обычно упоминаться как данные совмещения с мировыми координатами, для других типов систем координат. Модуль распознавания объектов может получать изображения, соответствующие карты высот для изображений, данные GPS-выравнивания изображений, телеметрические данные и приближенные данные GPS-местоположения инфраструктуры. Модуль распознавания объектов может обнаруживать на основании изображений, соответствующих карт высот для изображений, данных GPS-выравнивания изображений, телеметрических данных и приближенных данных GPS-местоположения инфраструктуры объекты на изображениях и местоположения объектов на основании данных GPS-выравнивания изображений. Кроме того, модуль распознавания объектов может консолидировать местоположения одних и тех же инфраструктурных объектов, обнаруженных в различных изображениях, для определения консолидированных местоположений для одних и тех же инфраструктурных объектов. Консолидированное местоположение может представлять собой одно определенное местоположение для объекта, который может включать в себя разные местоположения на разных изображениях. Модуль распознавания объектов может определять области (т.е. области для последующего анализа) на основании консолидированных местоположений для одних и тех же инфраструктурных объектов и определять маски объектов областей, карты высот областей и данные GPS-выравнивания областей (данные для преобразования локальных координат области в GPS-координаты и обратно). Маску можно описать как матрицу с теми же размерами, что и исходное изображение, где каждый элемент матрицы указывает результаты классификации для соответствующего пиксела. Например, для данного изображения, включающего в себя инфраструктурные и неинфраструктурные объекты, маска инфраструктурных объектов может включать в себя элементы со значением «1» для пикселов, отображающих части обнаруженных инфраструктурных объектов, и значением «0» для фоновых (для всех остальных) пикселов, а маска неинфраструктурных объектов может включать в себя элементы со значением «1» для пикселов, отображающих части обнаруженных неинфраструктурных объектов, и значением «0» для фоновых (для всех остальных) пикселов. Кроме того, маска земли того же изображения может включать в себя элементы со значением «1» для пикселов земли и значением «0» для пикселов, не относящихся к земле. Модуль реконструкции трехмерной кривой может принимать маски изображения (формируемые модулем распознавания объектов) заданных типов объектов (например, линий электропередачи) для реконструкции трехмерной (или двух с половиной-мерной) модели заданных типов объектов и формирования параметризованного представления заданных типов объектов. Модуль анализа рисков может использовать маски объектов областей, карты высоты областей, данные GPS-выравнивания областей, параметризованное представление заданных типов объектов и правила инфраструктуры для обнаружения рисков, связанных с объектами, путем определения того, нарушаются ли правила инфраструктуры. Модуль анализа рисков может формировать маски риска (т.е. маски для областей объектов, связанных с риском, в системах координат областей). Модуль консолидации рисков может использовать маски риска и данные GPS-выравнивания областей для объединения рисков одного и того же типа, находящихся в разных областях в том же самом GPS-местоположении, например, для составления списков рисков и параметров для различных типов рисков.

[0051] Система обнаружения состояния с использованием обработки изображения

[0052] На фиг. 1 показана подробная архитектура системы 100 обнаружения состояния с использованием обработки изображения в соответствии с примером настоящего изобретения. Система 100 обнаружения состояния с использованием обработки изображения может включать в себя модуль 102 формирования трехмерной модели, исполняемый по меньшей мере одним аппаратным процессором (например, по меньшей мере одним аппаратным процессором 3402 согласно фиг. 34), для приема изображений 104, захваченных во время движения транспортного средства 106 вдоль пути 108 транспортного средства и телеметрических данных 110, связанных с движением транспортного средства 106 вдоль пути 108 транспортного средства, подлежащего контролю. Телеметрические данные 110 могут включать в себя, например, информацию регистрации движения (например, информацию бортового журнала для воздушного транспортного средства и, как правило, информацию регистрации движения для наземных или других типов транспортных средств), относящуюся к движению транспортного средства 106 вдоль пути 108 транспортного средства, и данные геопривязки, относящиеся к множеству GCP вдоль пути 108 транспортного средства. Телеметрические данные 110 могут быть приняты от контроллера 112 задания и/или от пользовательского интерфейса 114 установки в случае данных геопривязки. Контроллер 112 задания может быть компонентом системы 100 или может располагаться и/или управляться отдельно, как показано на фиг. 1.

[0053] Пользователь системы 100 может использовать отображение интерфейса установки пользовательского интерфейса 114 установки для определения точек геопривязки, подлежащих использованию в модуле 102 формирования трехмерной модели для более высокой точности геопривязки, и настраивать параметры, подлежащие использованию различными компонентами системы 100. Данные, относящиеся к определению точек геопривязки и настройке параметров, подлежащие использованию различными компонентами системы 100, могут приниматься системой 100 в качестве данных 116 поддержки.

[0054] Транспортное средство 106 может включать в себя различные элементы управления, такие как управление автопилотом (например, если транспортное средство 106 является воздушным транспортным средством), дистанционное управление приемником и т.д., обычно обозначаемые как контроллеры 118 транспортного средства, и различные датчики, такие как датчики полета, датчики температуры и т.д., а также различные системы обработки изображения, такие как фото- или видеокамеры, IR-датчики и т.д., обычно обозначаемые как датчики 120 транспортного средства.

[0055] Модуль 102 формирования трехмерной модели может принимать изображения 104, захваченные транспортным средством 106, и формировать на основании телеметрических данных 110, изображений 104 и дополнительной информации (например, информации конфигурации, относящейся к транспортному средству 106, и т.д.) трехмерную (или двух с половиной-мерную) модель с геопривязкой, которая включает в себя путь транспортного средства 108 и объекты 122 вдоль пути 108 транспортного средства. Трехмерная модель с геопривязкой может использоваться для дальнейшего формирования ортофотоплана, который включает в себя путь 108 транспортного средства, карты высот (то есть карты высот изображений, которые представляют карты высот для множества изображений 104) и данные GPS-выравнивания изображений (т.е. данные для преобразования локальных координат изображения и соответствующей высоты в GPS-координаты и для преобразования GPS-координат и высоты в локальные координаты изображения), связанные с начальными изображениями 104.

[0056] Распознаватель (модуль распознавания) 124 объекта может принимать изображения 104, соответствующие картам высот для изображений 104, данные GPS-выравнивания изображений, телеметрические данные 110 и приближенные данные GPS-местоположения инфраструктуры (то есть заданную информацию, относящуюся к пути 108 транспортного средства и инфраструктурным объектам вдоль пути 108 транспортного средства). Приближенные данные GPS-местоположения инфраструктуры могут обычно включаться в данные 116 поддержки, которые могут включать в себя, например, карты объектов, обучающие данные, информацию конфигурации и т.д.

[0057] Обнаружитель (модуль обнаружения) 126 объектов модуля 124 распознавания объектов может обнаруживать на основании изображений 104, соответствующих карт высот для изображений 104, данных GPS-выравнивания изображений, телеметрических данных 110 и приближенных данных GPS-местоположения инфраструктуры объекты на изображениях 104 и местоположения (например, GPS-местоположения) объектов на основании данных GPS-выравнивания изображений. Кроме того, модуль 126 обнаружения объектов может формировать на основании изображений 104, соответствующих карт высот для изображений 104, данных GPS-выравнивания изображений, телеметрических данных 110 и приближенных данных GPS-местоположения инфраструктуры маски изображения, связанные с изображениями 104.

[0058] Модуль 128 консолидации области объекта модуля 124 распознавания объектов может консолидировать местоположения тех же самых инфраструктурных объектов, обнаруженных в разных изображениях 104, для определения консолидированных местоположений для тех же самых инфраструктурных объектов. Модуль 128 консолидации области объекта может определять области (т.е. области для последующего анализа) на основании консолидированных местоположений для тех же самых инфраструктурных объектов и определять маски объектов областей, карты высот областей и данные GPS-выравнивания областей (данные для преобразования локальных координат области в GPS-координаты и обратно).

[0059] Модуль 130 реконструкции трехмерной кривой может принимать маски изображения заданных типов объектов (например, линий электропередачи) и данные GPS-выравнивания изображений, чтобы реконструировать трехмерную (или двух с половиной-мерную) модель заданных типов объектов и формировать параметризованное представление заданных типов объектов. Параметризованное представление может быть получено из координат изображения тех же линий или кривых, которые были идентифицированы на разных изображениях, на основании пересечения поверхностей, определяемых местоположениями обнаруженных объектов в плоскостях изображения и соответствующими камерами транспортного средства 106 или камерой транспортного средства 106, которая используется в разных местоположениях вдоль пути 108 транспортного средства для захвата изображений 104.

[0060] Модуль 132 анализа рисков может использовать маски объектов областей, карты высоты областей, данные GPS-выравнивания областей, параметризованное представление заданных типов объектов и правила инфраструктуры (например, из клиентских систем 134) для обнаружения рисков, связанных с объектами, путем определения того, нарушены ли правила инфраструктуры. Модуль анализа рисков может создавать маски риска (т.е. маски для областей объектов, сопряженных с риском, в системах координат областей). Модуль 132 анализа рисков может использовать предшествующие данные 136, связанные с предыдущими заданиями контроля и анализа состояния, выполненными системой 100 и/или другими системами, из клиентских систем 134, и обратную связь 138, например, от пользователей системы 100 и/или других систем, чтобы определить, правильно ли идентифицирован обнаруженный риск, связанный с объектом. Обратная связь 138 может быть получена от клиентского пользовательского интерфейса 140.

[0061] Модуль 142 консолидации рисков может использовать маски риска и данные GPS-выравнивания областей для объединения рисков одного и того же типа, находящихся в разных областях в том же самом GPS-местоположении, например, для составления списков рисков и параметров для различных типов рисков.

[0062] Пользователь системы 100 может использовать отображение клиентского пользовательского интерфейса на клиентском пользовательском интерфейсе 140 для просмотра и взаимодействия со списками рисков разных типов, ортофотопланами и картографическими представлениями объектов 122, которые могут быть получены из масок риска при передаче данных на клиентский пользовательский интерфейс. Списки рисков разных типов, ортофотоплан и картографические представления объектов могут быть отправлены на клиентский пользовательский интерфейс 140 как часть данных 144 состояния инфраструктуры.

[0063] Система 100 обнаружения состояния с использованием обработки изображения - Общее выполнение

[0064] На фиг. 2 показано общее выполнение для системы 100 в соответствии с примером настоящего изобретения.

[0065] Обращаясь к фиг. 2, в отношении общего выполнения для системы 100, в блоке 200 могут быть собраны данные от датчиков 120 транспортного средства, в блоке 202 могут быть собраны данные от клиентских систем 134, и в блоке 204 могут быть собраны данные поддержки (например, данные 116 поддержки, включающие в себя данные GPS-привязки), подготовленные пользователем.

[0066] Данные из блоков 200, 202 и 204 могут быть разделены на участке в блоке 206 на основании карты инфраструктурных объектов, так что каждый участок начинается и заканчивается инфраструктурным объектом, который маркирован как точка разделения участков.

[0067] Для каждого из участков в блоке 208 может исполняться модуль 102 формирования трехмерной модели для формирования трехмерной модели с геопривязкой. Трехмерная модель с геопривязкой может включать в себя трехмерные детали пути 108 транспортного средства и объекты 122, необходимые для формирования ортофотоплана. Модуль 102 формирования трехмерной модели может обрабатывать каждый из участков для выравнивания (совмещения) изображений 104 и формировать трехмерную модель, основанную на выравнивании, экспортировать ортофотоплан и экспортировать карты высот изображений и данные GPS-выравнивания изображений.

[0068] В блоке 210, может исполняться модуль 124 распознавания объектов (то есть модуль 126 обнаружения объектов модуля 124 распознавания объектов) для обнаружения объектов в изображениях 104 и местоположений (например, GPS-местоположений) объекта на основании данных GPS-выравнивания изображений. Кроме того, в блоке 210, модуль 124 распознавания объектов может исполняться для формирования масок изображения, связанных с изображениями 104. Кроме того, в блоке 210, модуль 128 консолидации области объекта модуля 124 распознавания объектов может консолидировать местоположения тех же самых инфраструктурных объектов, обнаруженных в разных изображениях 104, для определения консолидированных местоположений для тех же самых инфраструктурных объектов, установления областей вокруг консолидированных местоположений и создания масок объектов консолидированной области.

[0069] В блоке 212 для каждой области может исполняться модуль 130 реконструкции трехмерной кривой, чтобы формировать параметризованное представление заданных типов объектов.

[0070] В блоке 214, модуль 132 анализа рисков может использовать маски объектов областей, карты высот областей, данные GPS-выравнивания областей, параметризованное представление заданных типов объектов и правила инфраструктуры (например, из клиентских систем 134) для обнаружения рисков, связанных с объектами, путем определения того, нарушены ли правила инфраструктуры.

[0071] В блоке 216, модуль консолидации рисков может использовать маски риска и данные GPS-выравнивания областей из всех участков для объединения рисков того же самого типа, находящихся в разных областях в том же самом GPS-местоположении, например, для формирования списков рисков и параметров для различных типов рисков, например, для всей контролируемой области.

[0072] В блоке 218, результаты анализа из блоков 200-2116 могут быть перенесены в клиентский пользовательский интерфейс 140.

[0073] Система 100 обнаружения состояния с использованием обработки изображения - Разделение данных на участки

[0074] На фиг. 3 показано разделение данных на участки для системы 100 в соответствии с примером настоящего изобретения.

[0075] В примере контроля линейных инфраструктурных объектов, система 100 может разделить область полета транспортного средства 106 на участки на основании приближенных данных GPS-местоположения инфраструктуры и телеметрических данных, таких как бортовой журнал транспортного средства. Например, для воздушного контроля мачт, приближенные данные GPS-местоположения инфраструктуры (например, см. фиг. 7) могут быть представлены как список мачт с идентификацией (ID) мачты, типом конструкции мачты (например, напряжение для одноконтурной трехфазной линии передачи и т.д.), оцененным GPS (например, долготой и широтой) мачты, оцененной высотой мачты для каждой мачты и списком сегментов линий электропередачи с ID двух концевых мачт и количеством линий электропередачи для каждого сегмента. Бортовой журнал транспортного средства может включать в себя, например, имя, временную метку, GPS (например, долготу и широту), высоту и ориентацию камеры (например, тангаж, крен и курс) для каждого изображения из изображений 104, полученных транспортным средством 106. Бортовой журнал транспортного средства может формироваться бортовым оператором, связанным с контроллером 1 задания транспортного средства 106. Система 100 может находить изображения, которые были захвачены вблизи точек поворота инфраструктуры (например, мачты для контроля линий электропередачи, или точки поворота нефтепровода для контроля нефтепроводов) или вблизи линейных сегментов между парой последовательных точек поворота инфраструктуры, на основании бортового журнала транспортного средства. Система 100 может разделить изображения на участки, чтобы каждый участок начинался и заканчивался одной точкой инфраструктурного объекта, которая маркирована как точка разделения участков или является конечной точкой контролируемой инфраструктуры. Например, обращаясь к фиг. 3, точка разделения участков показана как точка поворота инфраструктурного объекта в 300. Изображения 104, которые находятся далеко от точек поворота инфраструктуры или от линейных сегментов между парой последовательных точек поворота инфраструктуры, могут быть отброшены, поскольку они не включают контролируемую область.

[0076] Модуль 102 формирования трехмерной модели - Поток данных

[0077] Фиг. 4 иллюстрирует поток данных для модуля 102 формирования трехмерной модели системы 100 в соответствии с примером настоящего изобретения.

[0078] Обращаясь к фиг. 1 и 4, как описано здесь, модуль 102 формирования трехмерной модели может принимать вводы, которые включают в себя изображения 104, телеметрические данные 110, включая бортовой журнал, и данные 402 GPS-привязки. Данные 402 GPS-привязки могут приниматься от дисплея 404 геопривязки. Изображения 104 могут представлять исходные изображения, снятые транспортным средством 106, например, во время полета транспортного средства 106. Формат изображений 104 может включать в себя, например, jpg и другие такие форматы. Данные 402 GPS-привязки могут включать в себя, например, GPS, высоту, имя изображения и пиксельное положение для каждой GCP. Формат данных 402 GPS-привязки может включать в себя, например, xml и другие такие форматы.

[0079] Различные аспекты модуля 102 формирования трехмерной модели могут быть реализованы, например, с использованием автоматизации инструментальных средств трехмерной реконструкции и/или с использованием C++ и т.д. Модуль 102 формирования трехмерной модели может формировать трехмерную модель с геопривязкой для каждого участка из участков, где трехмерная модель с геопривязкой может использоваться для получения требуемых выходных данных для других компонентов системы 100, как описано в настоящем документе.

[0080] В отношении участков, каждый из участков может обрабатываться для загрузки изображений 104 и телеметрических данных 110, выравнивания изображений 104 и добавления GCP. Каждый из участков также может обрабатываться для формирования трехмерной модели, основываясь на изображениях и их выравнивании. Для каждого участка ортофотоплан и карты высот могут формироваться с использованием трехмерной модели.

[0081] Обращаясь к фиг. 1 и 4, выходы модуля 102 формирования трехмерной модели, как описано здесь, могут включать в себя ортофотоплан 406, данные 408 GPS-выравнивания изображений и карты 410 высот изображения.

[0082] Ортофотоплан 406 может быть сформирован для каждого участка из участков, для визуального представления релевантной области и объектов, рисков и т.д.

[0083] Данные 408 GPS-выравнивания изображений могут быть сформированы для каждого из изображений 104 и включают в себя необходимые матрицы и коэффициенты для GPS-на-пиксельное и пиксельное-на-GPS проецирования. Согласно примерам, данные 408 GPS-выравнивания изображений могут включать в себя значения f_x (горизонтальное фокусное расстояние камеры в пикселах), f_y (вертикальное фокусное расстояние камеры в пикселах), c_x (скорректированная горизонтальная центральная точка в пикселах), c_y (скорректированная вертикальная центральная точка в пикселах) и коэффициенты коррекции радиального искажения k₁, k₂, k₃, k₄, k₅, k₆, p₁ и p₂, которые могут использоваться после других преобразований координат в следующих уравнениях:

Уравнение (1)

Для уравнения (1), x' и y' могут представлять собой скорректированные координаты, а x и y могут представлять начальные координаты в системе координат изображения. Данные 408 GPS-выравнивания изображений могут включать в себя значения для преобразования координат камеры в локальные координаты трехмерной модели, представленного, например, в 4×4 матрице С поворота-переноса-масштабирования. Данные 408 GPS-выравнивания изображений могут включать в себя значения для преобразования локальных координат трехмерной модели в геоцентрические координаты, связанные с Землей, с началом координат в центре Земли (ECEF), представленного, например, в другой 4×4 матрице L поворота-переноса-масштабирования. Данные 408 GPS-выравнивания изображений могут включать в себя значения X₀, Y₀ и Z₀ для ECEF-положения камеры транспортного средства 106, когда изображение снимается камерой транспортного средства 106. Значения могут использоваться в последующем анализе для преобразования GPS-координат (широты, долготы) и высоты (высоты над уровнем моря во Всемирной геодезической системе координат 1984 (WGS84)) для пиксельных координат (x, y) и для преобразования пиксельных координат (x, y) и высоты для соответствующего пиксела в GPS-координаты (широта, долгота). Чтобы получить пиксельные координаты для GPS-положения (широта, долгота) и высоты, можно использовать следующую систему уравнений:

Уравнение (2)

Для уравнения (2), a может представлять собой большую полуось GPS референц-эллипсоида Земли, 1/f может представлять собой обратную величину уплощения GPS референц-эллипсоида Земли, и b может представлять собой малую полуось GPS референц-эллипсоида Земли.

Уравнение (3)

Для уравнения (3), е² может представлять собой первый эксцентриситет в квадрате GPS референц-эллипсоида Земли.

Уравнение (4)

Для уравнения (4), φ может представлять начальную координату широты в радианах, а Ν(φ) может представлять расстояние от поверхности до Z-оси вдоль нормали эллипсоида. Связанные с Землей координаты (ECEF) X_e, Y_e и Z_e преобразуемой точки затем можно определить следующим образом:

Уравнение (5)

Уравнение (6)

Уравнение (7)

Для уравнений (5)-(7), λ может представлять долготу в радианах, и h может представлять абсолютную высоту. Координаты X_с, Y_c и Z_c в системе координат, фиксированной относительно камеры, затем могут быть получены следующим образом:

Уравнение (8)

Координаты x и y изображения затем могут быть получены следующим образом:

Уравнение (9)

Уравнение (10)

Чтобы получить GPS-координаты из пиксельных координат x, y и соответствующей высоты h для пиксела, может быть определена точка пересечения между реферец-эллипсоидом Земли с добавленным значением высоты и линией, соединяющей положение камеры и пиксел в плоскости изображения. Чтобы определить уравнение этой линии в системе ECEF-координат, может быть определена случайная точка на линии, отличная от положения камеры. Координаты X_с, Y_c и Z_c случайной точки в системе координат, фиксированной относительно камеры, затем могут быть получены следующим образом:

Уравнение (11)

Для дальнейшего получения ECEF-координат X_e, Y_e и Z_e, можно применить следующее уравнение:

Уравнение (12)

Тогда вектор V=[V_x, V_y, V_z] направления линии может быть получен как вычитание вектора координат [X_e, Y_e, Z_e] случайной точки и вектора координат [X₀, Y₀, Z₀] точки камеры. Референц-эллипсоид Земли с добавленной абсолютной высотой может затем включать в себя большую полуось a_h и малую полуось b_h, определяемые следующим образом:

Уравнение (13)

Уравнение (14)

Чтобы определить пересечение между линией, на которой находится содержимое пикселов в ECEF-координатах мировой системы координат, и референц-эллипсоидом Земли с добавленной абсолютной высотой, можно решить следующее уравнение:

Уравнение (15)

Для уравнения (15) t может представлять коэффициент вектора желательного направления для определения точки пересечения, и коэффициенты a_t, b_t и c_t уравнения могут быть определены следующим образом:

Уравнение (16)

Уравнение (17)

Уравнение (18)

Для того чтобы определить величину t, дискриминант D уравнения (15) можно определить следующим образом:

Уравнение (19)

В случае, когда дискриминант больше или равен нулю, два возможных значения для t (t₁, t₂) могут быть определены следующим образом:

Уравнение (20)

Полученная координата пересечения является ближайшей к камере, и, следовательно, меньшее абсолютное значение для t (t₁, если |t₁|<=|t₂|, и t₂, если |t₂|<|t₁|) можно рассматривать, чтобы определить желательную точку [X₁, Y₁, Z₁] в системе ECEF-координат:

Уравнение (21)

Результирующая широта φ и долгота λ могут быть определены следующим образом:

Уравнение (22)

Уравнение (23)

Для уравнения (23) ep² может представлять второй эксцентриситет в квадрате, а th может представлять вспомогательное значение:

Уравнение (24)

Уравнение (25)

[0084] Карты 410 высот изображения могут быть сформированы для каждого изображения из изображений 104. Согласно примерам, для карт 410 высот изображения, каждое 32-битное пиксельное значение может представлять абсолютную высоту над уровнем моря для соответствующего положения пиксела исходного изображения изображений 104.

[0085] Ортофотоплан 406 и данные 408 GPS-выравнивания изображений могут быть отправлены на клиентский пользовательский интерфейс 140, данные 408 GPS-выравнивания изображений могут быть отправлены в модуль 130 реконструкции трехмерной кривой, и данные 408 GPS-выравнивания изображений и карты 410 высот изображений могут быть отправлены в модуль 124 распознавания объектов.

[0086] Модуль 102 формирования трехмерной модели - Выравнивание изображений

[0087] Модуль 102 формирования трехмерной модели может выравнивать изображения 104, чтобы определять положения и параметры калибровки соответствующих камер (например, виртуальную модель реальной камеры, которая использовалась для съемки начальных изображений 104) в локальной системе координат трехмерной модели. На этом этапе модуль 102 формирования трехмерной модели может искать интересующие точки в каждом изображении. Модуль 102 формирования трехмерных моделей может совмещать локализованные интересующие точки из разных изображений, чтобы гарантировать, что интересующие точки из разных изображений представляют одну и ту же точку на поверхности реального мира. Для каждой пары изображений с достаточным количеством совпадающих точек, может быть определена фундаментальная матрица (например, матрица 3×3, которая связывает соответствующие пикселы). На основании фундаментальных матриц, могут быть определены координаты камер изображений, плоскостей изображений и интересующих точек в пространстве трехмерной модели, например, на основании метода «структуры из движения» (SFM). В отношении SFM, в инкрементном SFM, расположения камеры могут разрешаться и добавляться одно за другим в коллекцию. В глобальном SFM, расположения камеры могут разрешаться одновременно для всех камер. Промежуточный подход может включать в себя нецентрированный SFM, где могут быть определены несколько частичных реконструкций и затем интегрированы в глобальное решение. В случае если расчетные лучи от камер к центру соответствующих плоскостей изображения имеют большое отклонение от перпендикуляра к вероятной поверхности реального мира, эти изображения могут быть отфильтрованы или повторно выровнены.

[0088] Отношение локальной системы координат трехмерной модели к геоцентрической системе координат может быть определено путем применения информации о GPS-местоположении камеры во время съемки каждого изображения 104 из телеметрических данных 110 и минимизации возникающей погрешности в расстояниях.

[0089] Модуль 102 формирования трехмерной модели - GPS-привязка/геопривязка

[0090] Точность соотношения между локальной системой координат трехмерной модели и геоцентрической системой координат может быть улучшена путем введения опорных данных GPS, которые включают в себя список точек геопривязки. Каждая точка геопривязки может включать в себя положение одной точки в мировой системе координат (например, GPS-данные (например, широта и долгота) и абсолютная высота) и соответствующее положение в одном или нескольких изображениях (то есть, имя изображения, координаты x и y в системе координат изображения). Точные координаты в мировой системе координат могут быть получены в реальном местоположении с использованием соответствующего оборудования или на основании спутниковых изображений с точной геопривязкой. Фиг. 5 иллюстрирует пример подготовки данных GPS-привязки, которые будут использоваться в модуле 102 формирования трехмерной модели с использованием спутниковых данных, в соответствии с примером настоящего изобретения.

[0091] Обращаясь к фиг. 1 и 5, дисплей для GPS-привязки и геопривязки может включать в себя средство 500 просмотра карты, которое отображает спутниковую карту, и средство 502 просмотра изображений, которое отображает текущее выбранное изображение. GCP из отображения карты средства 500 просмотра карты может отображаться на изображении, отображаемом в средстве 502 просмотра изображений, и в списке GCP, 504. Различные изображения могут отображаться в средстве 502 просмотра изображений, например, с использованием инструментального средства 506 выбора изображения. Список GCP, 504, может включать в себя все добавленные и существующие GCP. Все поля могут быть доступны для редактирования в средстве 500 просмотра карты и средстве 502 просмотра изображения, например, с помощью двойного нажатия (щелчка) на ID опорного изображения (например, ʺIMG_1200ʺ для примера на фиг. 5), чтобы активировать опорное изображение.

[0092] В отношении средства 500 просмотра карты и/или средства просмотра 502 изображения, могут добавляться новые GCP, и/или положение опорного пиксела существующей GCP может изменяться посредством одиночного клика на любом пиксельном положении. Таким образом, одиночный клик на изображении может создать новую GCP и добавить новую GCP в конец списка GCP, 504.

[0093] В отношении средства 500 просмотра карты, могут отображаться спутниковые карты (т.е. доступные по сети спутниковые карты) с центральной точкой, обновляемой до активного изображения (т.е. изображения, отображаемого в средстве 502 просмотра изображений) при изменении активного изображения, если эти данные GPS-выравнивания изображения предоставляются из модуля 102 формирования трехмерной модели на основании бортового журнала. Маркеры добавленных текущих и/или существующих GCP могут быть показаны, например, как цветные маркеры на карте, и опорные GPS-положения могут быть изменены путем перетаскивания маркеров GCP.

[0094] Что касается модификации GCP в списке GCP, 504, все поля могут быть отредактированы по мере необходимости, и изменения в опорных положениях могут отражаться в активном изображении в средстве 502 просмотра изображений и средстве 500 просмотра карты, соответственно. Положение опорного пиксела может быть изменено путем выбора нового положения на изображении, или опорное GPS-положение может быть изменено путем перетаскивания маркера GCP на активном изображении средства 502 просмотра изображений.

[0095] Что касается удаления GCP, в представлении списка GCP, 504, любая существующая GCP может быть удалена, например, путем выбора соответствующей метки X.

[0096] Модуль 102 формирования трехмерной модели - Реконструкция трехмерной модели

[0097] Модуль 102 формирования трехмерной модели может использовать начальные изображения 104 и соответствующие данные выравнивания изображений для создания плотного облака точек. Плотное облако точек может быть описано как набор точек в локальной системе координат трехмерной модели, с большим количеством таких точек. Каждая точка в плотном облаке точек может представлять точку на поверхности реального мира, реконструированную из аналогичных пикселов в нескольких взаимно выровненных изображениях. Точки, которые удалены от своих соседей, могут считаться выбросами и игнорироваться в будущих анализах.

[0098] Модуль 102 формирования трехмерных моделей может использовать плотное облако для построения трехмерной сетки. Сетка может быть описана как набор вершин, ребер и граней, которые определяют форму многогранного объекта. Модуль 102 формирования трехмерной модели может выбирать соседние точки из плотного облака в качестве вершин сетки и образовывать ребра и грани. Положения вершин можно изменять, чтобы сглаживать полученную форму. Сетка с положениями и параметрами калибровки камер может формировать желаемую трехмерную модель контролируемой области.

[0099] Модуль 102 формирования трехмерной модели - Формирование ортофотоплана

[0100] Как описано в настоящем документе, модуль 102 формирования трехмерной модели может принимать изображения 104, захваченные транспортным средством 106, и формировать на основании телеметрических данных 110, изображений 104 и дополнительной информации (например, информации конфигурации, относящейся к транспортному средству 106, и т.д.) трехмерную (или двух с половиной-мерную) модель с геопривязкой, которая включает в себя путь 108 транспортного средства и объекты 122 вдоль пути 108 транспортного средства. Трехмерная модель с геопривязкой может использоваться для дальнейшего формирования ортофотоплана 406 на основании трехмерной сетки, изображений 104 и данных GPS-выравнивания изображений. Для каждой грани в сетке, могут быть определены изображения (из изображений 104), в которых можно видеть грань, и грань может проецироваться на эти плоскости изображений. Используя проекции, текстура (например, информация о цвете) может быть определена для каждой из граней. Для формирования ортофотоплана вся сетка, обогащенная информацией о текстуре, может проецироваться на виртуальную гладкую поверхность Земли и сохраняться в стандартном формате, способном хранить информацию для GPS-навигации, например, GOOGLE KMZ или TIFF с геопривязкой.

[0101] Модуль 102 формирования трехмерной модели - Формирование карт высоты

[0102] Фиг. 6 иллюстрирует формирование карт высот для модуля 102 формирования трехмерной модели в соответствии с примером настоящего изобретения.

[0103] Обращаясь к фиг. 1 и 6, модуль 102 формирования трехмерной модели может формировать карты высот. Что касается формирования карт высот, то карта глубины может быть описана как представление изображения, где каждое пиксельное значение для точки (X₀, Y₀) изображения, 600, является расстоянием от положения 604 камеры до соответствующей точки трехмерной поверхности для (X₀, Y₀), 602. В этом случае карта глубины может быть сформирована, например, в 32-битном формате TIF, а значения расстояния могут быть заданы в локальной трехмерной системе координат приложения. Перед преобразованием, карта глубины может быть масштабирована до меньшего размера для преобразования пространства, если масштабный коэффициент предусмотрен в качестве входного параметра.

[0104] Что касается формирования карт высот, карта высот может включать в себя представление изображения, где каждое пиксельное значение для точки (X₀, Y₀) изображения, 600, является высотой над уровнем моря во Всемирной геодезической системе координат 1984 (WGS84). Модуль 102 формирования трехмерной модели может использовать заданные карты глубины и данные GPS-выравнивания изображений и применять преобразования для каждой пиксельной точки в данной карте глубины. Преобразования могут включать в себя преобразование точки (X₀, Y₀) изображения, 600, на карте глубины в соответствующую точку трехмерной поверхности для (X₀, Y₀), 602, преобразование соответствующей точки трехмерной поверхности для (X₀, Y₀), 602, в локальной трехмерной системе координат в геоцентрическую ECEF-точку и преобразование геоцентрической ECEF-точки в WGS84-точку. Значение высоты от определенной WGS84-точки может храниться в окончательной карте высоты для каждого пиксела.

[0105] Модуль 124 распознавания объектов - Поток данных

[0106] На фиг. 7 показан поток данных для модуля 124 распознавания объектов системы 100 в соответствии с примером настоящего изобретения.

[0107] Как показано на фиг. 7, в отношении потока данных, относящегося к модулю 124 распознавания объектов, модуль 124 распознавания объектов может анализировать изображения 104, телеметрические данные 110, приближенные данные 716 GPS-местоположения инфраструктуры, данные 408 GPS-выравнивания изображений и карты 410 высот изображений, чтобы формировать оцененный уровень 700 высоты земли для изображений для каждого изображения из изображений 104, точные данные 702 GPS-местоположения инфраструктуры, маски 704 линий электропередачи изображений, данные 706 GPS-выравнивания областей, маски 708 объектов областей, маску 710 земли для областей, карту 712 высот областей и пространственное разрешение 714 областей. Оцененный уровень 700 высоты земли для изображений может пересылаться на клиентский пользовательский интерфейс 140. Точные данные 702 GPS-местоположения инфраструктуры и пространственное разрешение 714 областей могут пересылаться в модуль 142 консолидации рисков. Данные 702 GPS-местоположения инфраструктуры, маски 704 линий электропередачи изображений и данные 706 GPS-выравнивания областей могут пересылаться в модуль 130 реконструкции трехмерной кривой. Кроме того, данные 706 GPS-выравнивания областей, маски 708 объектов областей, маска 710 земли для областей, карта 712 высоты областей и пространственное разрешение 714 областей могут пересылаться в модуль 132 анализа рисков.

[0108] Оцененный уровень 700 высоты земли для изображений может включать в себя, например, текст одной строки, включающий в себя вектор высот (над уровнем моря), где 1-ое значение является уровнем высоты земли для всего изображения, с 2-го по 5-ое значения являются уровнями высоты земли, определенными для каждой четверти изображения, и 6-ое значение - для центральной четверти изображения.

[0109] Данные 702 GPS-местоположения инфраструктуры могут включать в себя точные данные GPS-местоположения инфраструктуры для инфраструктурных объектов (например, мачт сетей энергоснабжения и т.д.).

[0110] Маски 704 линий электропередачи изображений могут представлять маски для заданных типов объектов (например, линий электропередачи). Например, маска линий электропередачи может использоваться модулем 130 реконструкции трехмерной кривой для реконструкции трехмерной (или двух с половиной-мерной) модели линий электропередачи и формирования их параметризованного представления.

[0111] Маска 710 земли для областей может быть сформирована для каждой области из упомянутых областей. Согласно примерам, для маски 710 земли для областей, каждое пиксельное значение может указывать, будет ли соответствующее пиксельное положение области классифицироваться как точка земли или нет (например, 0=земля, 255=не земля).

[0112] Пространственное разрешение 714 областей может представлять пространственное разрешение (см на пиксел) для областей.

[0113] Система 100 обнаружения состояния с использованием обработки изображения - Контроль области линейных инфраструктурных объектов

[0114] Фиг. 8 иллюстрирует области область800 линейных инфраструктурных объектов, которая должна контролироваться системой 100, в соответствии с примером настоящего изобретения.

[0115] Как показано на фиг. 8, контролируемая область 800 линейных инфраструктурных объектов может включать в себя область 802 электрической линии, которая представляет область, которая окружает электрические линии. Чистая RoW (чистая полоса отчуждения) 804 может представлять область вдоль линейного инфраструктурного объекта, которая фактически чиста от растительности и/или антропогенных объектов. RoW (полоса отчуждения) 806 может представлять область вдоль линейного инфраструктурного объекта, которая должна быть чистой от растительности и/или объектов в соответствии с промышленными стандартами клиента. ROI (интересующая область) 808 может представлять область для анализа системой 100. ROI 808 может быть установлена шире, чем ROW 806, например, может представлять опасность, когда высоты деревьев больше, чем расстояние до линий электропередачи.

[0116] Модуль 124 распознавания объектов - Общая реализация и исполнение

[0117] На фиг. 9 показана общая реализация и исполнение модуля 124 распознавания объектов в соответствии с примером настоящего изобретения.

[0118] Обращаясь к фиг. 1, 7 и 9, модуль 124 распознавания объектов может принимать входы, которые включают в себя изображения 104, телеметрические данные 110, приближенные данные 716 определения GPS-местоположения инфраструктуры, данные 408 GPS-выравнивания изображений и карты 410 высот изображений.

[0119] Для каждого из изображений 104 модуль 124 распознавания объектов может реализовать классификацию 900 земли, чтобы классифицировать каждую точку изображения как землю или не землю. Кроме того, для каждого из изображений 104, для каждого типа 902 инфраструктурного объекта, модуль 126 обнаружения объектов модуля 124 распознавания объектов может выполнять обнаружение инфраструктурных объектов (например, для мачт, линий электропередачи и т.д.), 904.

[0120] Модуль 128 консолидации области объекта может консолидировать результаты обнаружения из нескольких соседних (в соответствии с GPS-координатами) изображений, которые включены в текущую область, и сохранять положения инфраструктурных объектов, 906.

[0121] Для каждого из изображений 104, для каждого типа 908 неинфраструктурного объекта, модуль 126 обнаружения объектов модуля 124 распознавания объектов может выполнять обнаружение неинфраструктурных объектов (например, для растительности, антропогенных объектов и т.д.), 910.

[0122] Модуль 128 консолидации области объекта модуля 124 распознавания объектов может выполнять консолидацию изображений с областями, 912, чтобы консолидировать результаты распознавания изображения в областях.

[0123] Как описано здесь со ссылкой на фиг.7, модуль 124 распознавания объектов может выводить оцененный уровень 700 высоты земли для изображений, данные 702 GPS-местоположения инфраструктуры, маски 704 линий электропередачи изображений, данные 706 GPS-выравнивания областей, маски 708 объектов областей, маску 710 земли для области, карту 712 высот областей и пространственное разрешение 714 областей.

[0124] Различные аспекты модуля 124 распознавания объектов могут быть реализованы, например, с использованием C++ и реализованы как исполняемый файл из основных скриптов PYTHON для каждого из участков. Для каждого из изображений 104, модуль 128 консолидации области объекта может консолидировать и сохранять положения инфраструктурных объектов. Например, для воздушного контроля мачт, для каждого изображения 104, модуль 128 консолидации области объекта может консолидировать и сохранять положения мачты. Модуль 124 распознавания объектов может группировать изображения 104 в области, где каждая область начинается и заканчивается инфраструктурным объектом (например, мачтой). Как только области идентифицируются, модуль 124 распознавания объектов может обнаруживать неинфраструктурные объекты на изображениях, консолидировать результаты распознавания изображений внутри каждой области и сохранять консолидированные результаты обнаружения в масках для каждой из областей. На примере воздушного контроля мачт, примеры классов в масках распознавания выходного изображения, формируемых модулем 124 распознавания объектов, могут включать в себя интересующую область (ROI), мачту, линии электропередачи, растительность, объект и землю. Модуль 124 распознавания объектов может преобразовывать (например, отображать) относящиеся к изображению данные на относящиеся к области данные (т.е. карты высот и данные выравнивания). Маски изображения могут быть консолидированы с масками областей для формирования выходов, относящихся к модулю распознавания 124 объекта.

[0125] Маски 708 объектов областей могут быть сформированы для каждой из областей. В примере воздушного контроля мачт, размер маски области может зависеть от расстояния между мачтами с обеих сторон области и от количества мачт внутри области. В примере воздушного контроля линейных инфраструктурных объектов, например, для энергетической отрасли, в соответствии с примером, каждому результату классификации может быть присвоен бит в каждом 8-битном пиксельном значении следующим образом:

Неопределенная область=0 (0000 0000 в двоичном формате)

Земля=2 (0000 0010)

Линейная область=4 (0000 0100)

Интересующая область=8 (0000 1000)

Антропогенный объект=16 (0001 0000)

Растительность=32 (0010 0000)

Мачта=64 (0100 0000)

Собственно линия электропередачи=128 (1000 0000)

[0126] Карты 712 высот областей могут включать в себя такой же формат, как и карты 410 высот изображений, формируемые модулем 102 формирования трехмерной модели. Карты 712 высот областей могут быть сформированы для каждой области вместо формирования каждого изображения, сравниваемого с картами 410 высот изображений, модулем 410 формирования трехмерной модели. Для карт 712 высот областей, данные для каждой области могут быть консолидированы логически по каждой области. Например, для воздушного контроля мачт, размер карт 712 высот областей может зависеть от размера текущей области.

[0127] В примере воздушного контроля мачт, для каждой обнаруженной мачты, выходное сообщение, формируемое модулем 124 распознавания объектов, может дополнительно включать в себя ID мачты, тип мачты и консолидированное положение мачты (например, GPS (долгота и широта) и высота). Выходное сообщение может также включать в себя углы наклона мачты и угол поворота линий электропередачи.

[0128] Маски распознавания изображения могут включать в себя тот же формат, что и маски области, но могут быть реализованы для каждого изображения из изображений 104. Маска чистой полосы отчуждения может быть сформирована для каждой из областей, и каждое ненулевое пиксельное значение может относиться к чистой от растительности точке в полосе отчуждения.

[0129] В примере воздушного контроля мачт, модуль 124 распознавания объектов может использовать заданную информацию о приближенных положениях инфраструктурных объектов для обнаружения мачт. Методы машинного обучения, например, структура полностью контролируемого обучения (классификаторы, такие как нейронные сети, сверточные нейронные сети, случайные леса, методы опорных векторов, методы бустинга, алгоритм k-ближайших соседей и т.д.), могут использоваться для распознавания изображений для обнаружения объектов. Различные методы машинного обучения могут использоваться для разных типов объектов. В примере воздушного контроля мачт, в соответствии с примером настоящего изобретения, параметры классификаторов 1304 (или параметры других методов машинного обучения) могут быть определены для каждого классификатора (или другого метода машинного обучения) в соответствующих файлах. Чтобы облегчить распознавание объектов, может использоваться заданная информация (например, положения инфраструктурных объектов, результаты и данные предыдущего контроля и т.д.), например, чтобы сузить область поиска. Для каждого из изображений 104, если ближайший инфраструктурный объект локализован, может быть загружено соответствующее изображение, и удаление тени может быть выполнено перед обнаружением объекта. Для каждого из изображений 104, чтобы обнаружить объект в пределах изображения, относительно малая область поиска объекта может быть идентифицирована в пределах изображения на основании ожидаемой пиксельной проекции оцененного GPS-местоположения объекта, и модуль 124 распознавания объектов может пытаться обнаружить объект в этой области поиска. Для каждого из изображений 104, если объект не локализован, область поиска может быть расширена (например, до удвоенного размера исходной области поиска), чтобы попытаться локализовать объект. Если объект локализован, результаты определения местоположения объекта могут быть сохранены для дальнейшей консолидации.

[0130] Модуль 124 распознавания объектов может формировать области (например, путем группировки изображений 104 в области) на основании результатов обнаружения инфраструктурных объектов (например, результатов обнаружения мачты). Распознавание может применяться только для областей, включающих в себя линейный инфраструктурный объект, все остальные области могут быть отфильтрованы. Для каждой из областей, модуль 124 распознавания объектов может идентифицировать, какие изображения из изображений 104 принадлежат к соответствующей области.

[0131] В примере воздушного контроля линейных инфраструктурных объектов, в отношении формирования масок 708 объектов областей, для каждого изображения, которое принадлежит области, модуль 124 распознавания объектов может обнаруживать электрические линии, сохранять маску изображения электрических линий и наносить маску электрических линий на соответствующую одну из масок 708 объектов областей.

[0132] В примере воздушного контроля линейных инфраструктурных объектов, в отношении формирования масок 708 объектов областей, для каждого изображения, которое принадлежит области, модуль 124 распознавания объектов может обнаруживать антропогенные объекты и деревья (например, растительность) и наносить обнаруженные объекты и деревья на соответствующую одну из масок 708 объектов областей.

[0133] Модуль 124 распознавания объектов может отображать и добавлять карту высот изображения (из карт 410 высот изображений) на карту высот области (из карт 712 высот областей).

[0134] После обработки всех изображений 104, принадлежащих к области, модуль 124 распознавания объектов может выполнять консолидацию изображений с областями, 912. В отношении процесса добавления всех масок изображения к маске области, для любых конфликтов (например, один и тот же пиксел был обнаружен как растительность, так и как объект), консолидация маски области может использоваться для определения окончательного значения (типа) каждой маски области. Определение окончательного значения может быть основано, например, на взвешенном среднем результатов нескольких изображений.

[0135] В отношении формирования маски области, модуль 124 распознавания объектов может сохранять маски 708 объектов областей и карты 712 высоты областей.

[0136] Модуль 124 распознавания объектов может использовать различные функции для обнаружения объектов на основании изменений окружающей среды, таких как изменения, связанные с состояниями зимой и летом. Различные методы могут использоваться для разных состояний. Например, зимой можно использовать функцию, характерную для зимы, а в противном случае можно использовать функцию, характерную для лета.

[0137] Модуль 124 распознавания объектов может выполнять предварительную обработку перед распознаванием (например, уменьшать тени, выполнять коррекции света для каждого из изображений 104 и т.д.).

[0138] Модуль 124 распознавания объектов - Классификация земли и формирование маски земли

[0139] Фиг. 10 иллюстрирует классификацию земли и формирование маски земли для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения.

[0140] Обращаясь к фиг. 10, в отношении классификации земли и формирования маски земли (например, для маски 710 земли для областей), модуль 124 распознавания объектов может принимать карту высот изображения (из карт 410 высот изображения) 1000, и в блоке 1002, модуль 124 распознавания объектов может оценивать уровень высоты земли для карты 1000 высот изображения. Например, классификация земли может быть реализована следующим методом. В блоке 1004, модуль 124 распознавания объектов может маркировать области, которые выше уровня высоты земли. В блоке 1006, модуль 124 распознавания объектов может маркировать области, которые не имеют информации высот. В блоке 1008, модуль 124 распознавания объектов может маркировать области между высокими положительными и отрицательными производными изображения высот, которые могут представлять возможные высокие объекты в изображении. В блоке 1010, модуль распознавания 24 объекта может исключать маркированные области из маски, покрывающей все изображение, и формировать маску земли для изображения, 1012. Таким образом, маркированные области могут рассматриваться как не земля, а немаркированные области могут рассматриваться как земля.

[0141] Модуль 124 распознавания объектов - Оценка уровня высоты земли

[0142] Фиг. 11 иллюстрирует оценку уровня высоты земли для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения.

[0143] Обращаясь к фиг. 11, в отношении оценки уровня высоты земли (например, для оцененного уровня 700 высоты земли для изображений), модуль 124 распознавания объектов может принимать карту высот изображения (из карт 410 высот изображений) 1000. В блоке 1100, карта 1000 высот изображения может быть разделена, например, на шесть блоков: вся карта высот, четыре четверти и центральная четверть карты высот. В блоке 1102, для каждого блока карты высот, в блоке 1104, модуль 124 распознавания объектов может определять уровни высоты земли для каждого блока 1-6 (например, как показано в блоке 1106). В блоке 1108, модуль 124 распознавания объектов может определять среднее значение уровней высоты земли для блоков 1-6. Основываясь на среднем значении уровней высоты земли для блоков 1-6, модуль 124 распознавания объектов может определять оцененный уровень высоты земли, 1110.

[0144] Подготовка обучающих данных

[0145] Фиг. 12 иллюстрирует подготовку обучающих данных для системы 100 в соответствии с примером настоящего изобретения.

[0146] Обращаясь к фиг. 12, в отношении подготовки обучающих данных, обучающие данные могут включать в себя файл обучающих данных для каждого классификатора, который должен использоваться для целей распознавания объектов. В этой связи может быть создан модуль подготовки обучающих данных. В примере воздушного контроля объектов, можно использовать полностью контролируемую систему обучения. Изображения, которые были выбраны для создания обучающих данных, могут быть разделены на блоки определенного размера (или размеров). Каждый блок может маркироваться как относящийся к некоторому типу объекта, например, блок может быть положительным, отрицательным или нейтральным в соответствии с каждым типом объекта. В 1200, блоки были маркированы как положительные блоки (например, для обнаружения мачт). В 1202, модуль 124 распознавания объектов может идентифицировать блоки, которые могут быть маркированы как положительные или отрицательные. Кроме того, в 1204, модуль 124 распознавания объектов может идентифицировать блоки, которые были маркированы как отрицательные блоки (например, для обнаружения мачт, где такие блоки должны быть положительными для обнаружения растительности). Признаки каждого блока могут быть определены (например, с использованием дескриптора Histogram of Oriented Gradients (гистограммы ориентированных градиентов, HOG), дескриптора Local Binary Patterns (локальных двоичных образов, LBP), методов Bag of Visual Words (набор визуальных слов), дескрипторов гистограмм цветов, дескриптора гистограммы обнаруженных углов или других текстурных признаков) после маркировки блоков. Затем на этих данных можно обучать полностью контролируемую обучаемую структуру, при этом результаты сохраняются в файлах с параметрами классификаторов 1304. Процесс обучения может быть выполнен по меньшей мере однократно перед обработкой данных с решением обнаружения состояния с использованием обработки изображения, чтобы обеспечить возможность использования методов машинного обучения.

[0147] Модуль 124 распознавания объектов (модуль 126 обнаружения объектов) - Обнаружение мачт и формирование маски мачт

[0148] Фиг. 13 иллюстрирует обнаружение мачт и формирование маски мачт для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения.

[0149] В примере воздушного контроля мачт, в отношении обнаружения мачт и формирования маски мачт модулем 124 распознавания объектов, модуль 124 распознавания объектов может принимать изображения 104 и дополнительно принимать оцененное положение мачты на изображении 1300, оцененные курсовые углы 1302 электрических линий и параметры классификаторов 1304. Модуль 126 обнаружения объектов модуля 124 распознавания объектов может обнаруживать центральную точку объекта (например, мачты) в данном изображении, где оцененное положение объекта, оцененная ширина объекта и, в примере воздушного контроля мачт, другие аспекты, такие как оцененные курсовые углы входящих и исходящих электрических линий, известны (на основании приблизительных GPS-координат мачт). Кроме того, формирование маски для объекта может выполняться на основании консолидации результатов обнаружения объектов из нескольких изображений.

[0150] В блоке 1306, модуль 126 обнаружения объектов может определять область поиска на основании оцененного положения мачты на соответствующем изображении. Обнаружение может начинаться с определения, например, прямоугольной области поиска объекта внутри изображения. Размер области поиска может зависеть от направления линии, например, размер может быть 4×4 метра. Значение см-на-пиксел (т.е. см на пиксел) изображения может использоваться для получения размерностей области поиска в пикселах, и остальная обработка может выполняться внутри этой области поиска.

[0151] В блоке 1308, модуль 126 обнаружения объектов может выполнять предварительную обработку изображения, например, путем преобразования изображения в шкалу уровней серого, удаления тени, коррекций света и т.д. Для разных времён года или для обнаружения различных типов объектов может использоваться различная предварительная обработка.

[0152] В блоке 1310, модуль 126 обнаружения объектов может находить ребра (края) (например, для мачт) внутри области поиска. В отношении обнаружения центральной точки инфраструктурного объекта, модуль 126 обнаружения объектов может использовать обнаружение края или ребра и обнаружение линии для определения потенциальных линий и ребер (границ) объекта в соответствии с оцененными курсовыми углами и создавать инфраструктурные объекты-кандидаты на основании в наибольшей степени перекрытых потенциальных линий и границ объекта. В этом отношении, модуль 126 обнаружения объектов может извлекать границы, которые расположены вдоль линий и направлений инфраструктурных объектов. Модуль 126 обнаружения объектов может выполнять обнаружение, например, детектором границ Канни (Canny) или Собеля (Sobel) для обнаружения границ, и относительно сильные границы в пределах направлений могут сохраняться как двоичное изображение границы после пороговой обработки.

[0153] В блоке 1312 модуль 126 обнаружения объектов может локализовать короткие прямые линии на основании границ, используя такие методы, как, например, Hough Line Transform (преобразование линий Хафа) или Line Segment Detector (детектор линейных сегментов, LSD). В этом отношении, на основании данных о границах, модуль 126 обнаружения объектов может идентифицировать потенциальные электрические линии и границы инфраструктурных объектов (например, мачты). В примере воздушного контроля мачт, в отношении идентификации потенциальных электрических линий и границ (краев) мачты, может предполагаться, что электрические линии и края мачты включают в себя прямые линии, причем края мачты могут рассматриваться в общем как перпендикулярные электрическим линиям.

[0154] В блоке 1314, модуль 126 обнаружения объектов может фильтровать линии, которые не параллельны направлению линий.

[0155] В блоке 1316, на основании фильтрации линий, которые не параллельны линиям направления, модуль 126 обнаружения объектов может идентифицировать потенциальные электрические линии. В примере воздушного контроля мачт, в отношении обнаружения электрических линий, линии, которые отклоняются не более чем на d градусов (например, 6°) от оцененных углов входящей или исходящей электрической линии, могут маркироваться как потенциальные электрические линии.

[0156] В блоке 1318, модуль 126 обнаружения объектов может фильтровать линии, которые не перпендикулярны направлению линий.

[0157] В блоке 1320, на основании фильтрации линий, которые не перпендикулярны направлению линий, модуль 126 обнаружения объектов может идентифицировать потенциальные края мачт. В примере воздушного контроля мачт, линии, находящиеся в пределах заданного отклонения (например, 90°+/-35°) от углов входящей или исходящей электрической линии, могут маркироваться как потенциальные края мачты.

[0158] В блоке 1322, модуль 126 обнаружения объектов может создавать мачты-кандидаты на основании в наибольшей степени перекрытых краев потенциальных электрических линий и краев мачты из блоков 1316 и 1320 и маркировать мачты-кандидаты кругами. Так как круговые метки могут перекрываться, модуль 126 обнаружения объектов может выполнять обнаружение пятна для получения связанных меток объекта, которые рассматриваются как потенциальные области инфраструктурных объектов. Из обнаруженных пятен, пятна, которые на заданный процент шире (например, в два раза шире) или на заданный процент уже (например, в три раза уже), чем оцененная ширина инфраструктурного объекта, могут не учитываться. Кроме того, для оставшихся пятен, которые находятся внутри заданных пределов размера, заданное количество пятен (например, три) может быть выбрано на основании наибольшего перекрытия с потенциальными электрическими линиями и/или с отфильтрованным результатом обнаружения углов (например, с использованием детектора углов Харриса (Harris)).

[0159] В блоке 1324, модуль 126 обнаружения объектов может разделить каждое из изображений 104, например, на блоки из K×K пикселов (например, K=128 для изображения размером 7360×4912 пикселов и с разрешением 1 см на пиксел) со сдвигом (например, 20 пикселов). В отношении обнаружения центральной точки инфраструктурного объекта, модуль 126 обнаружения объектов может выполнять классификацию на блочной основе (например, полностью контролируемой обучаемой структурой) на основании различных признаков для инфраструктурных объектов-кандидатов. Для каждого блока могут быть назначены взвешенные значения классификации. В соответствии с примером, модуль 126 обнаружения объектов может использовать различные классификаторы. Например, классификаторы могут обучаться на признаках Local Binary Patterns (локальных двоичных образов, LBP), признаках Histogram of Oriented Gradients (гистограммы ориентированных градиентов, HOG), гистограмме обнаруженных углов (например, обнаруженных методом Харриса) и т.д. Некоторые признаки могут быть опущены для назначенных условий. Классификаторы, используемые модулем 126 обнаружения объектов, могут использовать обучающие данные. Согласно примеру, обучающие выборки могут включать в себя блоки из K×K пикселов из изображений. Использование, в общем, равных количеств положительных и отрицательных выборок объекта в обучающих данных может облегчить использование ядра радиальной базисной функции (RBF) для метода опорных векторов (SVM). Каждый классификатор может включать в себя свои собственные параметры, где параметры могут быть определены на основании испытаний и дальнейшей настройки на основании тестирования.

[0160] Модуль 126 обнаружения объектов может интерпретировать и реализовывать различные решения для результатов, полученных для состояний зимой и летом на основании множества результатов классификатора для каждого блока. Для объединения результатов классификаторов могут использоваться различные методы, например, если классификаторы являются двоичными, то их положительные результаты могут суммироваться, и затем может применяться фильтрация. Согласно другому примеру, для состояний летом и/или весной, вместо результата двоичного предсказания, из классификатора может быть получено измерение меры различия, и коэффициент классификации может быть назначен на основании меры различия. Кроме того, пороговая обработка может быть применена к комбинированному коэффициенту классификации, основанному на количестве положительных классификаторов и конкретном времени года.

[0161] После того, как все блоки обработаны, пятно, которое имеет наибольшую сумму коэффициентов классификации, может быть обозначено как окончательный обнаруженный инфраструктурный объект, если сумма больше, чем заданное пороговое значение. В этом отношении это пороговое значение может быть определено на основании оцененной ширины инфраструктурного объекта и времени года. Для обнаруженных центральных точек, модуль 126 обнаружения объектов может идентифицировать обнаруженные центральные точки, используя круги с радиусом ширины пятна на соответствующей маске инфраструктурных объектов изображения.

[0162] Если в области поиска не обнаружен инфраструктурный объект, область поиска может быть увеличена, и обработка может быть выполнена повторно. Например, области поиска могут быть удвоены по размеру. Если инфраструктурный объект не найден в увеличенных областях поиска, модуль 126 обнаружения объектов может указать, что в соответствующем изображении нет инфраструктурного объекта.

[0163] В блоке 1330, для каждого из блоков изображения в блоке 1326 и для каждого из классификаторов в блоке 1328, модуль 126 обнаружения объектов может классифицировать блок как мачту или нет и назначать взвешенные классификационные значения для каждого блока. В связи с этим, в отношении обнаружения центральной точки инфраструктурного объекта, модуль 126 обнаружения объектов может применять фильтрацию на основании угла, чтобы удалить положительные классификации без ближайших углов.

[0164] В блоке 1332, модуль 126 обнаружения объектов может определять взвешенный центр для мачты-кандидата, которая имеет наибольшее отфильтрованное классификационное значение, в качестве положения мачты. В связи с этим, в отношении обнаружения центральной точки инфраструктурного объекта, модуль 126 обнаружения объектов может определять взвешенный центр для объекта-кандидата, который имеет наибольшее отфильтрованное классификационное значение, в качестве положения инфраструктурного объекта.

[0165] На основании определения взвешенного центра для мачты-кандидата, которая имеет наибольшее отфильтрованное классификационное значение, в качестве положения мачты, модуль 126 обнаружения объектов может определять указанное положение мачты в изображении 1334.

[0166] Далее, на основании определения взвешенного центра для мачты-кандидата, которая имеет наибольшее отфильтрованное классификационное значение, в качестве положения мачты, модуль 126 обнаружения объектов может формировать маску 1336 мачты изображения.

[0167] Модуль 124 распознавания объектов - Консолидация мачты

[0168] В отношении консолидации, на основании результатов обнаружения, процесс консолидации может выполняться для каждого инфраструктурного объекта. В примере воздушного контроля мачт, в отношении консолидации, основанной на результатах обнаружения, для каждой мачты может быть выполнен процесс консолидации. Процесс консолидации может представлять окончательный результат обнаружения инфраструктурных объектов и оцененное определение центральной точки для инфраструктурного объекта. В отношении консолидации, можно определить среднее значение GPS-положений из всех результатов обнаружения. Если инфраструктурный объект обнаружен, например, более чем на двух отдельных изображениях, то инфраструктурные объекты, которые находятся слишком далеко (например, на основании заданного порогового значения) от среднего значения GPS-положений, могут быть удалены, и среднее значение может быть переопределено (т.е. среднее значение GPS-положений на основании оставшихся объектов). Если GPS-положения некоторых инфраструктурных объектов остаются, то переопределенное среднее значение инфраструктурного объекта может быть назначено в качестве окончательной центральной точки инфраструктурного объекта. Однако если не осталось GPS-положений инфраструктурных объектов, это означает, что инфраструктурный объект не обнаружен, и оцененное положение инфраструктурного объекта из карты объектов может использоваться для дальнейшей обработки.

[0169] Модуль 124 распознавания объектов (модуль 126 обнаружения объектов) - Обнаружение электрических линий и формирование маски линий электропередачи

[0170] Фиг. 14 иллюстрирует обнаружение электрических линий и формирование маски линий электропередачи для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения. Модуль 124 распознавания объектов может формировать маску линий электропередачи (например, в примере воздушного контроля мачт) и обнаруживать электрические линии (например, электрические линии в примере воздушного контроля мачт) внутри ROI электрической линии.

[0171] Модуль 126 обнаружения объектов может формировать маску линий электропередачи с использованием коридора фиксированной ширины (например, шириной 6,6 метра в примере воздушного контроля мачт) вдоль направления электрической линии. Направление электрической линии может быть определено на основании двух последовательных инфраструктурных объектов и их GPS-положений.

[0172] Обращаясь к фиг. 1 и 14, модуль 126 обнаружения объектов может принимать изображение (например, одно из изображений 104) 1400.

[0173] В блоке 1402, модуль 126 обнаружения объектов может определять края изображения 1400.

[0174] В блоке 1404, в примере воздушного контроля мачт, модуль 126 обнаружения объектов может фильтровать области вне ROI электрической линии.

[0175] В блоке 1406, модуль 126 обнаружения объектов может фильтровать зашумленные точки и краев очень тонких линий. Модуль 126 обнаружения объектов может удалять зашумленные точки и края относительно тонкой электрической линии с медианным размытием, например, с использованием размера ядра в зависимости от значения см-на-пиксел для изображения. В примере воздушного контроля линий электропередачи, можно ожидать, что электрическая линия будет иметь ширину 1,5-3,0 см.

[0176] В блоке 1408, модуль 126 обнаружения объектов может локализовать короткие прямые линии на основании краев с использованием методов обнаружения коротких прямых линий. Согласно примеру, методы обнаружения коротких прямых линий могут использоваться для обнаружения линий электропередачи по их коротким участкам в пределах ROI электрической линии.

[0177] В блоке 1410, модуль 126 обнаружения объектов может фильтровать линии, которые не параллельны направлению линий. В соответствии с примером, электрические линии, которые отклонены более чем на s градусов (например, s=2°) от направления ROI электрической линии, могут быть отфильтрованы как шум.

[0178] В блоке 1412, модуль 126 обнаружения объектов может локализовать прямые длинные линии на основании результата обнаружения коротких прямых линий, используя, например, методы обнаружения коротких прямых линий. Обнаружение электрической линии может выполняться в проходах. Например, первые короткие электрические линии, включающие в себя части реальных электрических линий и дополнительные края, могут быть обнаружены внутри ROI электрической линии (например, блок 1408), а затем длинные полные электрические линии могут быть обнаружены с использованием этих коротких электрических линий на основании предпосылки, что хотя не ожидается, что электрическая линия будет полностью прямой на протяжении всего изображения, более короткая часть электрической линии должна быть относительно прямой (например, блок 1412). Более того, хотя на протяжении всей длины электрической линии может быть несколько длинных разрывов, короткие участки электрической линии могут не включать в себя разрывы. В соответствии с примером, методы обнаружения коротких прямых линий могут использоваться для коротких электрических линий для нахождения более длинных электрических линий (например, более 1500 пикселов). Кроме того, согласно примеру, электрические линии, отклоняющиеся более чем на 2°, могут снова быть отфильтрованы как шум. В соответствии с примером, оставшиеся электрические линии могут рассматриваться как обнаруженные электрические линии и могут быть нанесены на маску линий изображения, например, с шириной двух пикселов.

[0179] В блоке 1414, модуль 126 обнаружения объектов может фильтровать линии, которые не параллельны направлению линий. Модуль 126 обнаружения объектов может применять пороговое значение к данному изображению, преобразованному с помощью преобразования Лапласа, чтобы отфильтровать несущественные краевые линии.

[0180] Модуль 126 обнаружения объектов может формировать маску 1416 линий изображения.

[0181] В примере воздушного контроля мачт, если в изображении обнаружена мачта, мачта может отрицательно воздействовать на следующее обнаружение электрической линии. Таким образом, модуль 126 обнаружения объектов может удалить область мачты из анализа путем маскирования с фиксированной шириной круга вокруг центрального положения мачты перед дальнейшим обнаружением электрической линии.

[0182] Модуль 124 распознавания объектов (модуль 126 обнаружения объектов) - Обнаружение растительности и формирование маски растительности

[0183] Фиг. 15 иллюстрирует обнаружение растительности и формирование маски растительности для модуля 124 распознавания объектов, в соответствии с примером настоящего изобретения.

[0184] Обращаясь к фиг. 1 и 15, в блоке 1500, модуль 126 обнаружения объектов может принимать параметры классификаторов 1304 и изображение (из изображений 104) 1400. В блоке 1500, модуль 126 обнаружения объектов может выполнять предварительную обработку изображения, например, путем преобразования изображения в шкалу уровней серого. В отношении обнаружения растительности и формирования маски растительности для зимы и весны, модуль 126 обнаружения объектов может, например, определять признаки HOG и LBP для изображения и использовать полностью контролируемую структуру обучения для распознавания объектов. Затем модуль 126 обнаружения объектов может удалить область вне ROI из предварительно обработанных результатов. В соответствии с примером, модуль 126 обнаружения объектов может предварительно обрабатывать изображение из RGB в шкалу уровней серого, например, подчеркивая зеленый цвет для лета (например, вход=R-0,5*(G+B)).

[0185] В блоке 1504, модуль 126 обнаружения объектов может нормализовать данные, относящиеся к изображению в блоке 1500. В отношении обнаружения растительности и формирования маски растительности для зимы и весны, модуль 126 обнаружения объектов может использовать нормализованный зеленый канал, где нормализация может выполняться путем масштабирования среднего значения канала, например, равного 128. Согласно примеру, модуль 126 обнаружения объектов может нормализовать яркость (например, нормализованное значение=вход*128/среднее(единичный_уровень)).

[0186] В блоке 1506, модуль 126 обнаружения объектов может фильтровать области других объектов (например, объектов не растительности). Модуль 126 обнаружения объектов может формировать двоичную маску области для поиска растительности, за исключением области инфраструктурного объекта, области объектов и области за пределами ROI.

[0187] В блоке 1508, модуль 126 обнаружения объектов может разделить изображение 1400, например, на блоки K×K без перекрытия. В блоке 1510, для каждого из блоков K×K в блоке 1508, и в блоке 1512, для каждого из классификаторов, в блоке 1514, модуль 126 обнаружения объектов может классифицировать каждый из блоков K×K как растительность или не растительность. В отношении обнаружения растительности и формирования маски растительности для зимы и весны, в соответствии с примером, обработка может выполняться для каждого блока, сначала путем исполнения классификаторов для блоков, которые имеют достаточное количество краев внутри области (например, растительность должна иметь несколько краев). Ребра могут быть проверены по результатам Лапласа. Классификаторы также могут игнорировать блоки, которые рассматриваются как блоки земли. В этом случае, чтобы рассматриваться как не земля, разность высот для этого блока больше минимальной высоты дерева, или блок имеет достаточное количество высоких точек (среднее значение 0-255 маски не земли >64), чтобы включать в себя область деревьев стабильной высоты. Каждый классификатор может обеспечивать вероятность растительности. Классификатор с признаками HOG может исполняться отдельно для блока. Если вероятность достаточно высока, то классификация LBP может обеспечивать вторую вероятность. Если оба классификатора предсказывают, что этот блок является растительностью, то блок может быть предварительно обозначен как растительность. Область блока может считаться растительностью, если среднее значение по Лапласу этой области больше, чем заданное значение, и классификаторы с признаками LBP и HOG рассматривают эту область как растительность.

[0188] В отношении обнаружения растительности и формирования маски растительности, классификаторы растительности могут быть обучены, как описано выше. Может использоваться несколько классификаторов, и классификаторы могут обучаться для каждого времени года. Чтобы получить оптимальный классификатор, обучающие данные могут включать в себя примерно одинаковое количество положительных и отрицательных выборок.

[0189] В блоке 1516, модуль 126 обнаружения объектов может объединять результаты решения всех классификаторов в один результат решения.

[0190] В блоке 1518, модуль 126 обнаружения объектов может применять смыкание морфологии. В отношении обнаружения растительности и формирования маски растительности, классификатор может не точно классифицировать блок. Чтобы устранить любые неточности, модуль 126 обнаружения объектов может использовать морфологические операции. Если окружающие блоки классифицируются как растительность, то блок в середине может также быть растительностью. В связи с этим, смыкание морфологии и расширение морфологии могут использоваться для коррекции любых блоков с пропущенными предсказаниями. Области инфраструктурного объекта и объекта могут быть разрушены (например, разрушением морфологии) перед исключением из области поиска. Модуль 126 обнаружения объектов может применять морфологию на изображении, а затем применять размытие.

[0191] В блоке 1520, модуль 126 обнаружения объектов может формировать маску решения классификаторов изображения в качестве маски растительности изображения.

[0192] В блоке 1522, модуль 126 обнаружения объектов может выполнять сегментацию суперпикселов, и на основании маски решений модуль 126 обнаружения объектов может выбирать суперпикселы, которые относятся к растительности.

[0193] В блоке 1524, модуль 126 обнаружения объектов может формировать маску сегментации суперпикселов.

[0194] В блоке 1526, модуль 126 обнаружения объектов может выбирать суперпикселы на основании маски решений.

[0195] В блоке 1528, модуль 126 обнаружения объектов может выполнять смыкание морфологии.

[0196] В блоке 1532, модуль 126 обнаружения объектов может принимать маску 1530 земли для изображения и результаты смыкания морфологии из блока 1528 для фильтрации областей уровня земли. Кроме того, модуль 126 обнаружения объектов может удалять области вне области поиска из маски растительности и добавлять окончательную маску растительности к маске изображения.

[0197] Модуль 126 обнаружения объектов может формировать маску 1534 растительности изображения.

[0198] Модуль 124 распознавания объектов (модуль 126 обнаружения объектов) - Суперпиксельная реализация

[0199] Модуль 126 обнаружения объектов может отображать предварительную классификацию на суперпикселы и классифицировать, какие суперпикселы принадлежат классу, на основании предварительной классификации. В отношении классификации суперпикселов на класс, изображение можно разделить на области суперпикселов. Модуль 126 обнаружения объектов может собирать соответствующую информацию о суперпикселах. Разделение на суперпикселы может быть основано на RGB-изображении. Модуль 126 обнаружения объектов может использовать изображение высот для сбора некоторой информации в суперпиксельный класс. Суперпиксельный класс может включать в себя набор векторов, отображающих среднюю и максимальную абсолютную высоту каждого суперпиксела, крайние левый и правый столбцы, а также крайние верхнюю и нижнюю строки. Для каждого суперпиксела, класс также может перечислять его соседние суперпикселы в векторе.

[0200] Модуль 126 обнаружения объектов может анализировать суперпикселы и формировать прямоугольник вокруг суперпиксельной области. Модуль 126 обнаружения объектов может определить, насколько предварительная классификация перекрывается с суперпиксельным прямоугольником (т.е. средним значением эталона). Если перекрытие достаточно сильное, то суперпиксел может быть классифицирован положительно.

[0201] Если информация высот используется в классификации, после классификации может быть выполнена дополнительная проверка. Дополнительная проверка может быть использована для идентификации суперпикселов, которые выше земли внутри широкого объекта (например, большого дома). Эти суперпикселы могут быть окружены высокими суперпикселами и, возможно, были неправильно классифицированы. Если перекрытие достаточно сильное, и соседние суперпикселы положительно классифицированы, то данный суперпиксел также может быть положительно классифицирован.

[0202] Модуль 124 распознавания объектов (модуль 126 обнаружения объектов) - Обнаружение антропогенного объекта и формирование маски антропогенного объекта

[0203] Фиг. 16 иллюстрирует обнаружение антропогенного объекта и формирование маски антропогенного объекта для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения. В отношении обнаружения антропогенного объекта и формирования маски антропогенного объекта, модуль 126 обнаружения объектов может выполнять обнаружение объекта для всех времён года (например, лета, зимы). Антропогенные объекты обычно могут включать в себя любой тип объекта, который может представлять риск для контролируемого инфраструктурного объекта (например, здание, люди, автомобили и т.д.). Различные методы обнаружения антропогенных объектов могут использоваться для разных времён года.

[0204] В отношении обнаружения антропогенных объектов и формирования маски антропогенного объекта в зимний период, процесс обнаружения объектов зимой может основываться на предположении, что в основном все покрыто снегом, и поэтому реальные цвета объектов не видны и могут быть обнаружены только края объектов. Процесс обнаружения объектов для всех времён года также может учитывать информацию о цвете.

[0205] Для процесса обнаружения объектов зимой, поскольку относительно малые объекты могут игнорироваться, процесс обнаружения объектов зимой может уменьшить разрешение изображения для уменьшения времени обработки, связанного с изображениями. Модуль 126 обнаружения объектов может сглаживать цветное изображение и извлекать края и ребра из изображения. Обнаружение краев может выполняться отдельно для каждого цвета с использованием детекторов границ Канни или Собеля и обнаружения ребер с использованием обнаружения ребра на основе Лапласа. Модуль 126 обнаружения объектов может удалить нечеткие края с использованием подхода на основании порогового значения. Для инфраструктурных объектов (например, мачт, зданий и т.д.) область инфраструктурного объекта и область вне ROI могут быть удалены из предварительно обработанных результатов. Предполагая, что объекты, созданные человеком, обычно включают в себя прямые линии, модуль 126 обнаружения объектов может обнаруживать линии, например, методами обнаружения короткой прямой линии. Кроме того, модуль 126 обнаружения объектов может формировать прямоугольники вокруг области каждой линии.

[0206] Для процесса обнаружения объектов зимой модуль 126 обнаружения объектов может подсчитывать количество краев из прямоугольников. Если в прямоугольниках имеется слишком много краев, то можно определить, что линия принадлежит, например, к растительности. Если прямоугольники включают в себя слишком мало краев, то можно определить линию как изолированную линию, а не часть какой-либо конструкции.

[0207] Для процесса обнаружения объектов зимой модуль 126 обнаружения объектов может формировать суперпикселы из изображения. Суперпикселы, которые включают часть ранее сформированных прямоугольников линии, могут быть классифицированы как принадлежащие к объекту. Предварительная маска объекта может быть сформирована на основании классификации.

[0208] Для процесса обнаружения объектов зимой модуль 126 обнаружения объектов может также выполнять расширение морфологии на предварительной классификации, чтобы сгладить результат классификации. Кроме того, инфраструктурные объекты, растительность и т.д. и область за пределами ROI могут быть удалены из предварительно обработанных результатов, так что каждая область классифицируется только в один класс.

[0209] В отношении обнаружения антропогенного объекта и формирования маски антропогенного объекта для всех других времён года (например, весны, лета, осени), модуль 126 обнаружения объектов может определять области объектов с использованием информации о цвете, с использованием данных о краях и абсолютной высоте и путем идентификации областей, где цвет относительно отличается от наиболее распространенного цвета земли.

[0210] Обращаясь к фиг. 1 и 16, чтобы формировать маску неизвестного объекта, модуль 126 обнаружения объектов может принимать карту высот изображения (например, из карт 410 высот изображения) 1600.

[0211] В блоке 1602, модуль 126 обнаружения объектов может определять производные данных высот в направлениях х и у. Модуль 126 обнаружения объектов может масштабировать данные высот, например от 0 до 255 включительно, и определять производные в направлениях x и y, используя, например, операцию Собеля или вывод схемы конечной разности.

[0212] В блоке 1604, модуль 126 обнаружения объектов может определять края, где производные последовательно возрастают и затем снижаются. В этом отношении модуль 126 обнаружения объектов может последовательно анализировать изображение в вертикальном и горизонтальном направлениях и идентифицировать те ненулевые области Лапласа, где высота возрастает или уменьшается. Если определено уменьшение высоты, в ближайшей области может быть найден поднятый край. Согласно примеру, эта область может быть ограничена, например, до двадцати метров (в качестве максимальной длины любого объекта, подлежащего идентификации).

[0213] В блоке 1606, если оба края объекта локализованы, модуль 126 обнаружения объектов может маркировать объект.

[0214] Для изображения (из изображений 104) 1400, в блоке 1610, модуль 126 обнаружения объектов может преобразовать изображение в формат Hue-Saturation-Value (цветовой тон-насыщенность-значение, HSV). Модуль 126 обнаружения объектов может изменять размер цветного изображения до размера данных высот и выполнять медианное размытие. Как описано здесь, модуль 126 обнаружения объектов может извлекать линии ребра, используя, например, оператор Лапласа.

[0215] В блоке 1612, модуль 126 обнаружения объектов может суммировать вычисления Лапласа всех каналов данных HSV. Модуль 126 обнаружения объектов может размывать каждый канал и извлекать ребра с помощью оператора Лапласа. Например, для зимы, методы, основанные на Лапласе, могут использовать значение Value-channel (значение-канал) (яркость) или каждый канал изображения в качестве входа.

[0216] В блоке 1614, модуль 126 обнаружения объектов может определять области без краев. Модуль 126 обнаружения объектов может определять области без краев с помощью операций порога, расширения и медианного размытия.

[0217] Для маски 1530 земли для изображения, в блоке 1618, модуль 126 обнаружения объектов может определить, является ли время года зимой. В ответ на определение в блоке 1618, что время года является зимой, анализ, связанный с блоками 1620, 1622 и 1624, как описано ниже, может не выполняться.

[0218] Модуль 126 обнаружения объектов может идентифицировать области, для которых цвет относительно отличается от наиболее общего цвета земли. В этом отношении, изображение может быть преобразовано в формат HSV, и каждый канал может быть обработан. В ответ на определение в блоке 1618, что время года не является зимой, для каждого из каналов HSV в блоке 1620, в блоке 1622 модуль 126 обнаружения объектов может определять индекс максимума гистограммы значений канала изображения в областях земли, и в блоке 1624 модуль 126 обнаружения объектов может определять значения, которые не равны найденному индексу, и размывать результат.

[0219] В блоке 1626, модуль 126 обнаружения объектов может суммировать результаты всех каналов HSV.

[0220] В блоке 1628, модуль 126 обнаружения объектов может принимать результаты из блоков 1606, 1614 и 1626 и суммировать и фильтровать результаты. Результаты могут быть сглажены медианным размытием. В отношении обнаружения антропогенных объектов и формирования маски объектов для всех других времён года, модуль 126 обнаружения объектов может определить маску объекта путем суммирования вышеупомянутых результатов вместе.

[0221] В блоке 1630, модуль 126 обнаружения объектов может удалять другие области объектов и относительно малые области. Кроме того, модуль 126 обнаружения объектов может удалять области растительности, мачты и области вне ROI. Модуль 126 обнаружения объектов также может удалять объекты, которые являются слишком малыми или слишком большими, используя операцию классификации формы.

[0222] Модуль 126 обнаружения объектов может формировать маску 1632 антропогенных объектов изображения.

[0223] Модуль 124 распознавания объектов - Создание областей

[0224] Фиг. 17 и 18 иллюстрируют создание областей для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения.

[0225] Обращаясь к фиг. 1, 17 и 18, в отношении обработки области, модуль 126 обнаружения объектов может формировать области путем идентификации всех инфраструктурных объектов (например, мачт, трубопроводов, зданий и т.д.) и установления областей вокруг инфраструктурных объектов. Модуль 126 обнаружения объектов может выполнять процессы обнаружения на основании изображения (например, обнаружения линии, растительности и объекта), а модуль 128 консолидации области объекта может отображать результаты на маски области.

[0226] В отношении формирования областей, модуль 128 консолидации области объекта может устанавливать начальные и конечные объекты. В примере воздушного контроля мачт, модуль 128 консолидации области объекта может устанавливать начальные и конечные мачты так, что электрические линии находятся непосредственно внутри области. Область может быть ограничена, например, на основании результатов обнаружения инфраструктурных объектов (например, мачты). Если инфраструктурный объект либо обнаружен, либо пропущен, поскольку имеются изображения вблизи инфраструктурного объекта, область, включающая в себя инфраструктурный объект, может быть обработана.

[0227] В отношении обработки области, класс области C++ может быть ответственным за распределение матриц области, определение матриц преобразования между пикселами области и GPS-координатами, отображение результатов основанного на изображении распознавания на область и консолидацию результатов из различных изображений в одну из матриц области.

[0228] Обращаясь к фиг. 1 и 17, если углы между направлениями достаточно большие, области можно разделить на области, как показано в 1700. Если углы между первым направлением и другими направлениями относительно малы, как показано в 1702, то области могут быть включены в одну область.

[0229] Обращаясь к фиг. 1 и 18, относительно класса области С++, относящегося к обработке области, модуль 128 консолидации области объекта может сначала установить угловые точки области на основании начального положения (например, начального инфраструктурного объекта, такого как начальная мачта), конечного положения (например, конечного инфраструктурного объекта, такого как конечная мачта), ROI и постоянных расширения. Например, фиг. 18 иллюстрирует определение угловых точек области в соответствии с примером настоящего изобретения. Как показано на фиг. 18, в примере воздушного контроля мачт, угловые точки могут быть определены в два этапа, примерные результаты первого и второго этапов обозначены на фиг. 18, соответственно, как «1» и «2». На первом этапе модуль 128 консолидации области объекта может определять точки, которые расположены на расстоянии ширины ROI плюс горизонтальное расширение от начальной и конечной инфраструктурных точек области, на перпендикуляре к прямой линии между начальной и конечной инфраструктурными точками. На втором этапе угловые точки могут быть расширены, чтобы включать в себя некоторое перекрытие между областями, чтобы избежать пропусков объектов, находящихся близко к инфраструктурному объекту (например, мачте). Модуль 128 консолидации области объекта может определять конечные угловые точки «2» области путем размещения точек на расстоянии вертикального расширения от точек «1» на линии, параллельной прямой линии между начальной и конечной инфраструктурными точками.

[0230] В отношении класса области C++, относящегося к обработке области, модуль 128 консолидации области объекта может определять матрицы преобразования из GPS к пикселу области (и наоборот). Модуль 128 консолидации области объекта может использовать, например, аффинное преобразование или другие подобные методы для определения матриц преобразования. В отношении матриц преобразования, основанных на подсчете GPS-положений угловых точек для области, чтобы свести к минимуму ошибку округления при преобразовании, GPS-координаты могут быть преобразованы в локальные координаты области, где начало координат является левым верхним углом для области без расширения.

[0231] Конфигурация модуля 128 консолидации области объекта может определять точность маски области. Ширина и высота маски области (и пиксельные значения угловых точек) могут рассчитываться на основании точности и угловых точек области. Угловые точки области могут быть определены на основании этой ширины и высоты маски области.

[0232] Модуль 124 распознавания объектов - Консолидация области

[0233] Фиг. 19 иллюстрирует консолидацию области для модуля 124 распознавания объектов в соответствии с примером настоящего изобретения.

[0234] Обращаясь к фиг. 1 и 19, консолидация области для модуля 124 распознавания объектов может включать в себя отображение результатов обработки изображения на области, путем подсчета преобразований координат локального изображения в координаты локальных областей на основании данных GPS-выравнивания изображений и данных GSP-выравнивания областей.

[0235] В отношении класса области C++, относящегося к обработке области, модуль 128 консолидации области объекта может распределять матрицы области. Матрицы области могут включать в себя матрицу области маски, матрицу области высот, матрицу области земли и матрицу области числа преобразованных пикселов.

[0236] Матрица области маски может включать в себя, например, четыре канала (консолидированный/конечный результат, подсчет обнаружения инфраструктурных объектов (например, мачт), подсчет обнаружения растительности и подсчет обнаружения объектов). Три канала подсчета могут включать сумму всех положительных классификаций, собранных из разных изображений, в конкретный пиксел области.

[0237] Матрица области высот может включать в себя, например, два канала (скользящее среднее подсчетов высоты для пиксела области и подсчет значений высоты, собранных для пиксела). Подсчет значений высоты может использоваться для поддержания скользящего среднего.

[0238] Матрица области земли может включать в себя, например, подсчет положительных классификаций земли. Матрица области количества преобразованных пикселов может включать в себя, например, количество всех пикселов изображения, которые были отображены на каждый пиксел области.

[0239] В отношении класса области C++, относящегося к обработке области, модуль 128 консолидации области объекта может отображать результаты, основанные на изображении, в матрицы области. Маски объектов изображения, карты высот изображения и маски классификации земли для изображения могут быть медианно отфильтрованы. Основываясь на результатах фильтрации, модуль 128 консолидации области объекта может выбирать последовательные выборки, которые представляют медианное значение окружающей области. Например, каждый 5-ый пиксел каждой 5-ой строки изображения может быть выбран для обработки.

[0240] Для каждого выбранного пиксела, модуль 128 консолидации области объекта может гарантировать, что пиксел находится внутри ROI изображения, чтобы пропускать обработку ненужных деталей. Координаты изображения выбранных пикселов могут быть преобразованы в пиксельные положения в матрицах области сначала путем преобразования координат пиксела изображения в GPS-положение, а затем преобразования GPS-положения в координаты пиксела области, используя аффинное преобразование области. Модуль 128 консолидации области объекта может дополнительно гарантировать, что получаемые координаты пиксела области находятся внутри маски области.

[0241] В отношении обработки изображения, для каждого обработанного и преобразованного пиксела, положительный результат классификации изображения-маски может увеличивать соответствующее пиксельное значение области в канале маски области. В примере воздушного контроля мачт, если пиксел изображения классифицирован как мачта, то соответствующий пиксел области в канале мачты соответствующего пиксела маски области может быть увеличен на единицу.

[0242] В отношении обработки изображения, для каждого обработанного и преобразованного пиксела, информация высоты из основанной на изображении карты высоты может быть добавлена к определению скользящего среднего соответствующего пиксела области высот. Например, если y - скользящее среднее (или модифицированное скользящее среднее), n - количество значений высоты, доступных для пиксела высот области, и x - пиксельное значение в основанной на изображении карте высот, то скользящее среднее y может быть определено следующим образом:

Уравнение (26)

Для уравнения (26), y_n может представлять среднее n элементов.

[0243] В отношении обработки изображения, для каждого обработанного и преобразованного пиксела, классификация земли также может быть обновлена. Если пиксел был классифицирован как находящийся на уровне земли, положительный (например, находящийся на уровне земли) подсчет классификации земли также может быть увеличен.

[0244] В отношении обработки изображения, для каждого обработанного и преобразованного пиксела, значение соответствующего пиксела области в матрице области количества преобразованных пикселов может быть увеличено.

[0245] В отношении класса области C++, относящегося к обработке области, модуль 128 консолидации области объекта может консолидировать результаты классификации различных изображений в конечный результат классификации области. В связи с этим, модуль 128 консолидации области объекта может выполнять медианную фильтрацию для каждого канала, чтобы сглаживать пикселы выбросов, если, например, все изображения пропустили один пиксел. Модуль 128 консолидации области объекта может оценивать все пикселы, определять взвешенную вероятность различных вариантов классификации для пикселов и выбирать для каждого пиксела вариант классификации с наивысшей оценкой. Консолидация земли может выбрать наиболее часто встречающийся вариант.

[0246] В отношении обработки области, модуль 128 консолидации области объекта может использовать реализацию обучаемого классификатора для формирования автоматической обратной связи для классификаторов растительности с целью повторного обучения классификаторов растительности. В связи с этим, область изображения может быть извлечена из маски консолидированной области, и модуль 128 консолидации области объекта может выполнять повторное обучение классификаторов с использованием извлечения.

[0247] Модуль реконструкции трехмерной кривой

[0248] Модуль 130 реконструкции трехмерной кривой может использовать маски объектов изображений, данные GPS-местоположения инфраструктуры, данные GPS-выравнивания изображений и данные GPS-выравнивания областей для построения параметризованных моделей 3D представления для некоторых типов объектов. В примере воздушного контроля мачт и линий электропередачи, модуль 130 реконструкции трехмерной кривой может использовать маски линий электропередачи изображения, данные GPS-местоположения мачт, данные GPS-выравнивания изображений и данные GPS-выравнивания областей для построения уравнений, которые определяют местоположение каждой линии электропередачи.

[0249] Модуль 130 реконструкции трехмерной кривой может выполнять свои операции в системе координат, которая сохраняет прямые линии реального мира. Например, системой координат может быть геодезическая система координат ECEF или система координат областей или другая система координат с аналогичными характеристиками.

[0250] В примере реконструкции линий электропередачи, для линий между каждой парой мачт, может использоваться система координат вмещающей области. В системе координат области, линии электропередачи могут быть продолжаться вдоль оси Y, как показано на фиг. 20А. Положения мачт (X_A, Y_A, altitude_A и X_B, Y_B, altitude_B) могут быть выведены из GPS-местоположений мачт и данных GPS-выравнивания области. Модуль 130 реконструкции трехмерной кривой может затем определить плоскости проекции между мачтами в системе координат области, на которые могут проецироваться линии электропередачи, расположенные в изображениях. Каждая плоскость проекции может включать фиксированную координату Y в системе координат области и те же оси Х и Z (абсолютной высоты или относительной высоты), что и в системе координат области. Фиксированные координаты Y плоскостей проекции могут быть равномерно распределены между координатами Y мачт. Число плоскостей проекции может быть определено системным параметром. Изображения, которые включают в себя линии электропередачи между выбранными мачтами, которые должны проецироваться на плоскости проекции, могут быть определены путем проверки их пересечения с областью таким же образом, как и для создания областей.

[0251] Для проецирования линий электропередач, обнаруженных в изображениях, на определенные плоскости проекции, линия, соединяющая положение камеры и пиксел линии электропередачи в плоскости изображения, может быть определена для каждого или некоторых из пикселов линии. Чтобы определить уравнение этой линии, некоторая случайная точка на этой линии, отличная от положения камеры, может быть определена аналогично тому, как при использовании данных GPS-выравнивания изображения. Положение камеры (X₀, Y₀, altitude₀) и положение случайной точки (X₁, Y₁, altitude₁) в системе координат области могут быть получены из данных GPS-выравнивания изображения и данных GPS-выравнивания области. Для каждой такой линии, координаты пересечения с плоскостью проекции можно определить следующим образом:

Уравнение (27)

Уравнение (28)

Уравнение (29)

[0252] Точки пересечения со слишком малыми или слишком высокими координатами могут быть отфильтрованы для уменьшения времени обработки. Соседние точки пересечения могут быть соединены линейными сегментами так же, как они были связаны в начальных изображениях. После обработки всех изображений описанным образом, плоскость проекции может включать в себя проекции всех обнаруженных линий электропередачи, каждая в форме множества линейных сегментов.

[0253] Как показано на фиг. 20В, в каждой плоскости проекции, линии из разных изображений могут пересекаться между собой, формируя таким образом набор точек, где каждая точка является пересечением между двумя линиями. Линии электропередачи реального мира могут быть расположены вблизи точек, где происходит наибольшее число таких пересечений. Для определения этих точек могут быть проанализированы пересечения каждой линии с другими линиями. Пересечения могут быть отсортированы по их координатам высоты, и может быть выбрана самая длинная последовательность элементов с малыми расстояниями между собой (меньше заданного порогового значения). Средние координаты координат элементов этой последовательности могут составлять наиболее вероятное пересечение для каждой линии.

[0254] Наиболее вероятные пересечения внутри плоскостей проекции могут образовывать облако точек, расположенное между мачтами, как показано на фиг. 20C. Для точек облака точек могут быть подобраны два уравнения для каждой обнаруженной кривой. Одно уравнение может отражать вид кривой сверху сцены и отражать зависимость координаты Х от координаты Y и принимать форму линейного уравнения. Второе уравнение может отражать зависимость высоты кривой от координаты Y и принимать форму либо уравнения гиперболической косинусной линии, либо уравнения параболической линии. Чтобы выбрать точки, для которых могут быть подобраны два уравнения, облако точек сначала может быть преобразовано в представление графа. Точки могут стать вершинами, и ребра могут быть добавлены для точек в последовательных плоскостях проекции с малыми различиями координатах Х и высоты (меньше, чем заданные пороговые значения). Точки непоследовательных плоскостей проекции также могут быть использованы для устранения возможных разрывов на графе.

[0255] Внутри полученного графа соединенные компоненты могут быть выбраны для создания подбираемых (аппроксимирующих) линий. Для последующих вычислений можно выбрать соединенные компоненты с наибольшим количеством точек и/или с наибольшей длиной вдоль оси Y. Внутри каждого соединенного компонента может быть выбрано некоторое количество случайных ребер («начальных чисел»). Количество начальных чисел может быть заданным параметром. Для начального числа случайное смежное ребро может быть определено для каждой из двух вершин начального числа. Та же процедура может применяться к выбранным ребрам в цикле, пока не будут достигнуты вершины из плоскостей проекции с минимальной и максимальной фиксированными координатами Y. Для каждого набора ребер, полученных из начального числа, вершины могут использоваться для подгонки к кривым. Для подгонки первого уравнения (x=k*y+t), линейная регрессия может быть применена следующим образом:

Уравнение (30)

Уравнение (31)

[0256] Для подгонки второго уравнения (altitude=a*y²+b*y+c), линейная регрессия также может быть применена следующим образом:

Уравнение (32)

Уравнение (33)

Уравнение (34)

[0257] Полученные уравнения затем могут быть повторно подогнаны с использованием точек из облака точек, которые расположены в пределах заданного расстоянии до первой оцененной кривой. Затем полученные подогнанные кривые могут быть отфильтрованы. Кривые с аналогичными результирующими параметрами могут быть объединены или, например, кривые могут обрабатываться одна за другой для определения «лучших» кривых. На каждом этапе обработки, может быть выбрана кривая с наибольшим количеством точек в пределах заданного расстояния, и эти точки в пределах заданного расстояния от линии могут быть удалены из облака точек. Таким образом, близкие кривые могут не выбираться во время последующих итераций. Все кривые, которые имели бы слишком малое число точек после нескольких итераций, могут быть отброшены. Точки в облаке точек, которые не были подогнаны к каким-либо линиям, могут считаться выбросами.

[0258] Затем полученные кривые подгонки могут быть дополнительно отфильтрованы. Например, модуль 130 реконструкции трехмерной кривой может отбросить кривые, расположенные далеко от мачты, или кривые, которые не соответствуют результатам из соседнего сегмента между мачтами. План монтажа линий электропередачи на мачте также может использоваться для той же цели, если обеспечивается клиентской системой.

[0259] Параметры полученных кривых для каждой кривой могут быть сохранены в отдельном TXT-файле для каждой последовательной пары мачт. Эти параметры могут затем использоваться в модуле 132 анализа рисков системы 100. Маски области линии электропередачи также могут быть обновлены в соответствии с определенными точными положениями линий электропередачи. Для каждой пары мачт, область, ограниченная уравнениями прямой линии и положениями мачт, может рассматриваться как область линий электропередачи.

[0260] Модуль 132 анализа рисков - Поток данных модуля анализа рисков

[0261] Фиг. 21 иллюстрирует поток данных модуля анализа рисков для модуля 132 анализа рисков системы 100, в соответствии с примером настоящего изобретения.

[0262] Обращаясь к фиг. 1 и 21, модуль 132 анализа рисков может анализировать предыдущие данные 136, инфраструктурные правила 2100, данные 706 GPS-выравнивания областей, маски 708 областей объектов, маску 710 земли для областей, карту 712 высот областей, пространственное разрешение 714 областей, данные 408 GPS-выравнивания изображений и, в примере воздушного контроля мачт, параметры 2102 кривых линий электропередачи, чтобы формировать параметры 2104 риска, многоугольники 2106 риска и маски 2108 риска для каждого риска в каждой области. Параметры 2104 риска, многоугольники 2106 риска и маски 2108 риска могут быть отправлены в модуль 142 консолидации рисков для дальнейшего анализа.

[0263] Обращаясь к фиг. 1 и 21, в отношении оценки риска, модуль 132 анализа рисков обычно может обнаруживать риски, которые включают в себя падение высоких деревьев в ROI, которые могут падать под линиями электропередачи или на них (в примере воздушного контроля линий электропередачи), растительность в RoW, высокие антропогенные объекты в ROI (в RoW или вблизи RoW), антропогенные объекты и/или растительность под электрическими линиями (в примере воздушного контроля линий электропередачи), идентифицировать, имеются ли недостающие линии электропередачи между мачтами (в примере воздушного контроля линий электропередачи), и измерять минимальный просвет линий электропередачи (в примере воздушного контроля линий электропередачи).

[0264] В отношении аналитики риска, модуль 132 анализа рисков обычно может принимать в качестве входных данных, для каждой области, ID ассоциированных областей, карты высот, маски земли, данные выравнивания области, параметры трехмерной кривой линий электропередачи и маски объектов (например, растительности, инфраструктурных объектов (например, электрических линий, мачт, зданий и т.д.), антропогенных объектов)). В соответствии с примером, инфраструктурные правила 2100 могут включать в себя ширину RoW, максимально допустимую высоту для различных неинфраструктурных объектов и расстояние от пороговых значений инфраструктурных объектов, которые могут быть в метрах. Модуль 132 анализа рисков может также принимать в качестве входа выходной отчет для результатов обнаружения, который включает в себя GPS и/или локальные координаты области инфраструктурных объектов, предполагаемое количество входных и выходных электрических линий для каждого инфраструктурного объекта (в примере воздушного контроля мачт) и пространственное разрешение (см на пиксел) для каждой области. Модуль 132 анализа рисков может дополнительно принимать в качестве входа предшествующие данные 136 (например, информацию о рисках (тип риска, координаты, маску области рисков для областей, относительные высоты, область и т.д.)) и пользовательскую обратную связь 138 (например, тип и ID риска, неверно найдено, разрешенный риск, дата и стоимость обслуживания и т.д.).

[0265] Модуль 132 анализа рисков - Оценка рисков для областей

[0266] Фиг. 22-24 иллюстрируют оценку рисков для областей для модуля 132 анализа рисков в соответствии с примером настоящего изобретения.

[0267] Модуль 132 анализа рисков может принимать карту высот области в блоке 2208 и маску земли для области в блоке 2210, чтобы определить в блоке 2212 карту относительной высоты.

[0268] Как показано на фиг. 22, модуль 132 анализа рисков может принимать инфраструктурные правила 2100, маски неинфраструктурных объектов области в блоке 2200, маски инфраструктурных объектов в блоке 2202 и карту относительной высоты, определенную в блоке 2212, чтобы определить (например, локализовать), в блоке 2204, области (и/или деревья и/или объекты), которые приводят к нарушению отраслевых стандартов (например, выбрать области с относительной высотой выше максимального порогового значения относительной высоты).

[0269] В блоке 2206, модуль 132 анализа рисков может разделить область, сопряженную с риском, определенную в блоке 2204, на кластеры. Например, модуль 132 анализа рисков может разделить пикселы риска на несколько кластеров областей, сопряженных с риском, тем самым получая маску риска для каждой области, подлежащей использованию при определении количественных параметров риска в блоке 2220, при поиске вмещающего риск многоугольника в блоке 2222, и для включения в выход модуля 132 анализа рисков в блоке 2224.

[0270] Для каждого кластера риска из блока 2206, модуль 132 анализа рисков может принимать маски инфраструктурных объектов области в блоке 2202, карту относительных высот в блоке 2212, параметры кривых линий электропередачи в блоке 2214, предыдущие данные 136, пространственное разрешение области в блоке 2216, данные выравнивания области в блоке 2218, маску риска, полученную в блоке 2206, и карту относительных высот, полученную в блоке 2212, для определения количественных параметров риска в блоке 2220, которые могут быть включены в выход модуля анализа 132 риска в блоке 2226. В связи с этим, в отношении предыдущих данных 136, модуль 132 анализа рисков может определить, может ли некоторый случай рассматриваться как случай риска или нет. Например, модуль 132 анализа рисков может сравнивать GPS-координаты пикселов кластеров рисков, найденных в предыдущих полетах (например, определять, был ли обнаружен риск в предыдущих полетах), сравнивать относительную высоту рисков (например, идентифицировать, существует ли возрастающий тренд, идентифицировать, сохраняется ли случай риска, даже если он уже был устранен (исключен)) и/или обеспечивать информацию в соответствии с частотой появления, возрастающим трендом и/или пользовательской обратной связью.

[0271] Для каждого кластера риска из блока 2206, модуль 132 анализа рисков может принимать маску риска, полученную в блоке 2206, пространственное разрешение области в блоке 2216 и данные выравнивания области в блоке 2218 для определения вмещающего многоугольника в блоке 2222, подлежащего включению в выход модуля анализа 132 риска в блоке 2228.

[0272] Таким образом, в отношении оценки каждого обнаруженного кластера риска, модуль 132 анализа рисков может определять маску области (например, маску для областей, сопряженных с риском), количественные параметры рисков (например, радиус, площадь, относительную высоту и т.д.) и представление вектора риска (например, вмещающий многоугольник).

[0273] В отношении блоков 2204 и 2220, анализ для этих блоков может быть конкретным для типа риска.

[0274] Обращаясь к фиг. 23, чтобы сформировать карту относительной высоты (например, блок 2212 на фиг.22), модуль 132 анализа рисков может получать карту высот (например, блок 2208 на фиг. 22) и маску земли (например, блок 2210 на фиг. 22). В 2300, модуль 132 анализа рисков может выбирать абсолютные высоты, относящиеся к уровню земли. В 2302, модуль 132 анализа рисков может заполнять пустоты (области, которые не были классифицированы как находящиеся на уровне земли и, следовательно, не включают в себя информацию об абсолютной высоте) локальными средними высотами земли. Локальные абсолютные высоты могут быть получены путем рассмотрения абсолютных высот на расстоянии от исходного пиксела, которое не превышает некоторое заданное или вычисленное пороговое значение (т.е. максимальное расстояние от пустого до непустого пиксела на карте высот). В 2304, модуль 132 анализа рисков может выполнять гауссово размытие, чтобы сгладить полученные высоты земли. В 2306, модуль 132 анализа рисков может вычесть высоты земли из карты высот для определения карты относительной высоты.

[0275] Обращаясь к фиг. 24, в отношении кластеризации рисков, модуль 132 анализа рисков может группировать блоки пикселов, которые принадлежат к одному и тому же риску, и находятся ближе, чем заданное расстояние (например, пороговое значение n, которое может составлять шесть метров). Модуль 132 анализа рисков может принимать начальную двоичную матрицу в 2400. В 2402, модуль 132 анализа рисков может выбирать любой неотмеченный пиксел и его ненулевых соседей на расстоянии меньшем, чем заданное пороговое значение (например, может быть получено расстояние nn в пикселах из порогового значения n с использованием пространственного разрешения области), и присваивать метки неотмеченному пикселу и его ненулевым соседям и повторять это до тех пор, пока не будут отмечены все пикселы. Эти метки могут указывать, к какому кластеру принадлежит пиксел. В 2404, если нет отмеченных соседей, модуль 132 анализа рисков может создать новую метку и использовать новую метку, чтобы отмечать все пикселы по соседству в 2406. В 2408, если есть соседи, отмеченные одной меткой, модуль анализа рисков 132 может использовать предыдущую метку, чтобы отмечать пикселы по соседству, как показано в 2410. В 2412, если есть соседи, отмеченные разными метками, модуль 132 анализа рисков может выбирать одну из предыдущих меток, чтобы отмечать окрестности по соседству в 2414, и заменять другие метки выбранной меткой в 2416. В 2418, модуль 132 анализа рисков может формировать отмеченную матрицу.

[0276] Для дальнейшего объединения кластеров, связность которых может быть потеряна в течение описанного процесса, модуль 132 анализа рисков может дополнительно обрабатывать каждый из кластеров. Маска кластера может быть расширена с помощью круга радиусом nn в качестве структурирующего элемента, и могут быть определены соседние кластеры, которые включают в себя пикселы в расширенной области. Определенные пикселы соседних кластеров могут быть переназначены с использованием значения метки расширенного кластера. Таким образом, результирующая отмеченная матрица может включать отмеченные области на расстоянии, превышающем nn, между ними. Маски рисков могут быть получены из отмеченной матрицы путем определения новой матрицы того же размера и присвоения значения «1» для конкретной метки и значения «0» для других значений в отмеченной матрице.

[0277] Многоугольники, вмещающие кластеры риска, могут быть определены с использованием масок рисков и данных GPS-выравнивания областей. Маски рисков могут расширяться с помощью круга заданного радиуса в качестве структурирующего элемента. Затем последовательность координат границ расширенной маски может быть извлечена и обработана, например, методом Рамера-Дугласа-Пьюкера (Ramer-Douglas-Peucker) с использованием в качестве параметра того же значения, что и для радиуса структурирующего элемента операции расширения. Использование одного и того же значения параметра может гарантировать, что многоугольник включает в себя все пикселы маски и может только касаться границ риска. Полученные координаты пикселов вмещающего многоугольника могут быть преобразованы в систему GPS-координат с использованием данных GPS-выравнивания области.

[0278] Обнаруженные кластеры рисков также могут сравниваться с кластерами рисков из результатов предыдущего контроля. Для этой цели, в зависимости от типа риска, могут использоваться маски риска, списки параметров риска, данные GPS-выравнивания областей и карты относительной высоты области из исторической обработки. Предыдущие области, которые представляют те же области, что и текущая область, могут быть определены с использованием ID инфраструктурных объектов, к которым привязаны положения масок области, или с использованием данных GPS-выравнивания областей и координат углов области. Координаты пикселов в области пространства <X,Y> углов новой области могут быть переведены в GPS-положения с использованием данных GPS-выравнивания области. Получаемые GPS-положения могут быть переведены в системы координат предыдущих областей с использованием соответствующих данных GPS-выравнивания области. Результирующие координаты могут, во-первых, проверяться на то, чтобы находиться внутри соответствующих кадров предыдущей области, и наоборот, а во-вторых, стороны новой области могут проверяться на пересечение со сторонами предыдущих областей. Если одна из проверок показывает пересечение, области могут рассматриваться как пересеченные и, таким образом, представляющие ту же самую область. Последующий анализ может зависеть от типа риска.

[0279] Модуль 132 анализа рисков - Обнаружение растительности в RoW

[0280] Фиг. 25 иллюстрирует обнаружение растительности в RoW для модуля 132 анализа рисков в соответствии с примером настоящего изобретения.

[0281] В примере воздушного контроля мачт, в отношении безопасности электрических линий, область RoW должна быть очищена от растительности или любого другого объекта, то есть любые вторгающиеся виды или растения должны быть удалены из области RoW, например, в соответствии с требованиями отраслевых стандартов.

[0282] Чтобы определить, имеются ли блоки растительности в RoW в 2500, модуль 132 анализа рисков может использовать маску растительности области и карту относительной высоты области, выведенную из карты высот области и маски земли для области. Модуль 132 анализа рисков может определять области растительности с относительной высотой, превышающей заданное пороговое значение, thr_height, в 2504 (т.е. пороговое значение относительной высоты). Модуль 132 анализа рисков может группировать все области растительности, которые находятся близко друг к другу, например, на расстоянии шести метров.

[0283] Для каждой группы растительности в RoW, модуль 132 анализа рисков может определять минимальное расстояние (minimum_distance) между блоком растительности в RoW и областью электрических линий, используя маску риска, маску линии электропередачи области и пространственное разрешение области. Модуль 132 анализа рисков может определять максимальную относительную высоту (maximum_height) блока растительности, используя маску риска и карту относительной высоты области. Модуль 132 анализа рисков может определять область (area_value) блока растительности, используя маску риска и пространственное разрешение области, например, в квадратных метрах. Модуль 132 анализа рисков может определить центральную точку блока, используя маску риска, и определить GPS-координаты центральной точки, используя данные GPS-выравнивания области.

[0284] В отношении анализа исторических данных, относящихся к предшествующим данным 136, модуль 132 анализа рисков может анализировать и сравнивать максимальную относительную высоту каждого обнаруженного риска с максимальной относительной высотой той же области из предыдущих данных. Для этой цели могут быть использованы данные GPS-выравнивания области и карты относительной высоты области из предыдущих данных. Дополнительная матрица карты относительной высоты для новой области может быть выделена для хранения значений относительной высоты из предыдущих данных (предыдущей карты относительной высоты области). Значения для каждого пиксела предыдущей карты относительной высоты могут быть определены следующим образом: координаты пиксела новой области могут быть преобразованы в GPS-положение, а затем преобразованы в пиксельные координаты предыдущих областей. Если результирующие пиксельные координаты находятся внутри кадров предыдущих областей, значения пикселов из предыдущей карты относительной высоты областей могут использоваться для предыдущей карты относительной высоты области. Максимальное значение пикселов предыдущей карты относительной высоты области внутри кластера риска может использоваться для сравнения с новым максимальным значением относительной высоты, а результат сравнения (разность между значениями) может использоваться как еще один количественный параметр риска. Если увеличение относительной высоты является значительным, может формироваться предупреждение.

[0285] Модуль анализа рисков 132 - Обнаружение высоких деревьев

[0286] Фиг. 26 иллюстрирует обнаружение высоких деревьев для модуля 132 анализа рисков в соответствии с примером настоящего изобретения.

[0287] Чтобы идентифицировать, когда имеются высокие деревья вокруг электрических линий и оценивать риск, ассоциированный с такими деревьями, модуль 132 анализа рисков может включать в себя функцию, которая обнаруживает высокие деревья.

[0288] Обращаясь к фиг. 26, чтобы идентифицировать те деревья, которые могут являться случаем риска, модуль 132 анализа рисков может использовать маску растительности области, маску линии электропередачи области, параметры кривой линий электропередачи и карту относительной высоты области, выведенную из карты высот земли и маски земли для области. Модуль 132 анализа рисков может отбрасывать пикселы растительности, где деревья не могут упасть под линию электропередачи, путем выбора пикселов с соответствующей относительной высотой, меньшей, чем расстояние до линий (d). Остальные пикселы могут быть включены в риски, так как деревья, соответствующие этим пикселам, могут падать под электрические линии (и деревья, которые могут падать над электрическими линиями, будут включены в этот набор). Для всех пикселов растительности, сопряженных с риском, модуль 132 анализа рисков может определять минимальную относительную высоту 2600, для которой дерево с местонахождением в этом пикселе может упасть над электрическими линиями, следующим образом:

Уравнение (35)

Для уравнения (35), d может представлять расстояние между деревом и областью электрических линий (т.е. областью 2506 линии), и относительная высота 2602 линии может представлять относительную высоту электрических линий, определенную с использованием параметров кривой линии электропередачи. Модуль 132 анализа рисков может идентифицировать пикселы с относительной высотой, превышающей значение min_height_fall, и группировать пикселы, которые находятся рядом друг с другом, в пределах заданного расстояния (например, шесть метров). Для всех пикселов в каждой группе, модуль 132 анализа рисков может определять максимальное расстояние 2604, при котором данное дерево может упасть над электрическими линиями, следующим образом:

Уравнение (36)

[0289] Для всех высоких деревьев в каждой группе, модуль 132 анализа рисков может определить вероятность падения над областью электрических линий, L, следующим образом:

Уравнение (37)

Для уравнения (37), α можно оценить следующим образом:

Уравнение (38)

[0290] Для всех высоких деревьев в каждой группе, модуль анализа рисков 132 может идентифицировать наиболее опасные деревья, которые соответствуют деревьям с максимальной вероятностью в каждой группе, следующим образом:

Уравнение (39)

[0291] Чтобы оценить количественные параметры рисков, модуль 132 анализа рисков может определять расстояние между самым опасным деревом в каждом кластере и областью электрических линий (distance) с использованием маски риска, маски области электрических линий и пространственного разрешения области. Пиксельные координаты наиболее опасного дерева могут быть оценены и преобразованы в GPS-положения (dangerous_point) с использованием данных GPS-выравнивания в анализируемой области. С использованием карты относительной высоты, модуль 132 анализа рисков может идентифицировать относительную высоту наиболее опасного дерева (dangeroust_height). С использованием карты относительной высоты, модуль 132 анализа рисков может определять максимальную относительную высоту (maximum_height) группы высоких деревьев. Модуль 132 анализа рисков может определять минимальное расстояние (distance) между блоком опасных деревьев и областью электрических линий, используя маску риска, маску линий электропередачи области и пространственное разрешение области. Область (area_value) блока опасных деревьев может быть определена с использованием маски риска и пространственного разрешения области.

[0292] Чтобы анализировать и сравнивать каждый обнаруженный риск с историческими рисками из предыдущих данных 136, модуль 132 анализа рисков может использовать данные GPS-выравнивания области и списки рисков из предыдущих данных. Модуль 132 анализа рисков может выбирать высокие деревья из предыдущих областей, которые представляют одну и ту же область. GPS-координаты этих деревьев могут быть преобразованы в пиксельные координаты в текущей области, и, если какая-либо из этих координат принадлежит к анализируемому риску, то максимальная предыдущая вероятность падения над электрическими линиями среди них может обрабатываться. Разница между новой и предыдущей вероятностью падения над электрическими линиями для рисков может быть сохранена в качестве дополнительного количественного параметра риска.

[0293] Модуль 132 анализа рисков - Обнаружение высоких антропогенных объектов

[0294] Аналогично тому, как деревья могут представлять опасность для объектов, связанных с электроустановками, высокие объекты любого другого типа могут представлять аналогичный риск для объектов (например, электроустановок, мачт, зданий, трубопроводов и т.д.) в общем. В связи с этим, модуль 132 анализа рисков может определять, когда имеются антропогенные объекты, которые имеют относительную высоту выше заданного значения.

[0295] Чтобы определить, имеются ли в области блоки высоких антропогенных объектов, модуль 132 анализа рисков может использовать маску антропогенных объектов области и карту относительной высоты области. Модуль 132 анализа рисков может определять точки антропогенных объектов с относительной высотой, превышающей заданное пороговое значение относительной высоты (thr_height). Модуль анализа рисков может группировать те области антропогенных объектов, которые находятся ближе, чем заданное расстояние (например, шесть метров).

[0296] Для каждого блока антропогенных объектов, модуль 132 анализа рисков может определять координаты центральной точки (center_point) блока антропогенных объектов, используя маску риска, и определять GPS-координаты center_point, используя данные GPS-выравнивания области. Модуль 132 анализа рисков может определять относительную высоту (maximum_height) самой высокой точки в блоке, используя маску риска и карту относительной высоты области. Модуль 132 анализа рисков может определять общую площадь (area_value) блока антропогенных объектов на основании маски риска и пространственного разрешения области. Модуль 132 анализа рисков может определять минимальное расстояние (distance) между областью риска и областью электрических линий, используя маску риска, маску линии электропередачи области и пространственное разрешение области.

[0297] В отношении анализа исторических данных (например, из предыдущих данных 136), модуль 132 анализа рисков может анализировать и сравнивать каждый обнаруженный риск с теми рисками, которые были обнаружены в прошлом (историческими рисками). Для нахождения соответствующих антропогенных объектов могут быть использованы GPS-координаты предыдущих рисков из предыдущих областей, которые представляют ту же самую область. Если есть предыдущие риски, достаточно близкие к новому риску с аналогичными параметрами (т.е. максимальная относительная высота, область), пользовательская обратная связь или метки клиентской системы для предыдущего риска могут использоваться для аналогичной маркировки нового риска (например, «ошибка в обнаружении» или «авторизованный объект»). В качестве альтернативы, могут использоваться GPS-координаты авторизованных сооружений из клиентской системы.

[0298] Модуль 132 анализа рисков - Обнаружение антропогенных объектов и растительности в пределах области электрических линий

[0299] В примере воздушного контроля мачт случай риска для электрических линий включает в себя наличие антропогенных объектов или растущей растительности под электрическими линиями, которые могут создавать опасность или повреждать электрические линии. В связи с этим, в идеальном случае область под электрическими линиями должна быть чистой. В связи с этим, модуль 132 анализа рисков может определять, имеются ли в области электрических линий антропогенные объекты и/или растительность.

[0300] Чтобы определить, существуют ли блоки антропогенных объектов и/или растительности в области электрических линий, модуль 132 анализа рисков может использовать маску растительности области, маску антропогенных объектов области, маску линий электропередачи области и карту относительной высоты области, полученную из карты высот области и маски земли для области. Модуль 132 анализа рисков может идентифицировать точки антропогенных объектов/растительности под линиями электропередачи с относительной высотой, превышающей заданное пороговое значение относительной высоты, thr_height. Модуль 132 анализа рисков может группировать блоки антропогенных объекты/растительности, когда они отделены расстоянием меньше заданного расстояния, например, шесть метров.

[0301] Для каждого блока антропогенных объектов/растительности, модуль 132 анализа рисков может идентифицировать координаты центральной точки (center_point) блока антропогенных объектов/растительности, используя маску риска, и определять GPS-координаты center_point, используя данные GPS-выравнивания области. Модуль 132 анализа рисков может определять относительную высоту (maximum_height) самого высокого антропогенного объекта/дерева в блоке, используя маску риска и карту относительной высоты области. Кроме того, модуль 132 анализа рисков может определять общую площадь (area_value) блока антропогенных объектов/растительности, используя маску риска и пространственное разрешение области.

[0302] В отношении анализа исторических данных (то есть, на основании предыдущих данных 136), модуль 132 анализа рисков может анализировать каждый обнаруженный риск таким же образом, как и для растительности и антропогенных объектов, в зависимости от конкретного типа кластера.

[0303] Модуль 132 анализа рисков - Определение минимального просвета линии электропередачи

[0304] Фиг. 27 иллюстрирует определение минимального просвета линии электропередачи для модуля 132 анализа рисков в соответствии с примером настоящего изобретения.

[0305] Обращаясь к фиг. 27, в отношении определения минимального просвета линии электропередачи, модуль 132 анализа рисков может определять уровень 2502 земли в анализируемой области, используя маску земли и карту высот. Модуль 132 анализа рисков может определять минимальный просвет 2700 на основании наименьшего расстояния от линии 2702 электропередачи до уровня 2502 земли для всех линий электропередач.

[0306] Для каждого из параметров кривой линии электропередачи, полученных от модуля 130 реконструкции трехмерной кривой, модуль 132 анализа рисков может извлекать значения высоты земли, a_ground, из составленной карты высоты земли области, для пикселов, лежащих на линии х=k*y+t, ограниченной координатами Y соответствующих мачт. Для каждого такого пиксела можно определить соответствующую абсолютную высоту линии электропередачи, используя второе уравнение кривой: a_line=a*y²+b*y+c. Минимальный просвет для этой линии электропередачи может затем быть определен как минимальное значение среди всех значений (a_line-a_ground) для выбранных пикселов.

[0307] Если количество обнаруженных кривых меньше ожидаемого количества линий электропередачи между мачтами, или если полученная кривая оказывается слишком близкой к земле (минимальное значение просвета для этой линии меньше заданного порогового значения), параметры количества отсутствующих или поврежденных линий между мачтами также могут быть соответствующим образом обновлены.

[0308] Модуль консолидации 124 рисков - Консолидация рисков

[0309] Фиг. 28 и 29 иллюстрируют консолидацию рисков для модуля 142 рисков консолидации системы 100 в соответствии с примером настоящего изобретения.

[0310] В отношении консолидации рисков, обращаясь к фиг. 28, входы модуля 142 консолидации рисков могут включать в себя данные 706 GPS-выравнивания областей, пространственное разрешение 714 областей, GPS-позиционирование инфраструктурных объектов для каждого участка 2800, параметры 2104 риска для каждого риска в каждой области и многоугольники 2106 риска и маски 2108 риска для типов рисков по областям. Модуль 142 консолидации рисков может формировать консолидированное GPS-позиционирование 2802 инфраструктурных объектов и, для каждого риска, консолидированные параметры 2804 риска, консолидированные многоугольники 2806 риска и консолидированные маски 2808 риска. Консолидированное GPS-позиционирование 2802 инфраструктурных объектов, консолидированные параметры 2804 риска, консолидированные многоугольники 2806 риска и консолидированные маски 2808 риска могут пересылаться на клиентский пользовательский интерфейс.

[0311] Фиг. 29 иллюстрирует высокоуровневый поток консолидации рисков типа «область» (площадь) в соответствии с примером настоящего изобретения. В отношении обработки, связанной с консолидацией рисков, как правило, для каждого риска типа «область» (высокое дерево, растительность, антропогенные объекты и т.д.), модуль 142 консолидации рисков может определять риски, которые пересекаются друг с другом и, следовательно, должны быть объединены в один.

[0312] Обращаясь к фиг. 29, обработка, связанная с консолидацией рисков, может начинаться в блоке 2900. Для каждой области внутри каждого участка (блок 2902) модуль 142 консолидации рисков может обрабатывать области друг за другом и поддерживать список ранее обработанных областей и группы пересекающихся рисков из ранее обработанных областей. Для каждой новой области, которая добавляется, модуль 142 консолидации рисков может определять ранее обработанные области, которые пересекаются с новой областью. Для проверки пересечения могут использоваться углы области. Пиксельные координаты в пространстве области <X,Y> углов новой области могут быть преобразованы в GPS-положения с использованием данных GPS-выравнивания области. Полученные GPS-положения могут быть преобразованы в системы координат ранее обработанных областей с использованием соответствующих данных GPS-выравнивания области. Полученные координаты могут быть, во-первых, проверены на предмет того, находятся ли они внутри соответствующих кадров другой области, и наоборот, а во-вторых, стороны новой области могут быть проверены на пересечение со сторонами других областей. Если одна из проверок показывает пересечение, области могут считаться пересекающимися. Для каждого риска в новой области (блок 2906) модуль 142 консолидации рисков может создать новую группу рисков и поместить новый риск в новую группу (блок 2908). В соответствии с одним примером, общая площадь этой новой группы считается такой же, как и площадь нового риска. Для каждой существующей группы рисков (блок 2910), модуль 142 консолидации рисков может определять, имеются ли риски из пересекающихся областей (блок 2912). В ответ на определение в блоке 2912, что имеются риски из пересекающихся областей, модуль 142 консолидации рисков может определить, пересекаются ли маски для рисков, определенных в блоке 2912, с маской нового риска (блок 2914). Чтобы определить пересечение, могут обрабатываться пикселы маски нового риска со значением «1». Координаты каждого такого пиксела могут быть преобразованы в GPS-положение, а затем преобразованы в систему координат маски другого риска с использованием данных GPS-выравнивания области. Если значение маски другого риска в результирующих координатах равно «1», пиксел может считаться пересекающимся с маской другого риска. Используя некоторое количество пересекающихся пикселов и пространственное разрешение области, можно определить общую площадь пересечения в квадратных метрах. В ответ на определение, что маски для рисков, определенных в блоке 2912, пересекаются с маской нового риска в блоке 2914, модуль 142 консолидации рисков может объединить эту группу с группой нового риска (блок 2916). Тогда общая площадь группы может быть увеличена на площадь группы нового риска за вычетом площади пересечения. Если новый риск пересекается более чем с одной группой, все эти группы могут суммироваться. Кроме того, в блоке 2918 модуль 142 консолидации рисков может объединять риски внутри групп, и обработка, связанная с консолидацией рисков, может быть завершена в блоке 2920. Этот метод может гарантировать, что общая площадь группы остается корректной, и что все перекрывающиеся риски оказываются в одной группе.

[0313] Для определения параметров объединенного риска могут использоваться параметры всех начальных рисков. Например, чтобы определить максимальную относительную высоту риска, может использоваться максимум из всех максимальных относительных высот начальных рисков. GPS-координаты и другие параметры наиболее опасного дерева (для риска типа высокого дерева) могут быть определены из риска с вероятностью падения наиболее опасного дерева над линиями (или наивысшего отношения между относительной высотой и расстоянием до линий для наиболее опасных деревьев в начальных рисках, если вероятность падения над линиями равна нулю). Риск может быть отброшен, если хотя бы один из начальных рисков считался отброшенным во время анализа рисков модулем 132 анализа рисков (например, если риск имеет метку «ошибка в обнаружении» или «авторизованный объект»).

[0314] Для определения вмещающего многоугольника объединенного риска, вмещающие многоугольники начальных рисков могут быть объединены. Результирующий вмещающий многоугольник и атрибуты риска могут быть сохранены, например, в формате файла SHAPEFILE, отображаемого, например, в клиентском пользовательском интерфейсе 140.

[0315] Использование масок объединенных рисков также может быть полезно для улучшения производительности клиентского пользовательского интерфейса 140, поскольку одновременное отображение многих многоугольников может быть слишком ресурсоемким для средств онлайн-просмотра карт. Чтобы подготовить данные для клиентского пользовательского интерфейса 140, модуль 142 консолидации рисков может преобразовывать маски риска области, так что пикселы со значением «0» становятся полностью прозрачными, а пикселы со значением «1» получают заданный цвет. Модуль 142 консолидации рисков может использовать разные цвета для масок рисков из разных групп, или один цвет может использоваться для всех масок.

[0316] Для каждого инфраструктурного типа риска (например, риска отсутствия электрических линий, риска минимального просвета, риска наклона мачты электропередачи и т.д.), модуль 142 консолидации рисков может объединить все риски, которые представляют одни и те же инфраструктурные объекты (например, мачты или линии электропередачи между парой мачт), где числовые параметры объединенного риска могут быть арифметическими средними, минимумами или максимумами начальных значений в зависимости от системных предпочтений для каждого типа риска.

[0317] Клиентский пользовательский интерфейс 140 - Поток данных

[0318] Фиг. 30 иллюстрирует поток данных клиентского пользовательского интерфейса 140, относящегося к системе 100, в соответствии с примером настоящего изобретения.

[0319] Обращаясь к фиг. 30, поток данных клиентского пользовательского интерфейса 140 может включать в себя прием и отображение (по мере необходимости) изображений 104 от датчиков 120 транспортного средства транспортного средства 106, ортофотоплана 406 и данных 408 GPS-выравнивания изображения от модуля 102 формирования трехмерной модели, оцененного уровня 700 высоты земли для изображений от модуля 124 распознавания объектов, и GPS-позиционирования 2802 консолидированных инфраструктурных объектов, консолидированных параметров 2804 риска и консолидированных многоугольников 2806 риска и консолидированных масок 2808 риска от модуля 142 консолидации для типов рисков «по областям».

[0320] Клиентский пользовательский интерфейс 140 может быть реализован, например, с использованием языка программирования Java и веб-сервера Apache Tomcat и может использовать входные данные во время офлайн-подготовки данных и онлайн-исполнения рабочего цикла.

[0321] Клиентский пользовательский интерфейс 140 - Подготовка данных

[0322] В отношении подготовки данных, некоторые системные данные могут быть заранее подготовлены для отображения, например, на общедоступных онлайн-картах мира. Например, ортофотоплан и маски консолидированных рисков могут быть преобразованы в соответствующий формат (например, GOOGLE KMZ, TIFF с геопривязкой или другой формат для изображений с геопривязкой), и исходные изображения 104 могут быть масштабированы для более быстрой передачи в браузер пользователя.

[0323] Для отображения растрового слоя (уровня) над спутниковым или другим фоном (например, ортофотоплана или областей, сопряженных с риском) данные могут быть разделены на мозаичное представление, где каждая часть мозаики может представлять изображение с геопривязкой. Для некоторых онлайн-карт, части мозаики могут быть квадратными. Ортофотопланы в формате KMZ могут быть деархивированы в изображения и файлы в формате Keyhole Markup Language (KML), включая информацию GPS-привязки для изображений. Полученные изображения и маски риска области могут обрабатываться отдельно, чтобы получить мозаичное представление для каждого изображения и каждой маски в соответствии с требованиями выбранных онлайн-карт. Получаемые мозаичные представления могут быть объединены вместе, например, путем выбора цвета пиксела с минимальным значением прозрачности для каждого пиксела каждой части мозаики.

[0324] Клиентский пользовательский интерфейс 140 - Исполнение рабочего цикла

[0325] Фиг. 31 иллюстрирует клиентский пользовательский интерфейс 140 согласно примеру настоящего изобретения.

[0326] Обращаясь к фиг. 31, клиентский пользовательский интерфейс 140 может включать в себя меню в 3100 для выбора типов риска, которые будут отображаться в 3102. Статистическая информация для типов риска из меню в 3100 может отображаться в 3104. Клиентский пользовательский интерфейс 140 может включать в себя другие аспекты, такие как имя контролируемой области, полетные данные, ортофотоплан, представление (растровое или векторное) рисков, спутниковая карта и векторное представление инфраструктурных объектов, как показано на фиг. 31.

[0327] Пользователь может просматривать начальные изображения с использованием клиентского пользовательского интерфейса 140. Чтобы просмотреть список изображений, которые включают в себя конкретное GPS-положение, которое может интересовать пользователя, пользователь может кликнуть на карте. Чтобы получить желаемый список изображений, клиентский пользовательский интерфейс 140 может использовать данные GPS-выравнивания изображений и оцененный уровень высоты земли для изображений. Для каждого изображения, координаты центра изображения могут быть преобразованы в GPS-положение. Если координата находится слишком далеко от изображения, последующий анализ не может быть выполнен. В другом случае GPS-положение может быть преобразовано в систему координат изображения, и координаты полученной точки могут быть проверены для включения в границы изображения. Пользователь может выбрать изображения из списка изображений для конкретного GPS-положения для более подробного просмотра на отдельной странице.

[0328] Пользователь может выбирать риски на карте, кликая на их векторном представлении (либо вмещающем многоугольнике, либо на значке, представляющем их центральную точку, или, например, наиболее опасном дереве в зависимости от типа риска), и соответствующие детали риска из таблицы 3102 могут быть выделены, и вмещающий многоугольник соответствующего риска может быть отображен (если вмещающий многоугольник соответствующего риска не был отображен первоначально) или выделен с изменением цвета. Пользователь также может выбирать риски из таблицы 3102, и соответствующий риск может быть выделен на карте либо с изменением цвета вмещающего многоугольника, либо путем отображения вмещающего многоугольника (если вмещающий многоугольник не был отображен первоначально).

[0329] Пользователь может выбирать интересующие области на карте с помощью инструмента выбора многоугольника, последовательно выбирая вершины многоугольника. Многоугольник (или несколько многоугольников, введенных пользователем) может быть упрощен, и может быть определена общая выбранная область и область включенной растительности и/или высоких деревьев или другие риски (с использованием вмещающих многоугольников риска). Выбор и его определенные параметры могут быть переданы на клиентские системы для управления заказами на вырубку леса.

[0330] Элементы системы 100 могут быть машиночитаемыми инструкциями, хранящимися на постоянном машиночитаемом носителе. В связи с этим, система 100 может включать в себя или представлять собой постоянный машиночитаемый носитель. В качестве дополнения или альтернативы, элементы устройства 100 могут представлять собой аппаратные средства или комбинацию машиночитаемых инструкций и аппаратных средств.

[0331] Способ обнаружения состояния с использованием обработки изображения

[0332] Фиг. 32 и 33 иллюстрируют блок-схемы способов 3200 и 3300 обнаружения состояния с использованием обработки изображения в соответствии с примерами. Способы 3200 и 3300 могут быть реализованы на системе 100 обнаружении состояния с использованием обработки изображения, описанной выше с обращением к фиг.1-31, в качестве примера, а не ограничения. Способы 3200 и 3300 могут быть практически реализованы в других системах.

[0333] Как показано на фиг.1-32 и, в частности, на фиг. 32, в блоке 3202, способ 3200 может включать в себя прием (например, модулем 102 формирования трехмерной модели) телеметрических данных 110, связанных с движением транспортного средства 106 вдоль пути 108 транспортного средства, причем телеметрические данные 110 могут включать в себя информацию регистрации движения, относящуюся к движению транспортного средства 106 вдоль пути 108 транспортного средства.

[0334] В блоке 3204, способ 3200 может включать в себя прием (например, модулем 102 формирования трехмерной модели) изображений 104, захваченных транспортным средством 106 во время движения транспортного средства 106 вдоль пути 108 транспортного средства.

[0335] В блоке 3206, способ 3200 может включать в себя формирование (например, модулем 102 формирования трехмерной модели) на основании телеметрических данных 110 и изображений 104 по меньшей мере одной карты высот для изображений 104 и данных выравнивания мировых координат для изображений 104.

[0336] В блоке 3208, способ 3200 может включать в себя прием (например, модулем 124 распознавания объектов) по меньшей мере одной карты высот для изображений 104, изображений 104, данных выравнивания мировых координат для изображений 104, телеметрических данных 110 и заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства.

[0337] В блоке 3210, способ 3200 может включать в себя обнаружение (например, модулем 124 распознавания объектов), на основании по меньшей мере одной карты высот для изображений 104, данных выравнивания мировых координат для изображений 104, телеметрических данных 110 и заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, по меньшей мере одного из объектов 122 в изображениях 104 и местоположений по меньшей мере одного из объектов 122, обнаруженных в изображениях 104.

[0338] В блоке 3212, способ 3200 может включать в себя консолидацию (например, модулем 124 распознавания объектов) местоположений по меньшей мере одного из объектов 122, обнаруженных в изображениях 104, для определения консолидированного местоположения для по меньшей мере одного из объектов 122, обнаруженных в изображениях 104.

[0339] В блоке 3214, способ 3200 может включать в себя формирование (например, модулем 124 распознавания объектов) на основании консолидированного местоположения для по меньшей мере одного из объектов 122, обнаруженных в изображениях 104, по меньшей мере одной маски, относящейся к пути 108 транспортного средства и по меньшей мере одному из объектов 122, обнаруженных в изображениях 104.

[0340] Согласно примерам, способ 3200 может включать в себя формирование (например, модулем 102 формирования трехмерной модели) на основании телеметрических данных 110 и изображений 104 ортофотоплана, который представляет путь 108 транспортного средства или участок пути 108 транспортного средства, при этом участок может быть определен множеством изображений 104 для части пути 108 транспортного средства.

[0341] Согласно примерам, способ 3200 может включать в себя использование модуля 124 распознавания объектов для дальнейшего выполнения классификации земли для каждого из изображений 104, и при этом классификация земли может включать в себя указание того, представляет ли пиксел для изображения из изображений 104 земли или не землю.

[0342] В соответствии с примерами, для способа 3200, заданная информация, относящаяся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, может включать в себя обучающие данные, которые включают в себя информацию, которая должна использоваться для машинного обучения для распознавания изображения и обнаружения типа по меньшей мере одного из объектов 122 в изображениях 104, причем обучающие данные могут использоваться модулем 124 распознавания объектов для распознавания типа по меньшей мере одного из объектов 122 в изображениях 104, и/или карту объекта, которая включает в себя местоположение и тип по меньшей мере одного из объектов 122, обнаруженных в изображениях 104.

[0343] Согласно примерам, для способа 3200, объекты 122 могут включать в себя инфраструктурные объекты, включающие в себя мачты и электрические линии между мачтами для системы электропередачи.

[0344] В соответствии с примерами, для способа 3200, по меньшей мере одна маска, относящаяся к пути 108 транспортного средства и по меньшей мере к одному из объектов 122, обнаруженных в изображениях 104, может включать в себя маску инфраструктурных объектов, которая выделяет по меньшей мере один инфраструктурный объект из объектов 122, и/или маску неинфраструктурных объектов, которая выделяет неинфраструктурный объект, который включает в себя по меньшей мере одно из растительности и антропогенного объекта по соседству с по меньшей мере одним инфраструктурным объектом из объектов 122.

[0345] Согласно примерам, для способа 3200, по меньшей мере одна маска, относящаяся к пути 108 транспортного средства и по меньшей мере одному из объектов 122, обнаруженных в изображениях 104, может включать в себя маску линий электропередачи, которая выделяет по меньшей мере одну линию электропередачи для мачты для системы электропередачи.

[0346] В соответствии с примерами, для способа 3200, по меньшей мере одна маска, относящаяся к пути 108 транспортного средства и по меньшей мере к одному из объектов 122, обнаруженных в изображениях 104, может включать в себя маску объекта области, которая представляет результаты обнаружения по меньшей мере одного из объектов 122 в изображениях 104, где пикселы, связанные с обнаруженными объектами 122 того же самого типа, включают в себя то же самое значение, и где каждый пиксел из упомянутых пикселов представляет инфраструктурный объект из по меньшей мере одного из объектов 122, неинфраструктурный объект из по меньшей мере одного из объектов 122 или землю.

[0347] В соответствии с примерами, для способа 3200, модуль 124 распознавания объектов может дополнительно формировать маску земли для изображения, которая отображает по меньшей мере одну область земли в изображениях 104 путем исключения, в изображениях 104, областей, которые являются относительно высокими относительно уровня высоты земли, исключения, в изображениях 104, областей, которые не включают в себя информацию высоты, и исключения в изображениях 104 областей между высокими положительными и отрицательными производными данных высоты.

[0348] В соответствии с примерами, для способа 3200, транспортное средство 106 может представлять собой UAV, и регистрация движения может включать в себя бортовой журнал.

[0349] В соответствии с примерами, для способа 3200, модуль 124 распознавания объектов может дополнительно консолидировать местоположения по меньшей мере одного из объектов 122 (например, одного и того же объекта), обнаруженных в изображениях 104 (например, разных изображениях того же объекта), для определения консолидированного местоположения для по меньшей мере одного из объектов 122, обнаруженных в изображениях 104, путем определения, на основании местоположений по меньшей мере одного из объектов 122, среднего местоположения для по меньшей мере одного из объектов 122 и сравнения всех местоположений по меньшей мере одного из объектов 122 со средним местоположением для по меньшей мере одного из объектов 122. Кроме того, в ответ на определение, что все из местоположений по меньшей мере одного из объектов 122 меньше, чем заданное расстояние от среднего местоположения для по меньшей мере одного из объектов 122, способ 3200 может включать в себя использование среднего местоположения для по меньшей мере одного из объектов 122 в качестве консолидированного местоположения для по меньшей мере одного из объектов 122. Кроме того, в ответ на определение, что местоположение по меньшей мере одного из объектов 122 больше, чем заданное расстояние от среднего местоположения для по меньшей мере одного из объектов 122, способ 3200 может включать в себя удаление местоположение по меньшей мере одного из объектов 122, которое больше, чем заданное расстояние от среднего местоположения для по меньшей мере одного из объектов 122, из дальнейшего рассмотрения и переопределение среднего местоположения для по меньшей мере одного из объектов 122 из остальных местоположений по меньшей мере одного из объектов 122. Если переопределенное среднее местоположение больше нуля, способ 3200 может включать в себя использование переопределенного среднего местоположения в качестве консолидированного местоположения для по меньшей мере одного из объектов 122, а если переопределенное среднее местоположение равно нулю, способ 3200 может включать в себя использование заданного местоположения по меньшей мере одного из объектов 122 в качестве консолидированного местоположения.

[0350] В соответствии с примерами, для способа 3200, модуль 124 распознавания объектов может дополнительно обнаруживать по меньшей мере один из объектов 122 с использованием информации, относящейся к времени года, в которое выполняется полет транспортного средства 106.

[0351] В соответствии с примерами, для способа 3200, модуль 124 распознавания объектов может дополнительно обнаруживать, на основании по меньшей мере одной карты высот для изображений 104, изображений 104, данных выравнивания мировых координат для изображений 104 и заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, по меньшей мере один из объектов 122 путем извлечения ребер по меньшей мере одного из объектов 122 и сохранения или удаления ребер из извлеченных ребер, которые включают в себя пределы направления, которые превышают заданное пороговое значение предела направления, основанный на типе по меньшей мере одного из объектов 122.

[0352] В соответствии с примерами, для способа 3200, объекты 122 могут включать в себя электрические линии, и модуль 124 распознавания объектов может обнаруживать, на основании по меньшей мере одной карты высот для изображений 104, изображений 104, данных выравнивания мировых координат для изображений 104 и заданной информации, относящейся к пути 108 транспортного средства и электрическим линиям вдоль пути 108 транспортного средства, по меньшей мере одну из электрических линий путем идентификации по меньшей мере одной из электрических линий на основании определения, находится ли множество ребер в пределах заданного углового отклонения.

[0353] В соответствии с примерами, для способа 3200, модуль 124 распознавания объектов может дополнительно обнаруживать, на основании по меньшей мере одной карты высот для изображений 104, изображений 104, данных выравнивания мировых координат для изображений 104 и заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, по меньшей мере один из объектов 122 путем выполнения машинного обучения и обнаружения пятна, чтобы идентифицировать пятна потенциального объекта и отбрасывания, на основании обнаружения пятна, пятен, которые на заданный процент шире или на заданный процент уже, чем ширина по меньшей мере одного из объектов 122.

[0354] Согласно примерам, для способа 3200, объекты 122 могут включать в себя электрические линии, и модуль 130 реконструкции трехмерной кривой может определять, на основании изображений 104, данных выравнивания мировых координат для изображений 104, масок линий электропередачи изображений 104 и консолидированных положений мачт, по меньшей мере одно уравнение кривой электрических линий путем определения поверхностей, которые составлены из лучей от камер транспортного средства 106 к электрическим линиям или от камеры транспортного средства 106, которая используется в разных местоположениях вдоль пути 108 транспортного средства для захвата изображений 104 электрических линий, к электрическим линиям, обнаруженным в соответствующих изображениях 104, и определения плоскостей, которые перпендикулярны к основному направлению электрических линий, где плоскости могут выводиться из положений мачт и распространяться между положениями соседних мачт. Кроме того, модуль 130 реконструкции трехмерной кривой может определять кривые в определенных плоскостях, причем кривые могут быть определены пересечениями между определенными плоскостями и определенными поверхностями, определять точки плотности местоположений кривых, причем точки плотности могут быть определены из пересечений между определенными кривыми, которые включают в себя кривые электрических линий из разных изображений 104, формировать облако точек из определенных точек плотности из определенных плоскостей и осуществлять подгонку наборов точек облака точек к уравнениям, описывающим трехмерное положение электрической линии.

[0355] В соответствии с примерами, для способа 3200, модуль 124 распознавания объектов может выполнять оценку уровня высоты земли путем разделения по меньшей мере одной карты высот для изображений 104 на множество блоков, определения уровня высоты земли для каждого из множества блоков, определения среднего значения для уровней высоты земли для множества блоков и выполнения оценки уровня высоты земли на основании среднего значения для уровней высоты земли для множества блоков.

[0356] В соответствии с примерами, для способа 3200, объекты 122 могут включать в себя электрические линии, и модуль 124 распознавания объектов может формировать, на основании консолидированного местоположения для по меньшей мере одного из объектов 122 по меньшей мере одну маску, относящуюся к пути 108 транспортного средства и по меньшей мере одному из объектов 122, путем обнаружения относительно коротких прямых линий в изображениях 104 и обнаружения, на основании относительно коротких прямых линий, относительно более длинных линий в изображениях 104.

[0357] Обращаясь к фиг. 1-33 и особенно на фиг.33, в блоке 3302, способ 3300 может включать в себя прием модулем 124 распознавания объектов, который исполняется по меньшей мере одним аппаратным процессором, заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, и по меньшей мере одной карты высот и данных выравнивания, основанных на изображениях 104 и телеметрических данных 110, захваченных транспортным средством 106 во время движения транспортного средства 106 вдоль пути 108 транспортного средства.

[0358] В блоке 3304, способ 3300 может включать в себя обнаружение, модулем 124 распознавания объектов, на основании по меньшей мере одной карты высот для изображений 104, изображений 104, данных выравнивания для изображений 104 и заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, по меньшей мере одного из объектов 122 в изображениях 104 и местоположения по меньшей мере одного из объектов 122, обнаруженных в изображениях 104.

[0359] В блоке 3306, способ 3300 может включать в себя формирование модулем 124 распознавания объектов на основании местоположения по меньшей мере одного из объектов 122, обнаруженных в изображениях 104, маски инфраструктурных объектов, которая выделяет по меньшей мере один инфраструктурный объект из объектов 122, и/или маски неинфраструктурных объектов, которая выделяет неинфраструктурный объект, который включает в себя по меньшей мере одно из растительности и антропогенного объекта, смежного с по меньшей мере одним инфраструктурным объектом из объектов 122.

[0360] В соответствии с примерами, способ определения состояния с использованием обработки изображения может включать в себя прием, модулем 124 распознавания объектов, который исполняется по меньшей мере одним аппаратным процессором, заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, и по меньшей мере одной карты высот и данных выравнивания, основанных на изображениях 104 и телеметрических данных 110, захваченных транспортным средством 106 во время движения транспортного средства 106 вдоль пути 108 транспортного средства. В соответствии с примерами, способ обнаружения состояния с использованием обработки изображения может включать в себя обнаружение, модулем 124 распознавания объектов, на основании по меньшей мере одной карты высот для изображений 104, изображений 104, данных выравнивания для изображений 104 и заданной информации, относящейся к пути 108 транспортного средства и объектам 122 вдоль пути 108 транспортного средства, по меньшей мере одного из объектов 122 в изображениях 104 и местоположения по меньшей мере одного из объектов 122, обнаруженных в изображениях 104. Согласно примерам, способ обнаружения состояния с использованием обработки изображения может включать в себя формирование модулем 124 распознавания объектов на основании местоположения по меньшей мере одного из объектов 122, обнаруженных в изображениях 104, по меньшей мере одной маски, относящейся к пути 108 транспортного средства и по меньшей мере одному из объектов 122, обнаруженных в изображениях 104, причем по меньшей мере одна маска, относящаяся к пути 108 транспортного средства и по меньшей мере одному из объектов 122, обнаруженных в изображениях 104, включает в себя маску объекта области, которая представляет результаты обнаружения по меньшей мере одного из объектов 122 в изображениях 104, где пикселы, относящиеся к обнаруженным объектам 122 того же самого типа, включают то же самое значение, и где каждый пиксел из упомянутых пикселов представляет инфраструктурный объект из по меньшей мере одного из объектов 122, неинфраструктурный объект из по меньшей мере одного из объектов 122 или землю.

[0361] Компьютерная система

[0362] На фиг. 34 показана компьютерная система 3400, которая может использоваться с примерами, описанными здесь. Компьютерная система может представлять собой типовую платформу, которая включает в себя компоненты, которые могут находиться на сервере или в другой компьютерной системе. Компьютерная система 3400 может использоваться в качестве платформы для системы 100. Компьютерная система 3400 может выполнять, процессором (например, одним или несколькими процессорами) или другой аппаратной схемой обработки, способы, функции и другие процессы, описанные здесь. Эти способы, функции и другие процессы могут быть воплощены в виде машиночитаемых инструкций, сохраненные на машиночитаемом носителе, который может быть постоянным, таким как аппаратные устройства хранения данных (например, RAM (память с произвольным доступом), ROM (постоянная память) EPROM (стираемая программируемая ROM), EEPROM (электрически стираемая программируемая ROM), жесткие диски и флэш-память).

[0363] Компьютерная система 3400 может включать в себя процессор 3402, который может реализовывать или исполнять машиночитаемые инструкции, выполняющие некоторые или все из способов, функций и других процессов, описанных здесь. Команды и данные из процессора 3402 могут передаваться по шине 3404 связи. Компьютерная система может также включать в себя основную память 3406, такую как память с произвольным доступом (RAM), где машиночитаемые инструкции и данные для процессора 3402 могут находиться в течение времени выполнения, и вторичное хранилище 3408 данных, которое может быть энергонезависимым и хранит машиночитаемые инструкции и данные. Память и хранилище данных являются примерами машиночитаемых носителей. Память 3406 может включать в себя процессор 3420 обнаружения состояния с использованием обработки изображения, включающий в себя машиночитаемые инструкции, находящиеся в памяти 3406 в течение времени выполнения и исполняемые процессором 3402. Процессор обнаружения состояния с использованием обработки изображения может включать в себя элементы системы 100, показанные на фиг. 1.

[0364] Компьютерная система 3400 может включать в себя устройство 3410 ввода-вывода (I/O), такое как клавиатура, мышь, дисплей и т.д. Компьютерная система может включать в себя сетевой интерфейс 3412 для соединения с сетью. Другие известные электронные компоненты могут быть добавлены или заменены в компьютерной системе.

[0365] То, что было описано и проиллюстрировано здесь, является примером наряду с некоторыми его вариантами. Термины, описания и чертежи, используемые здесь, приведены только для иллюстрации и не подразумеваются в качестве ограничений. Многие варианты возможны в рамках сущности и объема объекта изобретения, который должен определяться нижеследующей формулой изобретения и её эквивалентами, в которых все термины подразумеваются используемыми в их самом широком обоснованном смысле, если не указано иное.