Результат интеллектуальной деятельности: ИНТЕЛЛЕКТУАЛЬНОЕ АУДИОАНАЛИТИЧЕСКОЕ УСТРОЙСТВО И СПОСОБ ДЛЯ КОСМИЧЕСКОГО АППАРАТА

Настоящее изобретение относится в целом к системе анализа звуков, в частности к интеллектуальному аудиоаналитическому устройству (ИАУ) и способу для космического аппарата.

Ниже приведено краткое изложение вариантов осуществления заявленного изобретения. Следует иметь в виду, что эти аспекты приведены лишь в качестве краткого обобщения вариантов осуществления изобретения и не должны трактоваться как ограничивающие объем охраны. Настоящее изобретение может в действительности включать в себя разные аспекты, которые могут не упоминаться ниже.

Варианты осуществления изобретения относятся к интеллектуальному аудиоаналитическому устройству (ИАУ) и способу для космического аппарата. ИАУ содержит процессор, машиночитаемый носитель данных и коммуникационный модуль. Команды, хранящиеся в машиночитаемом носителе данных, включают в себя алгоритмы обработки аудиоданных, выполняемые с возможностью идентификации и прогнозирования угрожающих аномалий, связанных с космическим аппаратом, с помощью по меньшей мере одной нейронной сети.

Предлагаемая в изобретении система для контроля оборудования космического аппарата содержит:

- сенсорный узел, устанавливаемый внутри по меньшей мере одного оборудования космического аппарата, на нем или вблизи него и выполненный с возможностью вывода сенсорных сигналов, характеризующих звуки и вибрации от по меньшей мере одного оборудования космического аппарата;

- интеллектуальное аудиоаналитическое устройство, выполненное с возможностью приема сенсорных сигналов из сенсорного узла, обработки сенсорных сигналов для обнаружения аномалий в работе по меньшей мере одного оборудования космического аппарата и вывода информации об обнаружении в устройство вывода для оповещения оператора об обнаружении аномалий;

- энергонезависимый машиночитаемый носитель данных, выполненный с возможностью хранения программных команд; и

- процессор, выполненный с возможностью выполнения программных команд,

причем программные команды включают в себя выполняемый процессором аналитический алгоритм, обеспечивающий выполнение процессором непрерывной обработки сенсорных сигналов для обнаружения аномалий; аналитический алгоритм включает в себя по меньшей мере одну нейронную сеть, входные данные которой основаны на сенсорных сигналах, принимаемых интеллектуальным аудиоаналитическим устройством; сенсорные сигналы перед их подачей в качестве входных данных в нейронную сеть подвергаются предварительной обработке, включающей в себя удаление налагающихся шумов окружающей среды; по меньшей мере одна нейронная сеть включает в себя нейронную сеть-автокодировщик, выполненную с возможностью приема сенсорных сигналов в качестве входных данных и вывода восстановленных сенсорных сигналов на основании входных данных, причем генерируется сигнал ошибки, характеризующий различие между входными и выходными данными нейронной сети-автокодировщика, а процессор выполнен с возможностью обнаружения аномалий на основании величины сигнала ошибки.

Предлагаемый в изобретении способ контроля оборудования распределения энергии включает:

- генерирование сенсорных сигналов, характеризующих звуки и вибрации, происходящие из оборудования космического аппарата, и детектируемых сенсорным узлом, расположенным на оборудовании космического аппарата, в нем или вблизи него,

- обработку сенсорных сигналов для обнаружения аномалий в работе по меньшей мере одного оборудования космического аппарата с помощью процессора интеллектуального аудиоаналитического устройства, причем обработку сенсорных сигналов выполняют для обнаружения аномалий в соответствии с аналитическим алгоритмом, включающим в себя по меньшей мере одну нейронную сеть, выполненную с возможностью обнаружения в сенсорных сигналах ошибок и/или образов, указывающих на аномалии,

- вывод информации об обнаружении в устройство вывода при обнаружении аномалии,

причем сенсорные сигналы перед их подачей в качестве входных данных в нейронную сеть подвергают предварительной обработке, включающей в себя удаление налагающихся шумов окружающей среды, причем по меньшей мере одна нейронная сеть включает в себя нейронную сеть-автокодировщик, выполненную с возможностью приема сенсорных сигналов в качестве входных данных и вывода восстановленных сенсорных сигналов на основании входных данных, причем генерируют сигнал ошибки, характеризующий различие между входными и выходными данными нейронной сети-автокодировщика, а обработка сенсорных сигналов включает в себя обнаружение аномалий на основании величины сигнала ошибки.

Эти и другие особенности, объекты и преимущества изобретения станут более понятными после прочтения приведенного ниже подробного описания конкретных вариантов осуществления изобретения со ссылками на приложенные чертежи, на которых одинаковые ссылочные обозначения относятся к одинаковым элементам и на которых показано:

на фиг. 1 - упрощенная схема космического аппарата, соответствующей одному из вариантов осуществления изобретения, представленному в описании,

на фиг. 2 - упрощенная блок-схема интеллектуального аудиоаналитического устройства (ИАУ), соответствующего одному из вариантов осуществления изобретения, представленному в описании,

на фиг. 3 - упрощенная блок-схема интеллектуального процессорного модуля, соответствующего одному из вариантов осуществления изобретения, представленному в описании,

на фиг. 4 - упрощенная архитектура сети-автокодировщика, соответствующей одному из вариантов осуществления изобретения, представленному в описании,

на фиг. 5 - схема глубокой рекуррентной нейронной сети (ГРНС), получающей векторы аудиосостояний и соответствующей одному из вариантов осуществления изобретения, представленному в описании,

на фиг. 6 - схема глубокой сверточной нейронной сети (СНС), предназначенной для непрерывного контроля рабочих состояний машины и соответствующей одному из вариантов осуществления изобретения, представленному в описании.

В приведенном ниже описании представлены варианты осуществления изобретения, иллюстрируемые чертежами и способствующие пониманию идей изобретения. При этом подразумевается, что данное описание не накладывает никаких ограничений на объем изобретения. Кроме того, подразумевается, что настоящее изобретение включает в себя любые изменения и модификации, вносимые в иллюстрируемые варианты его осуществления, а также включает в себя другие применения идей изобретения, которые могли бы быть реализованы специалистами средней квалификации в области техники, к которой относится изобретение.

На фиг. 1 показана упрощенная схема космического аппарата 100, соответствующего одному из вариантов осуществления изобретения, представленному в описании. Аппарат 100 содержит космический корабль 102 многоразового использования и ускоритель 104, прикрепленную к нижней стороне космического корабля 102 многоразового использования. Интеллектуальное аудиоаналитическое устройство (ИАУ) 106, 108 содержит алгоритмы обработки аудиоданных, выполняемые с возможностью идентификации и прогнозирования угрожающих аномалий, связанных с космическим аппаратом 100. ИАУ 106, 108 могут быть расположены в космическом корабле 102 многоразового использования, ускорителе 104 или в обоих этих объектах. Функции, выполняемые ИАУ 106, 108, позволяют классифицировать ошибки в работе машин и ухудшение состояния аппаратных или программных средств, благодаря чему могут быть приняты превентивные или корректирующие меры, снижающие затраты на техническое обслуживание и сокращающие время простоя систем. ИАУ 106, 108 анализирует временную динамику звуковых/вибрационных данных и использует современные алгоритмы машинного обучения для обнаружения и прогнозирования аномалий с использованием временных рядов. Полученная в результате обнаружения информация передается по каналу коммуникации на станцию, содержащую систему 110 оповещения и сетевого доступа к облаку.

На фиг. 2 показана упрощенная блок-схема ИАУ 106 или 108, соответствующего одному из вариантов осуществления изобретения, представленному в описании. ИАУ 106, 108 соединено с возможностью коммуникации с системой 112 регистрации входных аудиоданных. В одном варианте осуществления изобретения система 112 регистрации входных аудиоданных может включать в себя несколько микрофонов, несколько приемников или любых подходящих акустических преобразователей. В другом варианте осуществления изобретения система 112 регистрации входных аудиоданных может включать в себя неакустическое входное устройство, такое как датчик вибрации, датчик ускорения, датчик перемещения или любой подходящий чувствительный элемент. С целью сбора обучающих данных для алгоритмов машинного обучения систему 112 регистрации входных аудиоданных монтируют на контролируемой системе аппарата 100 или вблизи нее. Система 112 регистрации входных аудиоданных осуществляет регистрацию сигналов, после чего записанные сигналы подвергаются предварительной обработке для удаления любых налагающихся шумов окружающей среды и т.д. В одном варианте осуществления изобретения функцию предварительной обработки может выполнять система 112 регистрации входных аудиоданных. В некоторых вариантах осуществления изобретения функцию предварительной обработки может выполнять процессор предварительной обработки, расположенный в системе 112 регистрации входных аудиоданных и образующий ее часть либо расположенный вне системы 112 регистрации входных аудиоданных и соединенный с ней с возможностью коммуникации. Если процессор предварительной обработки расположен вне системы 112 регистрации входных аудиоданных, то он может быть установлен на ИАУ 106, 108, образуя часть последнего. В альтернативном варианте процессор предварительной обработки может представлять собой отдельный компьютерный модуль. Система 112 регистрации входных аудиоданных способна регистрировать не только аудиосигналы, но и вибрационные сигналы, посредством входных аудиоустройств или других неакустических преобразователей. После регистрации звукового и/или вибрационного сигнала ИАУ 106, 108 оценивает рабочие состояния аппарата 100 с целью определения, работает ли аппарат 100 в нормальном или аномальном режиме. Имеющиеся функциональные возможности контроля/отслеживания рабочего состояния аппарата 100 позволяют определить, как аппарат 100 реагирует на изменяющиеся параметры атмосферы, давления и т.д. В состав ИАУ 106, 108 входят процессор 114, запоминающее устройство 118 и коммуникационный модуль 116. В зависимости от потребностей в разных случаях применения, в состав ИАУ 106, 108 могут быть включены и другие подходящие компьютерные модули, такие как интерфейсы пользователя. Процессор 114 содержит выполняемый аудиоаналитический алгоритм (алгоритм анализа звуков). Подробное описание аудиоаналитического алгоритма приведено ниже. Процессор 114 получает классификационные параметры из запоминающего устройства 118, служащие для оценки состояния системы на основе аудиосигналов, а также поток звуковых и/или вибрационных сигналов, поступающий из аппарата 100 в режиме реального времени через систему 112 регистрации входных аудиоданных, и выводимые данные о предполагаемых состояниях системы, такие как данные о конкретном воздействии на рабочее состояние системы. После этого оцененные состояния или аномалии системы поступают в коммуникационный модуль 116, который, в свою очередь, передает их во внешнее устройство для дальнейшего статистического анализа.

После отслеживания воздействия, а именно распределения/характеристик нагрузки применительно к аппарату 100, внешнее устройство, такое как система 110 оповещения и сетевых облачных вычислений, соединенная с возможностью коммуникации с ИАУ 106, 108, может выполнить масштабный пространственно-временной анализ воздействия распределенной нагрузки на аппарат 100 путем обобщения результатов, полученных из разных точек и учитывающих каждый отдельный случай и/или каждое местоположение, с помощью алгоритма контроля состояния системы, основанного на аудиоаналитике. В некоторых вариантах осуществления изобретения система 110 оповещения и сетевых облачных вычислений содержит модуль облачных вычислений и средство оповещения, выполненные в виде двух отдельных модулей, находящихся в этой системе. В альтернативном варианте осуществления изобретения модуль облачных вычислений может находиться в облачной сети, внешней по отношению к системе 110 оповещения и сетевых облачных вычислений. В другом варианте осуществления изобретения модуль облачных вычислений тоже представляет собой облачную сеть. На вычислительной машине может быть установлено средство визуализации, такое как программа или приложение, с дисплеем, демонстрирующим пользователю состояние текущего процесса распределения энергии или состояние аппарата 100. Вычислительная машина, соединенная с возможностью коммуникации с модулем облачных вычислений, может представлять собой настольный компьютер, переносной компьютер, ноутбук, планшет, носимое устройство или любую другую подходящую вычислительную машину. Система оповещения, представляющая собой утилиту, программу или приложение, используется для оповещения компетентного персонала, такого как руководитель объекта, в случае обнаружения ИАУ 106, 108 аномальных состояний машин в аппарате 100. Запуск системы оповещения может осуществляться на любых подходящих вычислительных машинах. Оповещение может осуществляться в форме текстового сообщения, сообщения по электронной почте, голосового сообщения, слышимого звука, изображения на дисплее, индикации или в любой подходящей форме в зависимости от требований, предъявляемых в конкретном случае применения. В некоторых вариантах осуществления изобретения может осуществляться запуск/прогон системы оповещения, средства визуализации или модуля облачных вычислений на отдельной вычислительной машине, нескольких вычислительных машинах, в сети, на сервере или в комбинации вышеперечисленного. В некоторых вариантах осуществления изобретения система оповещения, средство визуализации и модуль облачных вычислений могут быть установлены в одном и том же пункте, в разных пунктах или в нескольких пунктах.

На фиг. 3 показана упрощенная блок-схема интеллектуального процессорного модуля 114, соответствующего одному из вариантов осуществления изобретения, представленному в описании. В одном варианте осуществления изобретения интеллектуальный процессорный модуль 114 расположен в ИАУ 106, 108, показанном на фиг. 2. В некоторых вариантах осуществления изобретения интеллектуальный процессорный модуль 114 может представлять собой отдельный и независимый модуль, соединенный с возможностью коммуникации с системой 112 регистрации входных аудиоданных и ИАУ 106, 108. Установка и выполнение аудиоаналитического алгоритма осуществляются с помощью обработки аудиосигналов для представления аудиопризнаков и средств машинного обучения. Обработка сигналов и алгоритмы машинного обучения, лежащие в основе вышеупомянутых средств аудиоаналитики, являются в значительной степени инвариантными по отношению к конкретному способу восприятия и могут быть поэтому адаптированы к любой возможной временной последовательности сигналов, например гироскопа, магнитометра, тока, полного электрического сопротивления и электрической емкости, в зависимости от сценария применения аппарата 100. Действительно, расширение алгоритмов путем включения в них аспектов многомодального сенсорного восприятия позволяет привлечь к использованию более глубокие, возможно скрытые, зависимости и корреляции и тем самым повысить качество прогнозирования и обнаружения аномалий. Как показано на чертеже, процессор 114 включает в себя несколько машиноисполняемых программ, или функций, таких как грамматика пространства, учитель классификации образов, контрольный сигнал и представление аудиопризнаков. Процессор 114 может также включать в себя функции, или программы, глубокого обучения, обучения аудиопризнакам и распознавания. В зависимости от требований, предъявляемых в конкретном случае применения, предусмотрена возможность установки и выполнения в процессоре 114 других машиноисполняемых программ или команд.

На фиг. 4 показана упрощенная архитектура сети-автокодировщика, соответствующей одному из вариантов осуществления изобретения, представленному в описании. Автокодировщик (АК) и ряд его производных, такие как шумоподавляющий АК, глубокий АК и многие другие, можно использовать для обнаружения аномалий. АК основывается на низкоразмерном скрытом представлении подпространства сигналов, которое, будучи восстановленным и связанным с порогом ошибки (рассогласования), позволяет провести различие между нормальными и аномальными данными, то есть аномалии будут сопряжены с большей ошибкой восстановления. Вышеупомянутые производные АК улучшают характеристики стандартного АК благодаря повышенной робастности и использованию более глубокой структуры, которая может присутствовать в данных. Как показано на фиг. 4, первый слой L1 соответствует входному сигналу (например, быстрому преобразованию Фурье звуковых/вибрационных сигналов из устройств распределения энергии), а третий слой L3 представляет собой восстановленную версию этого сигнала. Второй слой L2 является низкоразмерным скрытым представлением. Обучение автокодировщика может осуществляться посредством машинных данных, в ходе чего предполагается, что аномальные операции со временем встречаются все реже. Таким сигналам-выбросам в третьем слое L3 будет соответствовать большая ошибка восстановления. Величину этой ошибки можно использовать в качестве ключевого признака для обнаружения аномалий.

На фиг. 5 показана схема глубокой рекуррентной нейронной сети (ГРНС), получающей векторы аудиосостояний и соответствующей одному из вариантов осуществления изобретения, представленному в описании. В отличие от АК, в котором используется только межобъектная, или мгновенная, разность между текущими данными и известными классификаторами/аномалиями. Кроме того, АК не сохраняет никакую информацию, которая зависит от времени и которую можно было бы использовать для прогнозирования нижележащей структуры, приводящей к возникновению аномалии. Глубокие рекуррентные нейронные сети (ГРНС), обеспечивающие полноту использования зависящей от времени информации в качестве вспомогательного средства профилактического сопровождения, представляют собой один из способов прогнозирования возможного возникновения аномалий, основанный на глубоком обучении.

ГРНС способна выполнять моделирование временной динамики звуковых образов в отличие от объектно-ориентированного подхода, где каждому объекту ставится в соответствие характеристическая информация - ярлык (например, "нормальный" или "аномальный") без учета временного контекста / вариаций. Тем не менее, обучение ГРНС на данных временного ряда машинной операции включает в себя предварительное аннотирование полученных звуковых образов для разных рабочих режимов. С помощью этих аннотированных данных можно обучить ГРНС нормальной операции распределения энергии, сопоставленной явно выраженным звуковым образам, а также обнаружению ее аномальных отклонений путем идентификации признаков неисправности (например, отказа конкретного преобразователя или трансформатора). ИАУ 106, 108 не только реализует ГРНС, демонстрирующую замечательную способность к моделированию аудиосигналов, имеющих отношение к человеческой речи, но и может осуществлять контроль и обнаружение/прогнозирование аномалий.

На фиг. 6 показана схема глубокой сверточной нейронной сети (СНС), предназначенной для непрерывного контроля рабочих состояний машины и соответствующей одному из вариантов осуществления изобретения, представленному в описании. Глубокая СНС для непрерывного контроля рабочих состояний машины может быть создана в ИАУ 106, 108 с целью выполнения обнаружения аномалий. Кроме того, глубокие СНС позволяют выполнить статистический анализ в облачной сети с целью извлечения содержательной информации из данных и оптимизации машинных операций. Основанный на СНС анализ применяется к звуковым/вибрационным сигналам, имеющим отношение к аппарату 100. В некоторых вариантах осуществления изобретения СНС могут быть использованы в рамках машинного обучения с учителем. Например, во-первых, могут быть получены данные с метками времени для разных рабочих состояний машины, а соответствующие временные звуковые/вибрационные сегменты могут быть преобразованы в спектрограммы для дальнейшего анализа. Затем эти спектрограммы обрабатываются как естественные 2 В-изображения и пропускаются через сеть VGG (очень глубокую СНС, разработанную для распознавания изображений) с целью распознавания конкретного состояния машины. На фиг. 6 представлена общая архитектура глубокой СНС, реализованной посредством ИАУ 106, 108.

Описанные выше варианты осуществления изобретения представлены в качестве примера, так что следует иметь в виду, что эти варианты могут быть подвержены различным модификациям и реализации в альтернативных формах. Следует также иметь в виду, что формула изобретения не ограничивается конкретными его формами, представленными в настоящем описании, а охватывает все модифицированные, эквивалентные и альтернативные варианты осуществления изобретения, согласующиеся с сущностью и объемом последнего.

Варианты осуществления изобретения, находящиеся в пределах его объема, могут также включать в себя энергонезависимые машиночитаемые носители данных для хранения машиноисполняемых команд или массивов данных. Такие энергонезависимые машиночитаемые носители могут представлять собой любые подходящие носители, доступ к которым может быть обеспечен посредством компьютера общего или специального назначения. Такие энергонезависимые машиночитаемые носители могут включать в себя, в качестве примера и без ограничений, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), электрически стираемое перепрограммируемое ПЗУ (ЭСППЗУ), ПЗУ на компакт-диске или другое оптическое ЗУ, ЗУ на магнитном диске или другие магнитные носители либо любой другой носитель данных, который можно использовать для переноса или хранения требуемых средств реализации программного кода в форме машиноисполняемых команд или массивов данных. Энергонезависимые машиночитаемые носители могут также включать в себя комбинации вышеперечисленного.

Изобретение в разных вариантах осуществления может также применяться на практике в среде распределенных вычислений, где задачи выполняются локальными и удаленными устройствами обработки, связанными друг с другом коммуникационной сетью (с аппаратной связью, беспроводной связью либо их комбинацией).

Машиноисполняемые команды включают в себя, например, команды и данные, которые инициируют выполнение определенной функции или группы функций компьютером общего назначения, компьютером специального назначения или обрабатывающим устройством специального назначения.

Машиноисполняемые команды также включают в себя программные модули, выполняемые компьютерами в автономной или сетевой среде. В общем случае программные модули включают в себя стандартные операции, программы, объекты, компоненты, массивы данных и т.д., выполняющие конкретные задачи или обеспечивающие получение специфических абстрактных данных. Машиноисполняемые команды, связанные с ними массивы данных и программные модули представляют собой примеры средств реализации программного кода, служащих для осуществления шагов способов, представленных в настоящем описании. Конкретная последовательность таких исполняемых команд или связанных с ними массивов данных представляет собой примеры соответствующих действий для выполнения функций, описанных в этих шагах.

Хотя описание патента приведено со ссылками на различные варианты осуществления изобретения, следует иметь в виду, что эти варианты осуществления изобретения являются иллюстративными и объем изобретения не ограничивается ими. Возможны многие изменения, модификации, дополнения и усовершенствования. В настоящем описании патента и приведенных в нем отдельных вариантах осуществления изобретения последнее представлено в более общем случае. В разных вариантах осуществления изобретения функции могут рассматриваться в отдельности или блоками и описываться с использованием разной терминологии. Эти и другие изменения, модификации, дополнения и усовершенствования могут находиться в пределах объема изобретения, определяемого приведенной ниже формулой изобретения.