Результат интеллектуальной деятельности: Способ дешифрации электромиосигналов и устройство для его реализации

Данное техническое решение относится к области медицинских реабилитирующих устройств и робототехники, в частности, к способам и системам для управления экзоскелетом при реабилитации людей с заболеваниями, приводящими к нарушениям опорно-двигательного аппарата и костно-мышечной системы, а также для использования в качестве человеко-машинных интерфейсов промышленных экзоскелетов.

Для того чтобы различать и классифицировать мышечные движения, должны быть извлечены наиболее значимые части ЭМГ (признаки), которые представляют текущий сигнал в виде кода, несущего информацию о конкретном перемещении конечностей. Эта информация расшифровывается в декодере или классификаторе. По данным исследований, для классификации ЭМГ-сигналов применяются различные способы кодирования: спектральные коэффициенты, коэффициенты авторегрессии, вейвлет-коэффициенты. Однако, учитывая временные ограничения на дешифрацию команды, предпочтения отдают способам кодирования ЭМГ-сигнала во временной области на основе анализа амплитуд сигналов. Такие признаки могут быть легко определены, обладают высокой стабильностью для распознавания образов с помощью нейронных сетей. Для достижения лучших результатов в распознавании команд, код (вектор признаков) должен содержать достаточное количество информации, чтобы отражать существенные свойства ЭМГ-сигнала. Следовательно, основным требование к коду является его простота получения и скорость его декодирования (классификации команды). В качестве признаков используют следующие величины во временной области, измеренные как функции времени: интегральная ЭМГ; среднее арифметическое; среднее значение модуля; конечные разности; сумма элементарных площадей; дисперсия; среднеквадратичное отклонение; длина сигнала; максимальное значение ЭМГ-сигнала. Более подробно информация о выборе признаков для классификации изложена в работе [Будко Р.Ю., Старченко И.Б. Создание классификатора мимических движений на основе анализа электромиограммы // Труды СПИИРАН. 2016. Вып. 46. С. 76-89.].

Известен способ и система для идентификации жестов, описанная в US 20150370333 A1, 24.12.2015. Система для идентификации жестов включает по меньшей мере один датчик, реагирующий на выполняемые пользователем жесты, и процессор, коммуникативно соединенные, по меньшей мере, с одним датчиком. Способ идентификации жестов включает: получение, по меньшей мере, одного сигнала от, по меньшей мере, одного датчика; сегментирование, по меньшей мере, одного сигнала на окна данных; определение процессором класса окна данных из библиотеки классов окон; идентификацию высокой вероятности жеста для окна данных процессором, соответствующему жесту в библиотеке жестов, который имеет самую высокую вероятность того, что пользователем осуществляется определенный жест.

Недостатком системы и способа является технология классификации данных, которая предполагает соотнесение одного свойства окна данных с определенным классом, что приводит к привязке к одному окну нескольких классов и необходимости вычисления наиболее вероятного класса для текущего окна.

В качестве прототипа выбраны способ и система управления интеллектуальной бионической конечностью, описанные в [Патент РФ RU 2 635 632 C1. Способ и система управления интеллектуальной бионической конечностью/Н.М. Иванюк, В.Р. Каримов, Р.Ю. Будко, П.В. Гронский, С.М. Клейман. Опубликовано 14.11.2017. Бюл. № 32]. Способ содержит этапы, на которых: получают, по меньшей мере, один ЭМГ сигнал пациента посредством миоэлектрического устройства считывания; осуществляют обработку по меньшей мере одного ЭМГ-сигнала пациента посредством неперекрывающейся сегментации ЭМГ-сигнала; для каждого сегмента, полученного на предыдущем шаге, формируют набор признаков ЭМГ-сигнала на основе амплитуды ЭМГ-сигнала для классификации жестов; передают набор признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных в систему управления интеллектуальной бионической конечностью; определяют тип жеста на основании набора признаков ЭМГ сигнала посредством использования искусственной нейронной сети; формируют управляющий сигнал на основании определенного типа жеста; передают сформированный управляющий сигнал на двигатели, приводящие в движение пальцы бионической конечности; получают обратную связь от системы управления интеллектуальной бионической конечностью посредством получения информации от внешних датчиков. Изобретение позволяет повысить точность позиционирования и принятия решения о захвате предмета.

Основным недостатком прототипа является то, что при формировании вектора информативных признаков на основе анализа сигнала ЭМГ в окне используются только амплитудные характеристики отсчетов ЭМГ, что приводит к потере информативности сигнала ЭМГ и высокому уровню ошибок в классификации команд. Повысить точность классификации команд в прототипе предлагается за счет дублирования сигналов ЭМГ по нескольким каналам и расшифровки сформированного таким образом вектора информативных признаков посредством обучаемой нейронной сети. Однако такое техническое решение может быть использовано только при съеме сигналов с верхних или нижних конечностей и неприемлемо при дешифрации ЭМГ мышц спины, расшифровка которых необходима при управлении реабилитационными экзоскелетами в режиме встать-сесть или промышленными экзоскелетами в режиме подъема груза. Кроме того, использование дублирующих каналов не приводит к повышению информативности сигнала, а направлено, скорее всего, на повышение его помехозащищенности. Это обстоятельство влечет за собой снижение надежности нейросетевого классификатора, на входы которого подаются высоко коррелированные признаки, полученные на основе анализа сигналов, зависящих не только от сигнала ЭМГ, но и от места положения электрода в текущем эксперименте или от различной динамики изменения кожного сопротивления под электродами в процессе эксперимента, что не может быть учтено в процессе обучения нейронной сети.

Технической задачей предлагаемых способа и устройства является минимизация ошибки при позиционировании экзоскелета посредством серводвигателей, управляемых по командам, получаемым по результатам декодирования электромиосигнала.

Поставленная задача достигается тем, что в известном способе, заключающемся в получении, по меньшей мере, одного ЭМГ - сигнала пациента посредством миоэлектрического устройства считывания; обработку, по меньшей мере, одного ЭМГ-сигнала пациента посредством пошаговой сегментации ЭМГ-сигнала на пересекающиеся или на не пересекающиеся окна; формирования для каждого сегмента, полученного на предыдущем шаге, набора признаков ЭМГ-сигнала (вектора информативных признаков); передаче набора признаков ЭМГ-сигнала каждого сегмента по каналу передачи данных на классификатор, осуществляющий управление контроллером серводвигателей, который выполнен в виде обучаемой нейронной сети; формирование вектора информативных признаков для нейронной сети в нем осуществляют посредством многоуровневого компаратора, число уровней которого определяется размерностью вектора информативных признаков, а компоненты вектора информативных признаков , , где N-число уровней компарации, вычисляются согласно выражению

,

где TW-ширина окна в отсчетах,

i –номер уровня компаратора,

τ-номер отсчета в i-м окне;

Θ_i – величина i-го уровня компарации;

x_τ - отсчет сигнала ЭМГ с номером τ в окне TW;

а в классификаторе используется вторая нейронная сеть, предназначенная для обобщения данных, получаемых при классификации вектора информативных признаков текущего окна, число входов которой определяется числом окон ЭМГ, используемых при принятии решения о включении/выключении соответствующего серводвигателя.

С целью адаптации функционального состояния пациента и процесса вертикализации посредством экзоскелета в дешифраторе используются множество дублирующих каналов ЭМГ-сигналов, связанных с мышцей или группами мышц, контролирующих движение одного и того же сустава конечностей, в результате чего на выходе классификатора каждого канала получаем число, соответствующее уверенности в команде на вращение серводвигателя экзоскелета, а для агрегации решений по каналам классификаторов все выходы классификаторов каналов поступают на нечеткую нейронную сеть, дефаззификатор которой формирует управляющий сигнал на контроллер серводвигателя, в результате анализа которого контроллер определяет скорость и направление вращения.

по желанию ЛПР при классификации ЭМГ-сигнала на каждом шаге принятия решений данные с первой нейронной сети обновляются полностью, или обновляется только тот выход нейронной сети, который пришел первым, а все остальные компоненты вектора информативных признаков второй нейронной сети сдвигаются на один шаг.

С целью адаптации пациента и экзоскелета в устройство управления серводвигателями экзоскелета, содержащее последовательно соединенные миоэлектрическое устройство считывания, блок обработки ЭМГ-сигнала, бортовой процессор, осуществляющий дешифрацию электромиосигналов посредством нейросетевого классификатора, и контроллер серводвигателей, в него дополнительно введены дешифратор электромиосигналов, который включает последовательно соединенные блок компараторов, блок вычислителей информативных признаков, мультиплексор, первую нейронную сеть, блок памяти и вторую нейронную сеть, выходы которой предназначены для подключения к контроллеру серводвигателей, и синхронизатор, выходами подключенный к входам управления блока вычислителей, мультиплексора, блока памяти и контроллера серводвигателей. Для того, чтобы иметь возможность адаптировать устройство управления к функциональному состоянию пациента в него вводятся дополнительные каналы, каждый из которых является классификатором ЭМГ-сигнала, связанным с определенной мышцей или группой мышц, контролирующих движение одного и того же сустава конечностей, и третья нейронная сеть, входами подключенная к выходом канальных классификаторов, а выходом к контроллеру серводвигателей.

На фиг.1 представлена структурная схема устройства, осуществляющего предлагаемый способ.

На фиг. 2 представлена структурная схема блока обработки ЭМГ-сигнала.

На фиг. 3 представлена структурная схема классификатора окон ЭМГ-сигнала.

На фиг.4 представлена схема алгоритма реализации способа классификации ЭМГ на примере одного канала.

На фиг. 5 представлена иллюстрация перехода от сигнала ЭМГ x(t) (фиг. 5а) к сигналу ЭМГ y(t) (фиг. 5б).

На фиг.6 представлена иллюстрация числа окон анализа: а) для окон без перекрытия, б) для перекрывающихся окон

На фиг. 7 представлены эпюры формирования управляющих импульсов на выходе синхронизатора.

На фиг. 8 представлен процесс реабилитации посредством вертикализации пациента, осуществляемый посредством простейшего устройства.

На фиг. 9 представлены упрощенные кинематические схемы экзоскелета для режима вертикализации: 1 – голень, 2 – бедро, 3 – позвоночник, 4 – стопа; фиг. 9а – начальное состояние вертикализации, фиг. б – промежуточное состояние вертикализации, фиг.9в – конечное состояние вертикализации.

На фиг. 10 представлен анатомический атлас мышц нижних конечностей, с которых снимаются ЭМГ - сигналы, управляющие работой суставов при вертикализации пациента посредством экзоскелета - вид спереди.

На фиг. 11 представлен анатомический атлас мышц нижних конечностей, с которых снимаются ЭМГ - сигналы, управляющие работой суставов при вертикализации пациента посредством экзоскелета – вид сбоку.

На фиг. 12 представлен анатомический атлас мышц нижних конечностей, с которых снимаются ЭМГ - сигналы, управляющие работой суставов при вертикализации пациента посредством экзоскелета – вид сзади.

На фиг. 13 представлена структурная схема классификатора ЭМГ при использовании дублирующих каналов.

На фиг. 14 представлены графики функций принадлежности для термов управления первым серводвигателем: 1 – «сесть быстро», 2 – «сесть в среднем темпе», 3 – «сесть медленно», 4 – «встать медленно», 4 – «встать медленно», 5 – «встать в среднем темпе», 6 – «встать быстро».

Способ осуществляется с помощью устройства, структурная схема которого представлена на фиг.1. Устройство фиг. 1 состоит из микроэлектродного устройства считывания 1, блока обработки ЭМГ – сигнала 2; бортового процессора 3, и контроллера серводвигателей 4.

Блок обработки ЭМГ-сигналов фиг.2 состоит из последовательно соединенных блока компараторов 5, блока вычислителей 6 и мультиплексора 7.

Классификатор 8 фиг. 3 осуществляет дешифрацию электромиосигнала, в результате которой формируются управляющие команды на контроллер 4. Он реализуется посредством программного обеспечения бортового процессора 3 и состоит из последовательно соединенных первой нейронной сети 9, блока памяти 10 и второй нейронной сети 11, взаимодействием которых управляет синхронизатор 12, первый выход которого соединен со вторым входом блоком памяти 10, а второй выход –стробирует входы контроллера 4.

Способ реализуется посредством последовательности программных модулей 13…38 (фиг. 4). Сущность способа заключается в сегментации текущего сигнала ЭМГ на пересекающиеся или не пересекающиеся окна шириной TW с последующим формированием из отсчетов каждого окна x_τ информативного признака FD. С этой целью осуществляют переход от текущего дискретного отсчета ЭМГ x_τ к отсчету y_τ, получаемому путем сравнения текущего отсчета с порогом Θ и вычисляемому согласно выражению

(1)

На основе отсчетов (1) вычисляют информативный признак в окне TW как

. (2)

На эпюрах фиг. 5 показано, как из сигнала ЭМГ x(t) фиг. 5а получается сигнал y(t) фиг. 5б для одного порога Θ. На ширине окна можно использовать множество порогов Θ и как следствие, получить множество информативных признаков FD.

Процедуру трансформации отсчетов сигнала ЭМГ согласно (1) осуществляет блок компараторов 5. Таким образом, одному отсчету x_τ ставится в соответствие N отсчетов y_τ, где N – число порогов компарации Θ. Эта процедура может осуществляться как на аппаратном, так и на программном уровне. На схеме алгоритма фиг.4 она представлена блоком 24 в виде параллельного вычисления (1), что соответствует аппаратному уровню реализации. В вычислителях блока вычислителей 6 реализуется процедура вычисления информативного признака (2). На схеме алгоритма фиг. 4 это блок 25. Через мультиплексор 7 полученный N - мерный вектор информативных признаков поступает на вход первой нейронной сети NET1. После классификации оконного электромиосигнала в NET1, соответствующее ее решение заносится в соответствующую ячейку памяти блока памяти 10. После этого необходимо пропустить W отсчетов и выполнить аналогичную процедуру (цикл блок 19 на схеме алгоритма фиг.4). Число анализируемых окон MW, необходимых для принятия решения, вводится в блоке 15 (фиг. 4). Если W>TW, то используются не перекрывающиеся окна. В противном случае используются окна с перекрытием.

Эти информативные признаки являются входами обучаемой сети NET1, которая используется в качестве дешифратора сигналов ЭМГ (блок 11 на фиг. 3).

Задавшись апертурой ЭМГ (блоки 14 и 15 фиг. 4), на которой принимается решение о включении соответствующего серводвигателя, можем выделить на ней множество окон, а, следовательно, множество выходов NET1. Так как выходы NET1 разнесены во времени, то для принятия решения по совокупности результатов этих выходов необходимы запоминающие устройства (блок 10 фиг. 3), в которых хранят эти результаты. После анализа соответствующего количества окон результаты этого анализа поступают на обучаемую нейронную сеть NET2 (блок 11 фиг. 3), выходы которой подключены к контроллеру серводвигателей 4 (фиг. 3).

Число окон анализа, то есть входов NET2, зависит от времени дешифрации команды, зашифрованной в ЭМГ сигнале, и от минимального кванта информации, переносимого ЭМГ сигналом. По литературным источникам, временная апертура дешифрации ЭМГ сигнала составляет 250 мс, а минимальный информационный квант, то есть минимальный отрезок ЭМГ сигнала, который переносит релевантную информацию, составляет 25 мс. Таким образом, при использовании окон без перекрытия, MW=int(250/W). Если используются окна с перекрытием, то MW=int((250-TW)/W). Процесс определения числа окон анализа иллюстрирует фиг. 6. На фиг. 6а показан процесс формирования окон без перекрытия, а на фиг. 6б - процесс формирования окон с перекрытием.

Синхронизатор 12 (фиг. 3) синхронизирует работу блока обработки ЭМГ-сигнала 2 и классификатора 8, таким образом, чтобы формировалась последовательность векторов информативных признаков, характеризующих временные окна. На апертуре наблюдения ЭМГ сигнала, соответствующей MW окнам анализа, на входе NET2 необходимо сформировать вектор информативных признаков , где . Так как формирование этого вектора информативных признаков разнесено во времени, то на контроллер 4 должен быть подан стробирующий сигнал E2, сигнализирующий о завершении формирования этого вектора.

Эпюры сигналов на выходе синхронизатора представлены на фиг. 7. На фиг. 7а показаны окна отсчетов сигнала x(t) ЭМГ. В данном примере представлен случай с не пересекающими окнами. На фиг. 7б показаны стробирующие сигналы, поступающие на мультиплексор и блок памяти. Эти сигналы переключают регистры адреса мультиплексора и блока памяти. На фиг. 6в показан стробирующий сигнал, сигнализирующий о том, что на выходах NET2 появилась релевантная информация. Строб формируется после того, как будет сформирован вектор выходами NET1 и разрешает контроллеру серводвигателей 4 исполнять команды, поступающие с NET2.

После включения соответствующего серводвигателя пользователь может выбрать два варианта дальнейшей работы (блок 16 фиг.4). Выбор этих вариантов осуществляется посредством оператора CASE в блоке 30. Если CASE равен 3, то осуществляется переход на блок 19, в котором осуществляется анализ следующих MW окон. Следовательно, следующая команда на серводвигатель может поступить только через TWхMW отсчетов. Это замедляет процесс принятия решений. Поэтому в алгоритме предусматривается ветвь 2, согласно которой при принятии решений у нейронной сети NET2 изменяется только вход, соответствующий первому результату анализа нейронной сети NET1. Остальные входы NET2 смещаются на единицу, в результате чего последний отчет замещается первым отсчетом следующего окна, а первый отсчет предшествующего окна замещается вторым отсчетом предшествующего окна. Эту процедуру реализуют блоки 35 и 36 алгоритма фиг. 4.

Пример осуществления технического решения

В последние годы все большее распространение получили устройства, названные экзоскелетонами (экзоскелетами), то есть внешними скелетами. Экзоскелет — устройство, предназначенное для расширения функциональных возможностей человека за счёт внешнего каркаса. Основной задачей таких аппаратов является оказание помощи человеку при перемещении в пространстве, в том числе и при ходьбе. С помощью экзоскелета решаются задачи расширения функциональных возможностей больных с нарушением опорно-двигательного аппарата, пострадавших в результате аварий или различных заболеваний, исключающих нормальное движение человека. Одним из способов реабилитации является вертикализация с помощью экзоскелета, то есть переход из положения "сидя" в положение "стоя".

Клиническое применение вертикализации доказало высокую эффективность в проведении реабилитационной терапии при самых различных неврологических нарушениях. Вертикализация позволяет эффективно улучшить и стабилизировать показатели сердечно-сосудистой системы, нормализовать процесс дыхания, улучшить подвижность мышц, активизировать работу и улучшить иннервацию опорно-двигательного аппарата. При этом вертикализация не только ускоряет процесс реабилитации, но и значительно снижает риск вторичных осложнений, связанных с длительной обездвиженностью пациента. Назначается также больным с ДЦП, спинальным дизрафизмом, мышечной дистрофией, рассеянным склерозом и т.д. при склонности к формированию сгибательных контрактур в тазобедренных и коленных суставах у детей, которые мало ходят или не ходят вообще, а передвигаются ползанием; наличии дисплазии тазобедренных суставов или состояния после операций на тазобедренных суставах; когнитивных нарушениях, отсутствии мотивации ребенка к вертикальному положению; спастичности и нарушении мышечного тонуса нижних конечностей, не позволяющих ребенку самостоятельно стоять без совершения патологических движений и принятия патологических поз. Вертикализаторы способствуют также освоению двигательных действий и развитию функций верхних конечностей. Эти устройства показаны для детей раннего возраста - с 9…12 мес.

При систематическом использовании тренажерных устройств оказывается пассивное и активное воздействие на опорно-двигательную систему (мышцы, суставы), стимулируется или нормализуется деятельность структур головного мозга (гипоталамус, двигательные центры коры головного мозга и других отделов), активизация которых способствует поддержанию вертикальной позы, локомоторных актов, манипулированию предметами и т.д.

При правильном и систематическом применении вертикализаторов повышается уравновешенность и подвижность процессов торможения и возбуждения в центральной нервной системе, нормализуются моторно-висцеральные рефлекторные связи, снижается мышечный тонус, улучшается координация движений.

Многие зарубежные и отечественные фирмы, занимающиеся производством реабилитационного оборудования, предлагают широкий ассортимент вертикализаторов, предназначенных для детей различного возраста, а также взрослых с различным уровнем двигательной активности, локомоторными нарушениями и т.д.

Таким образом, применение вертикализации позволяет одновременно достичь нескольких целей:

• предотвратить образование сгибательных контрактур в тазобедренных и коленных суставах;

• помочь при профилактике когнитивных нарушений, отсутствии мотивации ребенка к вертикальному положению, спастичности и нарушении мышечного тонуса нижних конечностей, не позволяющих ребенку самостоятельно стоять без совершения патологических движений и принятия патологических поз;

• помочь освоить двигательные действия и развить функции верхних конечностей;

• восстановить мышечную силу ног, избежать атрофии мышц;

• восстановить навыки ходьбы;

• плавно адаптировать сердечно-сосудистую систему к физическим нагрузкам;

• предотвратить пролежни, пневмонию, нарушения мочеиспускания, дефекации и другие осложнения, связанные с длительной неподвижностью.

Несмотря на многочисленные реабилитационные экзоскелеты на рынке медицинских услуг, на сегодняшний день нет эффективных алгоритмов, обеспечивающих устойчивое перемещение пациента в экзоскелете в процессе вертикализации, открытыми остаются вопросы математического моделирования поведения пациента в экзоскелете. Основной претензией к медицинским экзоскелетам со стороны специалистов является отсутствие возможности адаптации экзоскелета к конкретному пациенту, поэтому очень часто предпочитают более дешевые и более эффективные средства реабилитации по технологии вертикализации пациента.

На фиг. 8 показан процесс вертикализации пациента с опорой для рук, которая выступает в качестве простейшего реабилитационного изделия. Несмотря на простату такого реабилитирующего приспособления, очень часто ему отдают предпочтение и отказываются от реабилитирующих экзоскелетов в связи с проблемами их управления и сложностью адаптации под показатели функционального состояния пациента.

На фиг. 9 показана упрощенная кинематическая схема экзоскелета для режима вертикализации. Для простоты расчетов полагаем, что φ1=90° и не изменяется в процессе вертикализации (этот случай показан на фиг.9), тогда процесс вертикализации может быть осуществлен с помощью двух серводвигателей СД1 и СД2, управляющих углами φ2 и φ3, соответственно.

Для управления процессом вертикализации используются электромиосигналы, получаемые посредством электродов, установленных в области тех мышц, которые участвуют в вертикализации. Анатомический атлас этих мышц с помеченными местами возможной установки электродов, приведен на фиг. 10, фиг. 11, фиг. 12.

Для управления серводвигателями в процессе вертикализации используем пять каналов ЭМГ, которые считывают сигнал ЭМГ с большой ягодичной мышцы, двуглавой мышца бедра, полуперепончатой мышцы, полусухожильной мышцы, большой приводящей мышцы. Процесс вертикализации управляется посредством дешифрации ЭМГ в каналах и скорость вертикализации зависит от интенсивности ЭМГ сигналов в каналах. При определенных сочетаниях интенсивностей ЭМГ в каналах, серводвигатели могут остановиться в любой фазе вертикализации. В этом случае, чувствуя, что у него "не хватает сил встать", пациент захочет сесть. В этом случае возможна генерация соответствующих сигналов ЭМГ, которые могут быть использованы для реверса серводвигателей. Для осуществления режима "сесть" используются каналы ЭМГ с подвздошно-поясничной мышцы (фиг. 12). Таким образом, для вертикализатора в качестве дешифратора ЭМГ сигналов необходимо использовать, как минимум, шесть каналов ЭМГ и еще одну нейросетевую структуру, используемую в качестве агрегатора дешифраторов канальных ЭМГ. Структурная схема такого дешифратора показана на фиг. 13.

Нейронная сеть NET3 является нечеткой нейронной сетью. Ее выходы вычисляются путем дефаззификации шести функций принадлежности, которые для первого серводвигателя представленны на фиг. 14. Управление вторым серводвигателем осуществляется контроллером серводвигателей на основе модели движения экзоскелета в режиме «встать – сесть». Параметры модели адаптируются под физическое состояние пациента, что позволяет устранить основной недостаток известных реабилитирующих экзоскелетов.