Способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления

Изобретение относится к медицине, а именно к хирургии, и может быть использовано при выполнении операций в области хирургии, а именно торакальной хирургии, абдоминальной хирургии, пластической хирургии, нейрохирургии, травматологии, ортопедии, онкологии, реаниматологии, челюстно-лицевой хирургии, эндокринной хирургии, оториноларингологии.

Известен опубликованный в интернете «Метод интраоперационной навигации на основе виртуального моделирования при видеоэндоскопической резекции почки при опухолях почки», размещенный по адресу: http://elibrary.ru/item.asp?id=23488789, авторов
Дубровин В. Н., Егошин А. В., Фурман А. А., Роженцов А. А., Eruslanov Р. И. Метод содержит специальную компьютерную программу для создания трехмерного изображения операционного пространства на основе предоперационных томографических данных конкретного пациента, и позволяющий сформировать виртуальные 3D модели пациента по результатам томографического обследования. Этот метод особенно перспективен для обучения начинающих хирургов, это может помочь им приобрести навыки в малоинвазивной хирургии.

Но данный метод предназначен для обучения начинающих хирургов и сопряжен с обязательным использованием эндоскопического оборудования. Метод не позволяет проводить вмешательства в открытой хирургии, травматологии, и т.п. Так же данный способ не может быть применим для визуализации анатомических образований, лежащих за пределами почки. Основными ориентирами для позиционирования системы служат только ткани органа, тогда как заявляемое техническое решение позволяет отображать всю топологию органов.

Известен способ выполнения регистрации, описанный в патентах США № US 2005015005 A1 20.01.2005 COMPUTER ENHANCED SURGICAL NAVIGATION IMAGING SYSTEM (CAMERA PROBE) / Ralf Alfons Kockro и патент США № US 2005/0215879 A1 29.09.2015 ACCURACYEVALUATIONOFVIDEO-BASEDAUGMENTEDREALITYENHANCEDSURGICALNAVIGATIONSYSTEMS / ZhuChuanggui, основанный на установке маркеров на тело пациента или фантом перед проведением КТ и/или МРТ, и полагающийся на наличие информации о положении маркеров в трёхмерных растровых изображениях анатомии пациента.

Недостатком известного способа является его неприменимость в случаях, когда КТ и/или МРТ выполняются с диагностической целью без маркеров, а необходимость хирургической навигации становится понятна уже после изучения результатов КТ и/или МРТ. Выполнение повторного КТ и/или МРТ с маркерами сопряжены с увеличением общей стоимости диагностики, дополнительными затратами времени, и в случае КТ – с увеличением лучевой нагрузки на пациента.

Известен способ размещения камеры дополненной реальности в навигационной указке, описанный в патенте США № US 2005015005 A1 20.01.2005 COMPUTER ENHANCED SURGICAL NAVIGATION IMAGING SYSTEM (CAMERA PROBE) / Ralf Alfons Kockro.

Недостатком известного способа является превращение навигационной указки из пассивного оптического устройства в активное электронное. Навигационная указка является медицинским инструментом, для которого требуется регулярная предстерилизационная очистка и стерилизация. Размещение внутри указки камеры с необходимыми для её работы элементами питания и модулями беспроводной передачи данных требует обеспечения герметичности корпуса и увеличения его размеров, добавляя ограничение на время автономной работы. В результате усложняется проектирование и увеличивается стоимость устройства, а удобство использования снижается.

Принципы функционирования очков с объединителями на основе волноводов и системы дополненной реальности, построенные с использованием таких очков, рассмотрены в патентах США № US 2015/0248793 A1 03.09.2015 METHOD AND SYSTEM FOR FACILITATING SURGERY USING AN AUGMENTED REALITY SYSTEM / RonyAbovitz, Brian T. Schowengerdt, Matthew D. Watson и патент США № US 2015/0242943 A1 03.09.2015 METHOD AND SYSTEM FOR GENERATING A RETAL, EXPERIENCEUSING AN AUGMENTED REALITY SYSTEM / RonyAbovitz, Brian T. Schowengerdt, Matthew D. Watson

Известен способ реализации дополненной реальности без очков на основе проецирования изображения на операционное поле с помощью проектора, описанный в патенте США № US 2014/0022283 A1 23.01.2014 AUGMENTEDREALITYAPPARATUS / HarleyHau-LamChan, MichaelJohnDaly, JonathanCrawfordIRISH.

Недостатком известного способа является низкая контрастность изображения, полученного с помощью проектора, на ярко освещённом операционном поле.

Самым близким по своей технической сущности является навигационный метод оперативного вмешательства в режиме реального времени и аппарат для отображения расширенного обзора пациента с предпочтительной статической или динамической точки зрения хирурга описанный в патенте US 2016019 1887 A1 включающий использование изображения поверхности, графическое представление внутренней анатомической структуры пациента, обработанное из предоперационных или интраоперационных изображений, и компьютер, регистрирующий оба изображения, а также включающий определение положения инструментов и частей системы (ToF-камеры, очков дополненной реальности) с помощью оптических маркеров (с. 2, [0035]), использование стереокамеры (с. 1, [0010]), использование time-of-flight (ToF) камеры (с. 1, [0007]), использование в качестве исходных данных медицинских изображений КТ и МРТ (c. 5, [0073]), построение пользователем сегментации и трёхмерной модели поверхности (c. 5, [0075]), использование очков дополненной реальности с прозрачным дисплеем на основе объединителей световых лучей (с. 9, [0117]).Данный метод предполагает определение положения пациента на основе комбинации двух способов: 1) с помощью отражающих или цветных маркеров, размещённых непосредственно на анатомических ориентирах на теле пациента (с. 2, [0035]; с. 4, [0056]; с. 6, [0087]; с. 13, [0146]), положение которых определяется с помощью камер (с. 8, [0104]); 2) путём сканирования поверхности тела пациента 3D-сканером (с. 7, [0093], [0094]) при смещении маркеров, превышающем некоторое пороговое значение (с. 7, [0095]). Таким образом, определение положения пациента требует прямой видимости тела пациента или его части (Fig. 2), инструменты при определении положения пациента не используются (Fig. 1).

Размещение маркеров непосредственно на анатомических ориентирах на теле пациента сопряжено со следующими проблемами:

- при выборе анатомических ориентиров в операционном поле размещённые на таких ориентирах маркеры препятствуют продолжению хирургического вмешательства;
- при выборе анатомических ориентиров вне операционного поля отсутствует прямая видимость маркеров для камер - этому препятствует операционное бельё, покрывающее тело пациента за пределами операционного поля;

- маркеры могут быть размещены только вне операционной раны, поэтому использование анатомических ориентиров внутри операционной раны становится невозможным; Сканирование поверхности тела пациента 3D-сканером любого типа, в том числе ToF-камерой, также затруднено, поскольку тело пациента за пределами операционного поля закрыто операционным бельём.

Предлагаемое изобретение направлено на расширение функциональных возможностей способа и арсенала оборудования для осуществления подготовки и выполнения хирургической операции с использованием дополненной реальности и позволяющего сократить время операции и уменьшить объём травмируемых тканей.

Поставленная задача решается за счет того что, Способ подготовки и выполнения хирургической операции с использованием дополненной реальности включает этапы планирования хирургической операции, хирургической навигации и хирургического вмешательства с использованием дополненной реальности, причем на этапе планирования хирургической операции пациенту проводят компьютерную или магнитно-резонансную томографию и формируют трёхмерное растровое изображение индивидуальной анатомии пациента, которое передают на компьютер комплекса оборудования для осуществления хирургической операции с использованием дополненной реальности, при этом на этапе хирургической навигации выполняют построение контура и трехмерную реконструкцию всех анатомических структур представляющих интерес для хирурга в предстоящей операции путем установки трех ключевых точек на анатомических ориентирах, видимых на экране компьютера в виде трехмерной модели, и так же видимых или осязаемых на теле пациента, причем точки выбирают с возможностью образования ими треугольника, после чего выбирают траекторию и безопасные пределы хирургического доступа, определяют матрицу трансформации координат между системой координат стереокамеры комплекса и системой координат томографа, в котором пациент проходил диагностику, посредством установки кончиком навигационной указки комплекса на теле пациента тех же трех точек и в той же последовательности, что и на анатомической модели, и фиксации компьютером комплекса позиции точек, после установки трех ключевых точек, при необходимости устанавливают дополнительные точки, находящиеся на той же анатомической поверхности, после чего запускают процесс регистрации точек с точками на поверхности трёхмерных моделей анатомии пациента, при этом на экране компьютера дополнительно отображают трёхмерную модель навигационной указки, при этом положение и ориентация трёхмерной модели навигационной указки относительно моделей анатомии пациента соответствует физическому положению указки относительно анатомической поверхности пациента, на этапе хирургического вмешательства используют навигационную указку для поиска интересующих анатомических структур, точки доступа к ним, направления их расположения относительно точки доступа, расстояния до них, а также для ограничения области хирургического доступа, при этом ориентируясь на изображение на экране компьютера или в очках дополненной реальности, в область хирургического доступа устанавливают навигационную указку таким образом, чтобы интересующая анатомическая структура находилась на линии продолжения указки, при этом на экране отображается расстояние до анатомической структуры в миллиметрах, а для ограничения области хирургического доступа, ориентируясь на изображение на экране компьютера или в очках дополненной реальности, перемещают навигационную указку таким образом, чтобы линия продолжения указки двигалась вдоль контура интересующей анатомической структуры, указку двигают по линии проекции интересующей анатомической структуры на поверхности тела и очерчивают область предстоящего хирургического доступа, после чего выполняют хирургическую операцию, в ходе которой при необходимости устанавливают новую точку доступа и корректируют область доступа. Знание точной области доступа позволяет хирургу уменьшить объём травмируемых тканей.

Комплекс оборудования для осуществления хирургической операции с использованием дополненной реальности содержит блок камер, установленный над операционным полем и включающий камеру дополненной реальности и ToF-камеру, стереокамеру, работающую в инфракрасном диапазоне длин волн, очки дополненной реальности, содержащие пульт управления, связанные с компьютером, и маркеры, при этом стереокамера установлена таким образом, что в область ее видимости попадают маркеры, выполненные сферическими и отражающими, расположенные на блоке камер, навигационной указке, очках дополненной реальности и базовом маркере системы координат, причем конфигурация маркеров на каждом из них отлична от других, базовый маркер системы координат неподвижно закреплен на черепном зажиме или операционном столе, а компьютер снабжен ножным контроллером в виде блока с педалями.

В предлагаемом изобретении недостатки ближайшего аналога решаются на основе следующих действий: 1) разделение процесса первоначального определения положения пациента и процесса отслеживания изменений положения пациента; 2) использование для определения положения пациента вспомогательных инструментов - навигационной указки и базового маркера системы координат. Первоначальное определение положения пациента выполняется с помощью навигационной указки. Навигационная указка позволяет указывать ключевые точки, как на открытой, так и на закрытой операционным бельём поверхности тела пациента, а также внутри раны, в пределах длины указки. Использование навигационной указки не создаёт помех для продолжения хирургического вмешательства. Отслеживание изменений положения пациента выполняется с помощью базового маркера системы координат, либо с помощью ToF-камеры. Базовый маркер системы координат не требуется закреплять на поверхности тела пациента, достаточно закрепить его неподвижно относительно операционного поля: например, к рельсам операционного стола или к черепному зажиму. Базовый маркер может быть поднят над операционным бельём для обеспечения его прямой видимости для стереокамеры. ToF-камера в предлагаемом изобретении используется для сканирования объектов, не обязательно являющихся поверхностью тела пациента, однако неподвижных относительно операционного поля: хирургического стола, закреплённого над столом оборудования (например, инструментального столика), операционного белья, укрывающего тело пациента. Сопоставление изображений со стереокамеры с предоперационными или интраоперационными изображениями КТ или МРТ выполняется только на этапе первоначального определения положения пациента. При отслеживании изменений положения пациента предоперационные или интраоперационные изображения КТ или МРТ не используются, вместо этого выполняется анализ изменений положения базового маркера системы координат в поле зрения стереокамеры, и объектов в поле зрения ToF-камеры. Тем самым достигается возможность коррекции положения пациента при отсутствии прямой видимости тела пациента или его части для камер, что позволяет избежать повторного выполнения регистрации, и тем самым сократить время операции. Таким образом, способ подготовки и выполнения хирургической операции с использованием дополненной реальности и комплекс оборудования для её осуществления позволяет сократить время операции, уменьшить область хирургического вмешательства и минимизировать повреждения окружающих здоровых тканей.

Суть технического решения поясняется изображениями, где на фигуре 1 представлена схема взаимосвязи следующих устройств: навигационная указка 1, базовый маркер системы координат 2, блок камер – ToF-камеры и камеры дополненной реальности 3, стереокамера 4, очки дополненной реальности 5, монитор 6, компьютер 7, ножной контроллер 8, клавиатура и мышь 9.На фигуре 2 изображена стереокамера 4. На фигуре 3 изображен блок камер 3. На фигуре 4 изображена навигационная указка 1. На фигуре 5 изображен базовый маркер системы координат 2. На фигуре 6 изображены очки дополненной реальности 5.

Способ подготовки осуществляется следующим образом. На этапе планирования хирургической операции пациент проходит процедуру компьютерной томографии или магнитно-резонансной томографии. В результате такой процедуры рабочая станция томографа формирует трёхмерное растровое изображение индивидуальной анатомии пациента в формате DICOM. Из уровня техники [https://www.dicomstandard.org/about/] известен стандарт DICOM – медицинский отраслевой стандарт, регламентирующий создание, хранение, передачу и визуализацию цифровых медицинских изображений и метаданных. Набор файлов DICOM передаётся на компьютер 7 комплекса планирования, управления и контроля результатов хирургического лечения. Используя полученные данные, врач-рентгенолог с помощью программного обеспечения выполняет сегментацию (построение контура) и трехмерную реконструкцию (построение трёхмерной модели поверхности) всех анатомических структур, которые представляют интерес для хирурга в предстоящей операции. Примерами таких анатомических структур являются новообразования, сосуды, кости скелета, поверхность тела пациента. Далее на основе полученной 3D-модели хирург планирует предстоящую операцию. На этапе хирургической навигации происходит процесс определения матрицы трансформации координат между системой координат стереокамеры и системой координат томографа, в котором пациент проходил диагностику. Такая трансформация необходима, потому что координаты трёхмерных моделей поверхности, построенных по результатам КТ и/или МРТ, заданы в системе координат томографа, а положение навигационной указки1 и пациента заданы в системе координат стереокамеры. В программном обеспечении комплекса из всех подготовленных трёхмерных моделей поверхности анатомических структур выбирается одна модель, которая будет использоваться для регистрации. На поверхности выбранной модели с помощью мыши 9 устанавливаются три ключевые точки. Точки устанавливаются на анатомических ориентирах, видимых на экране монитора 6 компьютера 7 на трехмерной модели, и при этом видимых или осязаемых на теле пациента – например, на характерных бугорках и впадинах костей. Точки выбираются таким образом, чтобы они образовали треугольник. Не допускается, чтобы точки находились на одной линии. После установки трёх ключевых точек на трёхмерной модели поверхности хирург указывает те же точки в той же последовательности на теле пациента с помощью навигационной указки. Для этого хирург ставит кончик указки 1 в каждую из точек и нажимает кнопку мыши 9, клавишу клавиатуры или педаль ножного контроллера 8, чтобы зафиксировать позицию точки. После установки трёх ключевых точек хирург, при необходимости, может указать с помощью указки 1 дополнительные точки, находящиеся на поверхности той же анатомической структуры, что и ключевые. Указание дополнительных точек позволяет повысить точность регистрации. После указания точек на теле пациента хирург запускает регистрацию с помощью кнопки мыши 9, клавиши клавиатуры или педали ножного контроллера 8, после чего происходит процесс регистрации двух наборов точек. Первый набор точек указан навигационной указкой 1 на поверхности тела пациента, а второй набор точек получен при трёхмерной реконструкции анатомических моделей, при этом три такие точки отмечены как ключевые. После выполнения регистрации на экране монитора 6, кроме трёхмерных моделей анатомии пациента, отображается трёхмерная модель навигационной указки 1. Положение и ориентация модели указки относительно моделей анатомии пациента соответствует положению физической указки 1 относительно пациента. На этапе хирургического вмешательства, хирург может управлять видимостью и прозрачностью отдельных моделей – кожи, костей, органов, новообразований в них, сосудов, тем самым получая представление об их расположении относительно указки, даже если в операционном поле эти анатомические структуры скрыты от глаз. Хирургу доступны следующие режимы отображения модели навигационной указки: вид на указку 1 и пациента со стороны; вид на пациента из позиции кончика указки 1; вид модели указки на плоских срезах КТ и/или МРТ. Также хирургу доступно измерение кратчайшего расстояния от текущего положения кончика указки 1 до выбранной трёхмерной модели анатомии пациента, например, до новообразования. В ходе операций с системой навигации, после выполнения регистрации, у хирургов часто возникает необходимость регулировки высоты, поворота и конфигурации стола, при этом пациент смещается относительно стереокамеры 4. В таких случаях, чтобы избежать повторное выполнение регистрации, в комплексе может использоваться одно из двух дополнительных устройств – базовый маркер системы координат 2 или ToF-камера, входящая в состав блока камер 3. Базовый маркер системы координат 2 (фиг.5) снабжен набором сферических отражающих маркеров. При изменении положения пациента базовый маркер 2 смещается вместе с пациентом. Программное обеспечение на основе различия между старым и новым положением базового маркера 2 соответствующим образом корректирует матрицу трансформации, полученную в результате первоначальной регистрации, и таким образом исключает потребность в повторной регистрации. ToF-камера входящая в состав блока камер 3 определяет расстояние до ближайшей к ней поверхности на основе известной скорости света и времени между излучением светового сигнала и получением отраженного сигнала. Результатом работы ToF-камеры является карта глубины, которая может быть представлена в виде облака точек. Выполняя сравнение двух облаков точек – до и после перемещения пациента, программное обеспечение сначала рассчитывает матрицу трансформации, соответствующую такому перемещению, а затем с её помощью корректирует матрицу трансформации, полученную в результате первоначальной регистрации, также исключая потребность в повторном проведении регистрации.

Хирургическая операция с использованием дополненной реальности осуществляется следующим образом. После выполнения регистрации, хирург использует навигационную указку 1 для поиска интересующих анатомических структур: точки доступа к ним, направления их расположения относительно точки доступа, расстояния до них, а также для ограничения области хирургического доступа (разъединения тканей). Примерами анатомических структур являются опухоли или гематомы мозга, поражённые аденомой паращитовидные железы, новообразования в канале трубчатых костей, травматические повреждения костей. Хирург перемещает указку 1 по поверхности тела (до начала хирургического доступа) или в операционном поле (в процессе хирургического доступа) и наклоняет её, наблюдая трёхмерную модель указки, линию продолжения указки и трёхмерные модели анатомии пациента на экране или в очках дополненной реальности. Для поиска анатомической структуры, ориентируясь на изображение на экране 6 или в очках дополненной реальности 5 (фиг.6), хирург устанавливает навигационную указку 1 так, чтобы интересующая его анатомическая структура находилась на линии продолжения указки, видит на экране 6 расстояние в миллиметрах до интересующей структуры. Переводя взгляд с экрана 6 на операционное поле и саму указку 1, хирург видит её направление и понимает, что интересующая его анатомическая структура находится в этом направлении, на глубине, соответствующей расстоянию, которое он видел на экране 6. Для ограничения области хирургического доступа, ориентируясь на изображение на экране 6 или в очках дополненной реальности 5, хирург перемещает навигационную указку 1 так, чтобы линия продолжения указки 1 двигалась вдоль контура интересующей его анатомической структуры. При этом указка 1 в руках хирурга двигается по линии проекции интересующей анатомической структуры на поверхность тела, и очерчивает область предстоящего хирургического доступа. Переводя взгляд с экрана 6 на операционное поле, наблюдая движение указки 1 в операционном поле, хирург видит границу области предстоящего хирургического доступа. Использование при операции дополненной реальности не меняет совокупности действий хирурга и последовательности их выполнения, но позволяет уменьшить количество и величину перемещений взгляда хирурга между монитором и операционным полем. При использовании камеры дополненной реальности, входящей в блок камер 3, хирург видит изображение операционного поля за трёхмерными моделями на экране 6, и, если такого изображения достаточно, не перемещать взгляд на операционное поле. При использовании очков дополненной реальности 5, хирург видит изображение моделей через прозрачные объединители очков 5, поверх изображения операционного поля, и может переводить взгляд с операционного поля на модели не поворачивая головы, а только фокусируя взгляд попеременно на операционном поле и на объединителях очков дополненной реальности 5. После определения точки и/или области хирургического доступа хирург приостанавливает использование навигации и выполняет операцию традиционным способом до того момента, когда для продолжения доступа ему становится необходимо уточнить направление или расстояния доступа, выбрать новую точку доступа или скорректировать область доступа. Таким образом, система дополненной реальности доступна хирургу на всём протяжении операции, может быть использована в любой момент, но потребность в её использовании не постоянна, а возникает периодически. При этом необходимость просмотра трёхмерных моделей анатомических структур в ходе операции и необходимость навигации с помощью указки 1 могут возникать независимо друг от друга.

Комплекс оборудования для подготовки и выполнения хирургических операций с использованием дополненной реальности используется следующим образом. Оборудование комплекса размещается в операционной. Базовый маркер системы координат 2 закрепляется к оборудованию операционной, неподвижному относительно операционного поля, например, к черепному зажиму или кронштейнам операционного стола. Хирург надевает очки дополненной реальности 5 и берёт в руки навигационную указку 1. Блок камер 3 размещается над операционным полем, а стереокамера 4 размещается так, чтобы в области её видимости находилось всё оборудование комплекса, оснащённое сферическими отражающими маркерами: навигационная указка 1, базовый маркер системы координат 2, очки дополненной реальности 5, блок камер 3. Конфигурация сферических отражающих маркеров у каждого устройства уникальна, что позволяет программному обеспечению отличать устройства друг от друга на изображениях со стереокамеры. Навигационная указка 1 является медицинским инструментом, для которого требуется регулярная предстерилизационная очистка и стерилизация. Размещение внутри указки камеры с необходимыми для её работы элементами питания и модулями беспроводной передачи данных требует обеспечения герметичности корпуса и увеличения его размеров, добавляя ограничение на время автономной работы. В результате усложняется проектирование и увеличивается стоимость устройства, а удобство использования снижается. По этим причинам в составе комплекса используется пассивная оптическая навигационная указка 1. Очки дополненной реальности 5, так же как и камера дополненной реальности, позволяют хирургу совместить просмотр трёхмерных моделей анатомии пациента и операционного поля. В отличие от камеры дополненной реальности, которая добавляет изображение операционного поля в окно просмотра трёхмерных моделей, очки дополненной реальности позволяют добавить изображение трёхмерных моделей в поле зрения хирурга, смотрящего на операционное поле. Очки дополненной реальности 5 (фиг. 6) состоят из оголовья и блока управления. На оголовье закреплены электронные модули формирования изображения и прозрачные объединители, выполняющие совмещение световых лучей, поступающих извне с лучами, формируемыми модулями очков дополненной реальности 5. Настройка яркости и цветопередачи изображения, формируемого модулями очков, возможна с помощью блока управления. Очки работают в стереоскопическом режиме. Очки 5 снабжены набором сферических отражающих маркеров, позволяющих программному обеспечению на основе изображения со стереокамеры 3 определить положение головы хирурга в системе координат стереокамеры. Матрица трансформации, полученная в результате регистрации, позволяет преобразовать координаты головы и направление взгляда хирурга из системы координат стереокамеры в систему координат томографа, в которой построены все трёхмерные модели анатомии пациента, и отобразить эти модели в очках дополненной реальности 5.

Предложенное техническое решение позволяет сократить время проведения операции за счёт ускорения поиска интересующих анатомических структур и уменьшить травматичность операции за счёт уменьшения области хирургического доступа до минимально необходимых размеров и за счёт поиска интересующих анатомических структур без повреждения тканей. В результате уменьшается количество осложнений и сокращается время на реабилитацию пациента после операции.