СИСТЕМА И СПОСОБ ИНТЕРАКТИВНОЙ LIVE-MESH-СЕГМЕНТАЦИИ

Уровень техники

Сегментация - это процесс выделения анатомических конфигураций из изображений. Многие приложения в медицине требуют сегментации стандартных анатомических структур в объемных изображениях, полученных с помощью компьютерной томографии, магнитно-резонансного исследования и других видов медицинской визуализации. Врачи-клиницисты или другие специалисты часто используют сегментацию для составления плана лечения. Сегментация может выполняться вручную, когда врач-клиницист изучает отдельные срезы изображений и вручную обрисовывает двумерные контуры соответствующего органа в каждом срезе. Обрисованные вручную контуры далее объединяются для создания трехмерного представления соответствующего органа. В качестве альтернативы, врач-клиницист может использовать алгоритм автоматической сегментации для исследования срезов изображений и определения двумерных контуров соответствующего органа без своего участия.

Сегментация с использованием обрисованных вручную контуров в срезах изображений, однако, требует больших затрат времени и обычно обеспечивает точность лишь примерно до двух-трех миллиметров. При обрисовывании вручную контуров врачи-клиницисты часто изучают большое количество изображений. Помимо этого контуры, обрисованные вручную разными врачами-клиницистами, могут отличаться. Кроме того, автоматические алгоритмы часто недостаточно надежны, чтобы решить все стандартные задачи сегментации. Внесение изменений в результаты, полученные с помощью автоматических алгоритмов, может оказаться сложным и парадоксальным.

Результатом использования многих алгоритмов автоматической сегментации является построение трехмерной поверхности, представленной в виде сетки, состоящей из множества треугольников. Чтобы внести изменения в полученный результат, таким образом, необходимо иметь интуитивно-понятные инструменты для взаимодействия сеток. Некоторые подходы к взаимодействию сеток, такие как, например, заданное в явном виде смещение вершин, часто приводят к тому, что сетки имеют «рваные» поверхности либо большие треугольники/многоугольники в определенных областях. Кроме того, поскольку предпочтительно вносить изменения в двумерный переформатированный вид среза изображения, нежелательные изменения изображения часто возникают на удалении от переформатированной плоскости.

Раскрытие изобретения

Способ сегментации анатомической структуры. Способ включает в себя запуск алгоритма сегментации, который приводит к построению поверхностной сетки анатомической структуры из ряда объемных изображений, при этом поверхностная сетка образована множеством многоугольников, включающих в себя вершины и ребра, присвоение упругого элемента каждому из ребер и точечной массы каждой из вершин поверхностной сетки, отображение 2D-переформатированного вида, включающего в себя 2D-вид поверхностной сетки и анатомической структуры, добавление растяжных упругих элементов к поверхностной сетке, причем добавление растяжных упругих элементов основано на выбранной точке, расположенной на поверхности поверхностной сетки, а также перемещение участка поверхностной сетки через точку интерактивного взаимодействия.

Система выполнения сегментации анатомической структуры имеет процессор, запускающий алгоритм сегментации, который приводит к построению поверхностной сетки анатомической структуры из ряда объемных изображений, при этом поверхностная сетка образована множеством многоугольников, включающих в себя вершины и ребра, и присваиванию упругого элемента каждому из ребер и точечной массы каждой из вершин поверхностной сетки, дисплей для отображения 2D-переформатированного вида, включающего в себя 2D-вид поверхностной сетки и анатомической структуры, а также интерфейс пользователя, выполненный с возможностью предоставления пользователю возможности добавлять растяжные упругие элементы к поверхностной сетке, причем добавление растяжных упругих элементов основано на выбранной точке, расположенной на поверхности поверхностной сетки, а также перемещать участок поверхностной сетки через точку интерактивного взаимодействия.

Машиночитаемый носитель для хранения информации, включающий в себя набор инструкций, выполняемых процессором. Набор инструкций выполнен с возможностью запуска алгоритма сегментации, который приводит к построению поверхностной сетки анатомической структуры из ряда объемных изображений, при этом поверхностная сетка образована множеством многоугольников, включающих в себя вершины и ребра, присваивает упругий элемент каждому из ребер и точечную массу каждой из вершин поверхностной сетки, отображает 2D-переформатированный вид, включающий в себя 2D-вид поверхностной сетки и анатомической структуры, добавляет растяжные упругие элементы к поверхностной сетке, причем добавление растяжных упругих элементов основано на выбранной точке, расположенной на поверхности поверхностной сетки, а также перемещает участок поверхностной сетки через точку интерактивного взаимодействия.

Краткое описание чертежей

На фиг.1 показан схематичный вид системы в соответствии с примерным вариантом осуществления.

На фиг.2 показана блок-схема алгоритма реализации способа в соответствии с примерным вариантом осуществления.

На фиг.3 показана блок-схема алгоритма реализации способа в соответствии с альтернативным вариантом осуществления.

На фиг.4 показана блок-схема алгоритма реализации способа в соответствии с другим вариантом осуществления.

На фиг.5 показан вид в перспективе участка поверхностной сетки в соответствии с примерным вариантом осуществления.

Осуществление изобретения

Примеры вариантов осуществления, изложенные в настоящем описании, можно будет далее понять, воспользовавшись последующим описанием и прилагаемыми чертежами, на которых схожие элементы обозначены одинаковыми ссылочными позициями. Примеры вариантов осуществления относятся к системе и способу выполнения сегментации стандартных анатомических структур в объемных изображениях, полученных с помощью компьютерной томографии, магнитно-резонансной визуализации и т.п. В частности, в примерах вариантов осуществления описан способ внесения изменений в приближенную сегментацию на двумерном (2D) переформатированном виде интуитивно-понятным образом. Специалисты в данной области техники поймут, что хотя в примерах вариантов осуществления описана сегментация некоторого органа, следующие системы и способы могут быть использованы для сегментации любой трехмерной (3D) анатомической структуры из объемных изображений.

Согласно одному примеру варианта осуществления на фиг.1, система 100 способна вносить изменения в первоначальную сегментацию органа или другой анатомической структуры. Система 100 содержит процессор 102, способный реализовать алгоритм сегментации на ряде объемных изображений (например, полученных с помощью магнитно-резонансной визуализации и компьютерной томографии) для выполнения начальной сегментации. Работа алгоритма сегментации осуществляется в автоматическом режиме (без участия пользователя) либо в полуавтоматическом режиме для выполнения начальной сегментации. При работе в автоматическом режиме алгоритм сегментации проводит анализ срезов изображений и определяет двумерные контуры соответствующего органа на срезе изображения без участия пользователя для выполнения начальной сегментации. В полуавтоматическом режиме работы пользователь может выбрать деталь контура или изображения, после чего алгоритм может выполнить начальную сегментацию на основе этого выбора. Начальная сегментация представлена поверхностной сеткой. Процессор 102 дополнительно выполнен с возможностью интерпретации пользовательского ввода через пользовательский интерфейс 104 системы 100. Система 100 дополнительно содержит дисплей 106 для отображения поверхностной сетки, а также запоминающее устройство 108 для хранения, по меньшей мере, одного из следующих элементов: алгоритма сегментации, объемных изображений или изображения начальной поверхностной сетки. Запоминающее устройство 108 может представлять собой любой известный тип машиночитаемого носителя для хранения информации. Специалисты в данной области техники поймут, что система 100 представляет собой персональный компьютер, сервер или любое другое устройство для обработки данных.

Как показано на фиг.2, способ 200 содержит запуск алгоритма сегментации, осуществляемый на этапе 210, для выполнения начальной сегментации изображения органа либо другой анатомической структуры в ряд объемных изображений. Начальная сегментация представлена поверхностной сеткой, состоящей из треугольников/многоугольников, образованных вершинами и ребрами. На фиг.5 показан пример участка поверхностной сетки, содержащей вершины и ребра. Специалисты в данной области техники поймут, что поверхностная сетка служит в качестве модели или «осредненного» органа, который можно интерактивно изменить через пользовательский интерфейс 104. На этапе 220 процессор 102 дополнительно создает объемную сетку, которая содержится в поверхностной сетке, так что вершины и ребра объемной сетки не выходят за границы вершин и ребер поверхностной сетки, построенной по алгоритму сегментации. Объемная сетка включает в себя вершины и ребра, соответствующие каждой из вершин и каждому из ребер поверхностной сетки.

На этапе 230 процессор 102 присваивает вершинам и ребрам поверхностной сетки точечные массы и упругие элементы соответственно. Каждое ребро поверхностной сетки соответствует упругому элементу, а каждая вершина поверхностной сетки соответствует точечной массе. Длина каждого упругого элемента в состоянии покоя может по существу равняться длине соответствующего ребра поверхностной сетки. В упрощенном варианте каждая точечная масса обладает единичной массой, а каждый упругий элемент имеет одинаковый коэффициент упругости. Однако специалисты в данной области техники поймут, что масса и коэффициент упругости могут изменяться согласно предшествующим сведениям об органе или другой анатомической структуре, которые представляет поверхностная сетка. Например, некоторые части органа или другой анатомической структуры могут обладать меньшей гибкостью или большей жесткостью, чем другие части. Кроме того, могут быть добавлены силы изображения (image forces) путем взвешивания точечных масс вершин на основе градиента изображения, при этом граница объекта отображается таким образом, что большие точечные массы назначаются вершинам, расположенным в тех местах, где градиент изображения больше, тем самым предотвращая ненужное перемещение, когда вершина соответствует поверхности изображаемого органа. На этапе 240 на дисплее 106 отображается 2D-переформатированный вид. 2D-переформатированный вид включает в себя 2D-вид поверхностной сетки вместе с изображаемым органом. Специалисты в данной области техники поймут, что 2D-переформатированный вид представляет собой изображение из ряда объемных изображений, переформатированное с тем, чтобы представить 2D-вид как поверхностной сетки, так и изображаемого органа. Специалисты в данной области техники также поймут, что поверхностная сетка отображается в том положении, которое соответствует положению изображаемого органа в отображаемом изображении.

Как только поверхностной сетке должным образом присвоены точечные массы и упругие элементы, к поверхностной сетке добавляются растяжные упругие элементы для интерактивного изменения поверхностной сетки. На этапе 250 выбирается точка на поверхности поверхностной сетки. Точка на поверхности поверхностной сетки выбирается пользователем через пользовательский интерфейс 104. Например, пользовательский интерфейс 104 включает в себя мышь, которую можно использовать для указания точки на поверхностной сетке и щелчка кнопкой в этой точке на поверхностной сетке. По альтернативному варианту пользовательский интерфейс 104 может включать в себя сенсорный интерфейс, так что выбор точки может осуществляться касанием точки на поверхности поверхностной сетки на дисплее 106. Пользователь выбирает точку либо случайным образом, либо в соответствии с участком поверхности, который пользователь хотел бы откорректировать или изменить. Выбранная точка служит точкой интерактивного взаимодействия.

В альтернативном варианте осуществления выбранная точка может представлять собой характерную точку на поверхности поверхностной сетки, которая может быть идентифицирована процессором 102 или пользователем через пользовательский интерфейс 104. Специалисты в данной области техники поймут, что идентификация характерных точек позволит добавить к поверхностной сетке силы изображения. Например, процессор 102 может идентифицировать характерные точки, которые показывают типовые характеристики точки (например, характеристику угла) или контура (например, характеристику градиента), так что размещение курсора мыши в окрестности характерной точки приведет к тому, что курсор мыши «захватит» характерную точку, тем самым осуществляя выбор характерной точки. Специалисты в данной области техники поймут, что пользователь может выбрать более одной точки на поверхности поверхностной сетки. Специалисты в данной области техники также поймут, что выбранные точки могут быть установлены (например, согласно характерным точкам) так, чтобы поддаваться изменению пользователем.

На этапе 260 процессор реализует метод быстрой прогонки (fast-marching method) на поверхностной сетке, начиная от точки, выбранной пользователем. Специалисты в данной области техники поймут, что метод быстрой прогонки - способ определения граничных значений. Метод прогонки присваивает метку времени каждой из вершин на поверхностной сетке, при этом метка времени для каждой вершины определяется расстоянием, на котором находится вершина от выбранной точки. Таким образом, вершинам, находящимся дальше от выбранной точки, присваивается метка большего времени, а вершинам, находящимся ближе к выбранной точке, присваивается метка меньшего времени. Метод прогонки может также учитывать локальную ориентацию многоугольников (например, треугольников) на поверхности поверхностной сетки. Например, различия в нормалях к поверхности могут повлечь более значительные затраты времени. После того как метод прогонки осуществлен, на этапе 270 на основе временного порога осуществляется выбор участка поверхностной сетки. Например, выбранный участок включает в себя все многоугольники, достижимые за определенный отрезок времени. Специалисты в данной области техники поймут, что временной порог может быть задан пользователем заранее. Таким образом, процессор 102 может автоматически осуществить выбор участка согласно заранее заданному порогу. Специалисты в данной области техники также поймут, однако, что участок может быть выбран пользователем на основе порога, определенного пользователем в процессе работы.

На этапе 280 растяжной упругий элемент присоединяется к каждой из вершин на данном участке. Растяжной упругий элемент присоединяется к каждой вершине так, чтобы первый конец растяжного упругого элемента присоединялся к вершине поверхностной сетки, в то время как второй конец растяжного упругого элемента присоединялся к соответствующей вершине объемной сетки. Длина в состоянии покоя каждого растяжного упругого элемента равна нулю. Коэффициент упругости каждого растяжного упругого элемента взвешивается согласно соответствующей метке времени, присвоенной соответствующей вершине. Например, растяжные упругие элементы, находящиеся на более близком расстоянии, могут иметь меньший весовой коэффициент. По альтернативному варианту вершинам, метка времени которых выше, могут соответствовать большие массы, либо вершины могут быть зафиксированы так, чтобы они не могли перемещаться. Специалисты в данной области техники поймут, что большие массы или фиксирование вершин так, чтобы вершины не могли перемещаться, не допускают интуитивно-непонятных изменений в отношении поверхностной сетки вдали от выбранной точки интерактивного взаимодействия. Специалисты в данной области техники также поймут, что этап 270 не является обязательным. Там, где участок не выбирается, растяжной упругий элемент просто присоединяется от выбранной точки к вершине, ближайшей к вершине поверхностной сетки, которая является ближайшей к выбранной точке.

На этапе 290 пользователь интерактивно перемещает поверхность поверхностной сетки через точку интерактивного взаимодействия. Точка интерактивного взаимодействия может представлять собой точку, выбранную на этапе 250. Точка интерактивного взаимодействия может также представлять собой характерную точку, показывающую типовые характеристики точки (например, характеристику угла) или контура (например, характеристику градиента). Точка интерактивного взаимодействия перемещается в требуемое местоположение. Требуемое местоположение может представлять собой соответствующую точку на поверхности изображаемого органа в 2D-переформатированном виде. Специалисты в данной области техники поймут, что если точка интерактивного взаимодействия располагается рядом с характерной точкой, характерная точка может быть удалена, чтобы обеспечить возможность перемещения точки интерактивного взаимодействия. В процессе интерактивного взаимодействия решающая программа непрерывно находит решение уравнения Ньютона для каждой вершины поверхностной сетки, так что перемещение выбранной точки приводит к перемещению поверхности поверхностной сетки через растяжные упругие элементы, присоединенные к каждой из вершин. Поскольку каждому растяжному упругому элементу может быть присвоен различный коэффициент упругости на основе метки времени, специалисты в данной области техники поймут, что каждая вершина может перемещаться на различные расстояния, так что поверхность поверхностной сетки перемещается интуитивно-понятным образом. Расстояние, на которое переместится каждая из вершин, рассчитывается с использованием уравнения Ньютона, F=ma, где a=d (dx/dt), при этом F - сила, действующая на вершину, m - масса вершины, а x - координата вершины. Таким образом, специалисты в данной области техники поймут, что расстояние, на которое перемещается каждая из вершин, определяется расстоянием от выбранной точки (т.е. точки интерактивного взаимодействия). В процессоре 102 используется любая стандартная решающая программа, например, такая как Эйлера и Рунге-Кутта, заранее загруженная в запоминающее устройство 108 системы 100 или как-то иначе доступная для применения. Специалисты в данной области техники поймут, что этапы 250-290 могут повторяться, пока поверхностная сетка не будет изменена так, как требуется.

В альтернативном варианте осуществления точка интерактивного взаимодействия на этапе 290 выбирается на основе формы поверхностной сетки. Например, там, где поверхностная сетка имеет неровности, выбирается неровный угол поверхностной сетки, при этом определяется карта расстояний (distance map) концов угла и производится вычитание, чтобы уменьшить неровность края. В еще одном варианте осуществления точкой интерактивного взаимодействия на этапе 290 является управляемый шарик или точка, перемещаемая пользователем через интерфейс 104 пользователя. Управляемый шарик может быть двумерным или трехмерным, создающим поле сил притяжения/отталкивания, так что любая из вершин, которая оказывается в пределах сферической поверхности управляемого шарика, притягивается или отталкивается, чтобы переместить вершину в соответствии с движением управляемого шарика. Например, силы притяжения/отталкивания определяются по формуле:

если |r|≤rmax в остальных случаях,

где x - координата управляемого шарика, r_max - радиус управляемого шарика, ε=±1, при этом r=x-c, где c - центр управляемого шарика.

На фиг.3 показан способ 300, который по существу идентичен способу 200, описанному выше. Способ 300 отличается выбором пользователем точек интерактивного взаимодействия. Этапы 310-340 по существу те же, что этапы 210-240 в способе 200. Способ 300 содержит запуск алгоритма сегментации, осуществляемый на этапе 310, который выполняет начальную сегментацию по аналогии с тем, что описано на этапе 210 способа 200. Данная начальная сегментация позволяет построить поверхностную сетку, состоящую из вершин и ребер. На этапе 320 создается объемная сетка в пределах поверхностной сетки, полученной при начальной сегментации. На этапе 330 процессор 102 присваивает каждой из вершин поверхностной сетки точечную массу, а каждому из ребер - упругий элемент. На этапе 340 на дисплее 106 отображается 2D-переформатированный вид 2D-вида поверхностной сетки вместе с 2D-видом изображаемого органа, так что пользователь может определить изменения, которые требуется выполнить на поверхностной сетке.

На этапе 350 пользователь обрисовывает 2D-контур изображаемого органа. 2D-контур может быть обрисован с использованием инструментальных средств рисования, таких как, например, Livewire, которые позволяют пользователю обрисовать контур на основе точек, выбранных на поверхности изображаемого органа. Средство Livewire применяется пользователем для вычерчивания соединительных линий между всеми точками, которые требуется обрисовать на поверхности изображаемого органа. Специалисты в данной области техники поймут, что чем больше точек выбрано на поверхности изображаемого органа, тем точнее будет построен 2D-контур изображаемого органа. Таким образом, специалистам в данной области техники ясно, что пользователь может выбрать столько точек на поверхности изображаемого органа, сколько требуется.

Точки 2D-контура далее соединяются с точками на поверхности поверхностной сетки, что выполняется на этапе 355. Для каждой из точек 2D-контура пользователь выбирает точку на поверхности поверхностной сетки, с которой 2D-контур должен быть соединен. На этапе 360 для каждой из выбранных точек на поверхности поверхностной сетки процессор 102 реализует метод прогонки, как и на этапе 260, присваивая метки времени каждой из вершин на поверхностной сетке. Этапы 360-390 по существу идентичны этапам 260-290, описанным выше в отношении способа 200. Таким образом, на этапе 370 на основе временного порога осуществляется выбор участка, а на этапе 380 к каждой из вершин на выбранном участке присоединяются растяжные упругие элементы. Специалисты в данной области техники поймут, что этап 370 не является обязательным. Если участок не выбран, растяжной упругий элемент может быть добавлен от точки 2D-контура до вершины поверхностной сетки, ближайшей к точке 2D-контура, что выполняется на этапе 380. На этапе 390 процессор 102 производит расчеты по уравнению Ньютона для каждой из вершин, к которой присоединен растяжной упругий элемент, для определения расстояния, на которое вершина переместится, когда выбранная точка на поверхности поверхностной сетки соединится с точками на 2D-контуре. Специалисты в данной области техники поймут, что этапы 360-390 могут повторяться для каждой из точек на поверхности поверхностной сетки, выбранных пользователем для соединения с точками на 2D-контуре.

В другом варианте осуществления, как показано на фиг.4, способ 400 содержит отображение 2D-переформатированного вида изображаемого органа или иной анатомической структуры на дисплее 106, что выполняется на этапе 410. На этапе 420 пользователь обрисовывает 2D-контур изображаемого органа. 2D-контур обрисовывается, например, с использованием инструментальных средств рисования, таких как, например, Livewire, которые позволяют пользователю обрисовать контур на основе точек, выбранных на поверхности изображаемого органа. Средство Livewire применяется пользователем для вычерчивания соединительных линий между всеми точками, которые требуется обрисовать на поверхности изображаемого органа. Специалисты в данной области техники поймут, что чем больше точек выбрано на поверхности изображаемого органа, тем точнее будет построен 2D-контур изображаемого органа. Таким образом, специалистам в данной области техники ясно, что пользователь может выбрать столько точек на поверхности изображаемого органа, сколько требуется.

По альтернативному варианту для детектирования 3D-края и элементов используется фильтр Дерише, так что на изображении устанавливаются очертания структур, и процессор 102 определяет 2D-контур. Фильтр Дерише распознает величины элементов, которые далее подвергаются интерполяции в процессе поиска элементов, так что контуры структур приобретают отчетливый вид.

На этапе 430 процессор 102 снижает качество изображения обрисованного 2D-контура, например, путем снижения четкости 2D-контура, так что края становятся размытыми. Специалисты в данной области техники поймут, что снижение качества изображения 2D-контура делает края 2D-контура менее четкими, увеличивая при этом толщину обрисованного 2D-контура. Далее процессор 102 осуществляет построение карты расстояний для толщины 2D-контура, обладающего пониженным качеством изображения, что выполняется на этапе 440, измеряя расстояние между внешними и внутренними краями 2D-контура, обладающего пониженным качеством изображения. На этапе 450 карта расстояний используется для нормализации 2D-контура, обладающего пониженным качеством изображения, с использованием, например, гауссова распределения, так что точки 2D-контура в пределах карты расстояний «подтягиваются» в градиентном направлении нормализации на этапе 460. Перемещение точек в пределах карты расстояний создает гладкую поверхность 2D-контура, более близкую к поверхности изображаемой структуры. Специалисты в данной области техники поймут, что этапы 420-460 могут повторяться многократно, пока 2D-контур не станет достаточно близким к поверхности изображаемого органа.

Следует отметить, что примеры вариантов осуществления или части примеров вариантов осуществления могут быть реализованы в виде набора инструкций, хранимых в машиночитаемом запоминающем носителе, при этом набор инструкций выполняется процессором.

Специалистам в данной области техники должно быть ясно, что в представленные в настоящем описании структуру и методологию могут быть внесены различные изменения и доработки. Предполагается, что настоящее раскрытие охватывает любое изменение или доработку при условии, что они входят в объем притязаний прилагаемой формулы изобретения.

Следует также отметить, что формула изобретения может включать в себя ссылочные позиции согласно Правилу 6.2(b) PCT. Однако настоящую формулу изобретения не следует рассматривать как ограниченную примерами вариантов осуществления согласно ссылочным позициям.