СЕГМЕНТАЦИЯ АНАТОМИЧЕСКОЙ СТРУКТУРЫ НА ОСНОВЕ МОДЕЛИ

ОБЛАСТЬ ТЕХНИКИ

[001] Настоящее изобретение относится к системе и способу сегментации анатомической структуры на медицинском изображении на основе модели. Кроме того, настоящее изобретение относится к рабочей станции и устройству визуализации, содержащему предложенную систему, а также к компьютерному программному продукту, содержащему инструкции, вызывающие выполнение процессорной системой предложенного способа.

УРОВЕНЬ ТЕХНИКИ

[002] Достоверная автоматическая сегментация различных анатомических структур на медицинском изображении является основным средством улучшения клинических рабочих процессов. В настоящем документе термин "сегментация" относится к идентификации анатомической структуры на медицинском изображении, например путем очерчивания границ анатомической структуры, маркировки вокселов, заключенных в пределах границ, и т.д. После такой сегментации можно извлечь, например в отношении структуры сердца, такие клинические параметры, как масса желудочков, фракция выброса и толщина стенок. При наложении на медицинское изображение или ином нанесении на медицинское изображение, сегментация также может обеспечивать возможность аннотирования анатомической структуры на медицинском изображении.

[003] Известно, что сегментация анатомической структуры на медицинском изображении может быть выполнена вручную. Например, пользователь, использующий графический интерфейс пользователя, может очертить границы анатомической структуры на медицинском изображении. К сожалению, такая ручная сегментация занимает много времени, является трудоемкой операцией и, в конечном счете, может привести к ошибкам.

[004] Кроме того, известна автоматическая сегментация анатомической структуры на медицинском изображении с использованием модели. Сегментация такого типа также называется сегментацией на основе модели. Модель может быть определена данными о модели. Данные о модели могут определять геометрические характеристики анатомической структуры, например, в форме сетки из треугольников или в форме (компактно отобранного) облака точек. В случае модели на основе сетки, вариабельность формы у разных пациентов или на разных стадиях заболевания может быть смоделирована путем выполнения аффинного преобразования каждой части сетки. Аффинные преобразования включают переход, вращение, масштабирование по различным осям координат и сдвиг. Равномерность сетки может поддерживаться путем интерполяции аффинных преобразований в переходах между различными частями модели. Такие аффинные преобразования часто используют в качестве компонента в так называемых «деформируемых» моделях.

[005] Подгонка модели к данным о медицинском изображении может включать технологию адаптации, также называемую «адаптацией сетки», в случае модели на основе сетки. Таким образом, такое применение также называется «адаптацией». Технология адаптации может оптимизировать энергетическую функцию на основании уровня внешней энергии, которая адаптирует модель к данным об изображении, и уровня внутренней энергии, которая поддерживает жесткость модели.

[006] Модели вышеописанного типа, а также других типов, сами по себе известны, поскольку они представляют собой различные технологии адаптации для применения таких моделей к медицинскому изображению.

[007] Например, в публикации под названием «Автоматическая сегментация сердца на изображениях КТ на основании модели» авторов О. Экаберт и др., Бюллетень Института инженеров по электротехнике и радиоэлектронике по медицинской визуализации, 2008 г., 27(9), стр. 1189-1201 (“Automatic Model-based Segmentation of the Heart in CT Images” by O. Ecabert et al., IEEE Transactions on Medical Imaging 2008, 27(9), pp. 1189-1201) описан подход на основе модели автоматической сегментации сердца из трехмерных изображений, полученных методом компьютерной томографии.

РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

[008] Время от времени алгоритмы автоматической сегментации могут приводить к ошибочным результатам сегментации. В частности, если для сегментации анатомических структур доступны различные модели, автоматические алгоритмы могут давать ошибку при выборе модели. В итоге, результаты сегментации могут быть недостаточно оптимальными и, таким образом, обладать ограниченной значимостью или ее отсутствием в различных вариантах применения, в том числе, но без ограничения, при извлечении клинических параметров, использовании в качестве аннотирования изображений, использовании в качестве опорных данных правдоподобия при обучении сегментации на основе модели и т.д.

[009] Таким образом, было бы предпочительно создать систему или способ сегментации анатомической структуры, устраняющие один или более из вышеописанных недостатков.

[0010] Следующие аспекты настоящего изобретения включают интерактивное обозначение пользователем ограниченного набора граничных точек анатомической структуры на виде медицинского изображения. Сам по себе набор граничных точек может быть рассмотрен в качестве недостаточной сегментации анатомической структуры на медицинском изображении, однако его также используют для выбора модели сегментации из множества различных моделей сегментации. Выбор основан на показателе степени соответствия между граничными точками и каждой моделью сегментации. Например, для сегментации анатомической структуры может быть выбрана и использована модель с наилучшим соответствием.

[0011] В первом аспекте настоящего изобретения предложена система для сегментации анатомической структуры, содержащая:

- интерфейс данных об изображении для получения доступа к данным об изображении, представляющим медицинское изображение, содержащее анатомическую структуру, подлежащую сегментации;

- интерфейс данных о модели для получения доступа к данным о модели, определяющим множество моделей для сегментации анатомических структур, каждая из которых по меньшей мере частично представлена в виде набора координат в системе координат; и

- подсистему взаимодействия с пользователем, содержащую:

i) выход для дисплея для отображения вида медицинского изображения на дисплее, и

(ii) вход для пользовательского устройства для приема входных команд от пользовательского устройства, управляемого пользователем,

причем подсистема взаимодействия с пользователем выполнена так, что она обеспечивает пользователю возможность отметить набор граничных точек анатомической структуры на указанном виде с получением, таким образом, набора координат в системе координат, связанной с указанным видом,

- процессор для выбора одной или более из указанного множества моделей для сегментации анатомической структуры на медицинском изображении путем:

j) определения степени соответствия между указанным набором граничных точек и каждой из указанного множества моделей исходя из сравнения соответствующих координат с получением, таким образом, показателей степени соответствия; и

jj) выбора одной или более моделей из указанного множества моделей на основании указанного множества показателей степени соответствия с получением, таким образом, одной или более выбранных моделей.

[0012] Еще в одном аспекте настоящего изобретения предложена рабочая станция или устройство визуализации, содержащая или содержащее вышеописанную систему.

[0013] Еще в одному аспекте настоящего изобретения предложен способ сегментации анатомической структуры, включающий:

- получение доступа к данным об изображении, представляющим медицинское изображение, содержащее анатомическую структуру, подлежащую сегментации;

- получение доступа к данным о модели, определяющим множество моделей для сегментации анатомических структур, каждая из которых по меньшей мере частично представлена в виде набора координат в системе координат, и

- использование подсистемы взаимодействия с пользователем, обеспечивающей пользователю возможность отмечать набор граничных точек анатомической структуры на виде медицинского изображения с получением, таким образом, набора координат в системе координат, связанной с указанным видом,

- выбор одной или более из указанного множества моделей для сегментации анатомической структуры на медицинском изображении путем:

j) определения степени соответствия между указанным набором граничных точек и каждой из указанного множества моделей исходя из сравнения соответствующих координат с получением, таким образом, множества показателей степени соответствия, и

jj) выбора одной или более из указанного множества моделей на основании указанного множества показателей степени соответствия с получением, таким образом, одной или более выбранных моделей.

[0014] Еще в одном аспекте настоящего изобретения предложен компьютерный программный продукт, содержащий инструкции, вызывающие выполнение процессорной системой предложенного способа.

[0015] Вышеуказанные меры включают получение медицинского изображения. Медицинское изображение может быть получено с помощью различных механизмов визуализации, в том числе, но без ограничения, с помощью ультразвуковой визуализации, компьютерной томографии, магнитно-резонансной томографии и т.д. Кроме того, обеспечивают получение данных о модели, которые определяют множество моделей для сегментации анатомических структур. Модели могут определять тот же тип анатомической структуры, что показан на медицинском изображении. Анатомическая структура может представлять собой, например, орган, систему органов, в частности часть органа, и т.д. В результате, модели могут быть размещены для сегментации сердца, головного мозга, желудка и т.д. Однако такие модели также могут представлять собой модели для различных анатомических структур. Модели могут иметь различные формы, в том числе, но без ограничения, могут представлять собой сеточные модели, модели на основе облака точек и т.д.

[0016] Пользователь имеет возможность интерактивного указания набора граничных точек анатомической структуры на виде. Такой набор может представлять собой ограниченный набор в том смысле, что он может не обеспечивать полное очерчивание анатомической структуры на виде. Кроме того, на виде может быть показана только часть всех границ анатомической структуры. В результате, сам набор граничных точек может быть рассмотрен в качестве недостаточной сегментации анатомической структуры на медицинском изображении. Однако набор граничных точек используют для выбора по меньшей мере одной модели для сегментации анатомической структуры. Выбор основан на следующем: вычисляют показатель степени соответствия между отмеченными пользователем граничными точками и каждой моделью, и указанную по меньшей мере одну модель выбирают путем сравнения значений степени соответствия. Например, могут быть выбраны одна или более моделей, обеспечивающих наилучшую степень соответствия. Показатель степени соответствия основан на сравнении соответствующих координат, ссылаясь на сравнение координат конкретной модели с таковыми из набора граничных точек. Такое сравнение может указывать на то, насколько хорошо конкретная модель геометрически совпадает с набором граничных точек, что затем может быть выражено в качестве показателя степени соответствия.

[0017] Благодаря вышеуказанным мерам пользователь, путем указания на ограниченный набор граничных точек анатомической структуры на виде медицинского изображения, может обуславливать выбор модели для сегментации всей анатомической структуры. Таким образом, пользователю не нужно очерчивать всю анатомическую структуру, что может отнимать много времени и, в итоге, привести к ошибкам, а также ему не требуется алгоритм сегментации для автономного выбора модели сегментации, что может привести к ошибочному выбору. По сути, участие пользователя ограничено тем, что он должен обеспечить ограниченный набор граничных точек, которые сами не служат для сегментации, а только для выбора модели сегментации анатомической структуры. Благодаря такому упрощению работы пользователь может быстро выполнить сегментацию. В частности, пользователю может быть достаточно отметить граничные точки только на ограниченном виде медицинского изображения, например на одном или более срезах, с получением, таким образом, только двухмерного или ограниченного трехмерного набора граничных точек. Авторами настоящего изобретения было обнаружено, что такой ограниченный набор граничных точек по-прежнему может быть эффективным образом сопоставлен, например с трехмерной моделью, путем подходящего показателя степени соответствия.

[0018] В одном варианте реализации изобретения процессор выполнен с возможностью подгонки одной или более выбранных моделей к анатомической структуре на медицинском изображении, что обеспечивает получение одной или более подогнанных моделей. Таким образом, одна или более выбранных моделей подогнаны к анатомической структуре на медицинском изображении, тем самым обеспечивая сегментацию или аннотирование анатомической структуры. Следует отметить, что подгонка может быть основана на отмеченных пользователем граничных точках, например, путем использования граничных точек в качестве целевых точек при выполнении регистрации с сопоставлением модели и медицинского изображения.

[0019] В одном варианте реализации изобретения процессор выполнен с возможностью, когда модели выбраны и подогнаны, идентификации области геометрической вариации между множеством подогнанных моделей, а подсистема взаимодействия с пользователем выполнена с возможностью обеспечения визуальной обратной связи пользователю о месте расположения области геометрической вариации. Данный аспект заявленного изобретения относится к следующему. Набор граничных точек, изначально указанных пользователем, может давать выбор множества моделей. Например, абсолютный уровень и/или относительная разница степени соответствия нескольких моделей могут быть недостаточными для выбора только одной модели. Следовательно, множество моделей могут быть выбраны и подогнаны к медицинскому изображению. После подгонки, может быть участок, в котором модели находятся в соответствии, например, путем геометрического совмещения. Однако также может иметь место участок, в котором модели не находятся в соответствии, то есть может иметь место геометрическая вариация между множеством подогнанных моделей. Такая геометрическая вариация может указывать на то, что одна или более моделей могут быть плохо подогнаны. Благодаря обеспечению пользователю визуальной обратной связи о месте расположения области геометрической вариации, пользователь может учитывать данную информацию.

[0020] В одном варианте реализации изобретения подсистема взаимодействия с пользователем выполнена так, что она обеспечивает пользователю возможность корректировки набора граничных точек, удаления граничной точки из набора граничных точек и/или добавления граничной точки в набор граничных точек на основании визуальной обратной связи с получением, таким образом, откорректированного набора граничных точек, а процессор выполнен с возможностью повторного выбора одной или более моделей из множества моделей на основании откорректированного набора граничных точек. Пользователь может, на основании визуальной обратной связи о местоположении области геометрической вариации, модифицировать исходный набор граничных точек, например, путем добавления, удаления или более точного расположения граничных точек на участке геометрической вариации. Это может обеспечивать возможность повторного выбора одной или более моделей, которые лучше совпадают с конкретным участком и тем самым, в случае выбора и подгонки множества моделей, приводят к меньшей геометрической вариации.

[0021] В одном варианте реализации изобретения подсистема взаимодействия с пользователем выполнена с возможностью, при обеспечении визуальной обратной связи пользователю о местоположении области геометрической вариации, отображения дополнительного вида медицинского изображения, представляющего местоположение области геометрической вариации на медицинском изображении. Участок геометрической вариации может не быть, или быть плохо видимым на исходном виде медицинского изображения. За счет отображения дополнительного вида медицинского изображения, на котором лучше показан данный участок, пользователю обеспечивается улучшенная визуальная обратная связь. Преимущественно, при модификации набора граничных точек, пользователь не ограничен исходным видом, а вместо этого может добавлять граничные точки на дополнительный вид или перемещать их в его сторону.

[0022] В одном варианте реализации изобретения процессор выполнен с возможностью выбора одной или более из множества моделей на основании соответствующего показателя степени соответствия, превышающего пороговое значение степени соответствия. Таким образом, выбор основан на определении пороговых значений для показателей степени соответствия.

[0023] В одном варианте реализации изобретения процессор выполнен с возможностью, при определении степени соответствия, определения строгого преобразования между набором граничных точек и каждой из множества моделей. За счет определения строгого преобразования между набором граничных точек и каждой из множества моделей, каждая из моделей может быть выровнена с отмеченными пользователем граничными точками и, тем самым, с анатомической структурой на медицинском изображении. Поскольку граничные точки считают достоверными, они при указании пользователем только в ограниченном количестве могут служить в качестве достоверных целевых точек при выполнении регистрации с сопоставлением медицинским изображением. Определение строгого преобразования может включать минимизацию измерения расстояния между набором граничных точек и каждой из множества моделей. После этого, показатель степени соответствия может быть определен как величина расстояния, представляющая расстояние, оставшееся между граничными точками и каждой моделью после строгого преобразования.

[0024] В одном варианте реализации изобретения процессор выполнен с возможностью применения одной или более выбранных моделей к анатомической структуре на медицинском изображении на основании соответствующего строгого преобразования. Строгое преобразование может быть использовано при применении модели к медицинскому изображению анатомической структуры, поскольку оно выравнивает модель с граничными точками.

[0025] В одном варианте реализации изобретения медицинское изображение является трехмерным медицинским изображением, вид является двухмерным представлением трехмерного медицинского изображения, а множество моделей являются трехмерными моделями. Таким образом, пользователю обеспечена возможность указания граничных точек на одном или более двухмерных видов без необходимости указывать граничные точки в трех пространственных координатах. Это обеспечивает меньшие затраты времени при указании граничных точек.

[0026] В одном варианте реализации изобретения каждая из множества моделей представлена по меньшей мере частично поверхностной сеткой.

[0027] В одном варианте реализации изобретения процессор выполнен с возможностью определения степени соответствия на основании сопоставления точки с поверхностью из набора граничных точек соответствующей поверхностной сетке каждой из множества моделей. Сопоставление точки с поверхностью, также известное как регистрация точки с поверхностью, известно само по себе из области компьютерного зрения и компьютерной графики, и может преимущественно использоваться при определении степени соответствия для каждой из моделей.

[0028] В одном варианте реализации изобретения подсистема взаимодействия с пользователем выполнена так, что она обеспечивает пользователю возможность аннотирования медицинского изображения с использованием одной или более подогнанных моделей.

[0029] Специалистам в данной области техники следует понимать, что два или более из вышеуказанных вариантов реализации, вариантов осуществления и/или аспектов настоящего изобретения могут быть скомбинированы любым образом, считающимся полезным.

[0030] Модификации и вариации устройства визуализации, рабочей станции, способа и/или компьютерного программного продукта, которые соответствуют описанным модификациям и вариациями системы, могут быть осуществлены специалистом в данной области техники на основании настоящего описания.

[0031] Специалисту в данной области техники будет ясно, что способ может быть применен к данным о многомерном изображении, например к двухмерным (2D), трехмерным (3D) или четырехмерным (4D) изображениям, полученным с помощью различных средств получения, таких как, без ограничения, стандартная рентгеновская визуализация, компьютерная томография, магнитно-резонансная томография, ультразвуковое исследование, позитронно-эмиссионная томография, однофотонная эмиссионная компьютерная томография и ядерная медицина.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0032] Эти и другие аспекты изобретения будут очевидны и разъяснены со ссылкой на варианты реализации, описанные ниже. На чертежах:

[0033] На фиг. 1 показана система для сегментации анатомической структуры на основе ограниченного набора указанных пользователем граничных точек;

[0034] На фиг. 2 изображено множество моделей, данные о которых хранятся в базе данных;

[0035] На фиг. 3 изображен пользователь, использующий интерактивную пользовательскую систему для указания набора граничных точек анатомической структуры на виде медицинского изображения;

[0036] На фиг. 4 показан результат определения соответствия набора граничных точек, указанных пользователем, и первой модели из базы данных;

[0037] На фиг. 5 показан результат определения соответствия набора граничных точек, указанных пользователем, и второй модели из базы данных, при этом вторая модель имеет лучшую степень соответствия граничным точкам по сравнению с первой моделью;

[0038] На фиг. 6 показан способ сегментации анатомической структуры на основе ограниченного набора указанных пользователем граничных точек; и

[0039] На фиг. 7 изображен компьютерочитаемый носитель информации, содержащий инструкции, вызывающие выполнение процессорной системой предложенного способа.

[0040] Следует отметить, что элементы, которые имеют одинаковое ссылочное обозначение на различных фигурах, имеют одинаковые структуры признаки и одинаковые функции, или представляют собой одинаковые сигналы. Если функция и/или структура такого элемента была разъяснена, необходимость в повторном ее объяснении при подробном описании отсутствует.

ПЕРЕЧЕНЬ ССЫЛОЧНЫХ ОБОЗНАЧЕНИЙ

[0041] Следующий перечень ссылочных обозначений приведен для упрощения интерпретации чертежей и его не следует рассматривать в качестве ограничения пунктов формулы изобретения.

020 хранилище изображений

022 данные о медицинском изображении

024 вид медицинского изображения

030 анатомическая структура

040 база данных модели

042 данные о модели

060 дисплей

062 данные дисплея

080 пользовательское устройство

082 входные команды

100 система для сегментации анатомической структуры

120 интерфейс данных об изображении

140 интерфейс данных о модели

160 процессор

162 передача данных на подсистему взаимодействия с пользователем или от нее

180 подсистема взаимодействия с пользователем

182 выход для дисплея

184 вход для пользовательского устройства

200 первая модель

210 вторая модель

300 отмеченные пользователем граничные точки

302, 304 граничные точки, отмеченные в качестве ключевых точек

400 способ сегментации анатомической структуры

410 получение доступа к данным об изображении

415 сохранение моделей в базе данных

420 получение доступа к данным о модели

430 получение отмеченных пользователем граничных точек

440 определение степени соответствия моделей

450 выбор модели на основании степени соответствия

460 компьютерочитаемый носитель

470 инструкции, хранящиеся в виде некратковременных данных.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0042] На фиг. 1 показана система 100 для сегментации анатомической структуры на медицинском изображении на основании ограниченного набора отмеченных пользователем граничных точек. Такая система может быть использована в различных медицинских целях, в том числе, но без ограничения при аннотировании изображений. Система 100 по существу включает интерактивное указание пользователем ограниченного набора граничных точек анатомической структуры на виде медицинского изображения. Сам по себе набор граничных точек может быть рассмотрен в качестве недостаточной сегментации анатомической структуры на медицинском изображении, но его также используют для выбора модели сегментации из множества различных моделей сегментации. Выбор основан на показателе степени соответствия между граничными точками и каждой моделью сегментации. Например, для сегментации анатомической структуры может быть выбрана и использована модель с наилучшим соответствием.

[0043] Система 100 содержит интерфейс 120 данных об изображении для получения доступа к данным 022 о медицинском изображении. Медицинское изображение содержит анатомическую структуру, подлежащую сегментации. В примере, изображенном на фиг. 1, интерфейс 120 данных об изображении показан соединенным с внешним хранилищем 020 изображений. Например, хранилище 020 изображений может представлять собой или может являться частью системы архивации и передачи изображений (САПИ) больничной информационной системы (БИС), с которой может быть соединена система 100 или в которой она может содержаться. Следовательно, система 100 может получать доступ к данным 022 о медицинском изображении. В целом, интерфейс 120 данных об изображении может принимать различные формы, такие как сетевой интерфейс для локальной или глобальной вычислительной сети, например, сети Интернет, интерфейс хранения для внутреннего или внешнего хранилища данных и т.д.

[0044] Следует отметить, что по всему данному тексту и в местах, где это применимо, ссылку на медицинское изображение следует понимать в качестве ссылки на данные о медицинском изображении.

[0045] Кроме того, система 100 содержит интерфейс 140 данных о модели для получения доступа к данным 042 о модели, определяющим множество моделей для сегментации анатомических структур. Данные 142 о модели могут определять каждую модель любым подходящим образом, таким как сетка из треугольников, облако точек и т.д. В результате, каждая модель по меньшей мере частично может быть представлена виде набора координат в системе координат. В примере, изображенном на фиг. 1, интерфейс 120 данных о модели показан соединенным с внешней базой 040 данных. Однако база 040 данных также может представлять собой внутреннюю базу данных. В целом, база 040 данных может быть распространена, например, с помощью хранилища данных на основании диска, такого как жесткий диск, полупроводниковое хранилище данных, такое как память ОЗУ или ПЗУ, съемный носитель информации, вставленный в устройство для считывания носителя информации и т.д. Интерфейс 140 данных о модели может быть интерфейсом типа, который соответствует таковому базы 040 данных.

[0046] Кроме того, система 100 содержит подсистему 180 взаимодействия с пользователем, которая содержит выход 182 для дисплея и вход 184 для пользовательского устройства. Выход 182 для дисплея выполнен с возможностью отображения визуальных выводных данных системы 100 на дисплее 060, что по меньшей мере включает отображение вида медицинского изображения. В настоящем документе термин «вид» относится к визуализации всего медицинского изображения или его части. Например, медицинское изображения может представлять собой объемное трехмерное изображение, а вид может представлять собой многоплоскостной рендеринг или другую объемную визуализацию объемного трехмерного изображения. Другой пример заключается в том, что медицинское изображения может представлять собой набор (stack) срезов, а вид может соответствовать одному из срезов. Еще один пример заключается в том, что вид представляет собой лишь визуализацию двухмерного медицинского изображения. В равной степени возможны различные другие визуализации медицинского изображения. Для отображения вида на дисплее 060 показано, что выход 182 для дисплея выдает данные 062 дисплея на дисплей.

[0047] Вход 184 для пользовательского устройства выполнен с возможностью приема входных команд 082 от пользовательского устройства 080, которым управляет пользователь. Пользовательское устройство 080 может быть выполнено по-разному, в том числе, но без ограничения, в виде компьютерного манипулятора-мыши, сенсорного экрана, клавиатуры и т.д. Вход 184 для пользовательского устройства может быть устройством любого типа, соответствующего таковому пользовательского устройства 080. В совокупности, выход 182 для дисплея и вход 184 для пользовательского устройства могут формировать подсистему 180 взаимодействия с пользователем, обеспечивающую пользователю возможность отмечать набор граничных точек анатомической структуры на виде, например, путем подходящего управления пользовательским устройством 080 для управления экранным курсором и для «нажатия» на границу анатомической структуры с обозначением, таким образом набора граничных точек. После этого граничные точки могут быть доступны системе, например, в виде набора координат.

[0048] Кроме того, система 100 содержит процессор 160 для выбора одной или более из множества моделей на основании отмеченного пользователем набора граничных точек. После этого выбранная(ые) модель(и) может(могут) быть использована(ы) для сегментации анатомической структуры на медицинском изображении, например для того, чтобы служить в качестве аннотации анатомической структуры, для использования при дальнейшем автоматическом анализе и т.д. Для выбора модели(ей), процессор 160 выполнен с возможностью определения степени соответствия между набором граничных точек и каждой из множества моделей на основании сравнения соответствующих координат с получением таким образом множества показателей степени соответствия, и выбора одной или более из множества моделей на основании показателей степени соответствия, что обеспечивает получение одной или более выбранных моделей. Например, процессор 160 может выбирать модель(и), у которой (которых) показатель степени соответствия превышает пороговое значение. После выбора модели(ей) они могут быть подогнаны к анатомической структуре на медицинском изображении с обеспечением, таким образом, одной или более сегментаций анатомической структуры.

[0049] Следует отметить, что различные варианты работы системы 100, в том числе различные ее рабочие аспекты, будут разъяснены более подробно со ссылкой на фиг. 3-5.

[0050] Система 100 может быть реализована в качестве автономного устройства или аппарата, такого как рабочая станция или устройство визуализации, или в нем. Устройство или аппарат может содержать один или более микропроцессоров, которые исполняют соответствующее программное обеспечение. Программное обеспечение может быть загружено и/или сохранено в соответствующем запоминающем устройстве, например, энергозависимом запоминающем устройстве, таком как ОЗУ, или энергонезависимом запоминающем устройстве, таком как флеш-накопитель. В качестве альтернативы, функциональные блоки системы могут быть реализованы в устройстве или аппарате в форме программируемой логической схемы, например, в качестве программируемой пользователем вентильной матрицы (ППВМ). В целом, каждый функциональный блок системы может быть реализован в форме схемы. Следует отметить, что система 100 также может быть реализована распространенным образом, например, с привлечением различных устройств или аппаратов. Например, распространение может быть выполнено в соответствии с моделью клиент-сервер.

[0051] На фиг. 2 изображено множество моделей, хранящихся в базе данных в виде данных о модели, при этом показана первая модель 200 и вторая модель 210, хранящиеся 415 в виде данных 042 о модели в базе 040 данных. Модели могут принимать любую форму, являющуюся подходящей для сегментации анатомических объектов, что само по себе известно из области сегментов медицинских изображений. Например, модели могут представлять собой сеточные модели, модели на основе облака точек, могут представлять собой двухмерные модели или трехмерные модели, и т.д.

[0052] На фиг. 3-5 представлен пример работы системы, изображенной на фиг. 1, при этом на фиг. 3 изображен пользователь, использующий систему взаимодействия с пользователем для обозначения набора граничных точек анатомической структуры на виде медицинского изображения. А именно, как показано со ссылкой на фиг. 3(i), пользователю может быть предоставлено 024 медицинского изображения на дисплее, при этом на виде показана по меньшей мере часть анатомической структуры 030, в том числе по меньшей мере часть границы анатомической структуры. Как показано со ссылкой на фиг. 3(ii), пользователь может отметить набор граничных точек 300 на границе анатомической структуры, например, путем нажатия экранным курсором 064 на соответствующие положения на экране или другим действием пользователя с графическим интерфейсом. Как показано со ссылкой на фиг. 3(iii), в конкретном варианте реализации пользователь также может пометить одну или более граничных точек 300 в качестве ключевых точек, отмеченных на фиг. 3(iii) черными точками 302, 304. Такие ключевые точки 302, 304 могут представлять собой граничные точки, которые считаются точными, например, за счет обращения пользователем особого внимания на их расположение, за счет границы, которая особенно четко определена в указанных точках, и т.д. В качестве альтернативы ключевым точкам, пользователь также может указать значение «достоверности соответствия» (certainty-of-fit) для конкретной граничной точки. Однако пользователь также может воздержаться от обозначения такой достоверности и вместо этого лишь отметить множество граничных точек без ввода данных, характеризующих достоверность.

[0053] Как показано на фиг. 3, пользователь может указать точки, которые относительно равномерно распределены вдоль границы анатомической структуры. Как будет описано со ссылкой на фиг. 4 и 5, это может способствовать определению степени соответствия между набором граничных точек и моделью. Однако пользователю не требуется указывать точки, которые распределены равномерно.

[0054] На фиг. 4 изображена степень соответствия, определяемая между набором граничных точек 300, отмеченных пользователем, и первой моделью 200 из базы данных. Следует отметить, что очертания анатомической структуры показаны пунктирной линией, которой соединены граничные точки 300. Однако очертание показано лишь для упрощения интерпретации фиг. 4, а также фиг. 5. А именно, на данной стадии только ограниченный набор граничных точек может быть доступен процессору и не полное (еще не полное) очерчивание анатомической структуры.

[0055] На фиг. 4(i), 4(ii), 4(iii) и 4(iv) показано, что граничные точки 300 могут быть нанесены на первую модель 200 различными способами. Выражаясь вкратце, процессор может итеративно определять различные геометрические преобразования между набором граничных точек и моделью, выбирать наилучшее и учитывать степень соответствия данного наилучшего геометрического преобразования с последующим выбором или отсутствием выбора конкретной модели. Такие геометрические преобразования могут быть, например, строгими преобразованиями, ограниченными упругими преобразованиями и т.д. Определение преобразований известно само по себе из различных областей, таких как регистрация изображений, регистрация модели с сопоставлением с изображением, регистрация сетки и т.д. В результате, при определении преобразования между набором граничных точек и моделью, специалист в данной области техники может использовать технологии регистрации изображений, известные в данных областях техники. Простой подход может представлять собой исчерпывающий подход в том смысле, что могут быть оценены все возможные преобразования. Такой подход может быть ограничен дополнительным требованием в том смысле, что может быть необходимо нанесение ключевых точек (отмеченных черным цветом) на поверхнсть первой модели 200. Далее может быть вычислена степень соответствия на основании измерения расстояния, примененного к оставшимся неключевым граничным точкам. Как можно увидеть на подчиненных фиг. (i)-(iv), различные геометрические преобразования в целом дают низкую степень соответствия. Геометрическое преобразование, изображенное на подчиненной фиг. (iii), по-прежнему может учитываться в качестве наилучшей подгонки и, таким образом, его наилучшая степень соответствия может учитываться при последующем выборе или отсутствии выбора первой модели 200.

[0056] На фиг. 5 изображена степень соответствия, определенная между тем же набором граничных точек 300, как показано на фиг. 4, но теперь относительно второй модели 210 из базы данных. Как можно увидеть на фиг. 5 и, в частности, на подчиненной фиг. (iv), вторая модель 210 в целом лучше совпадает с набором граничных точек 300. Геометрическое преобразование, изображенное на подчиненной фиг. (iv), может учитываться в качестве наилучшей подгонки и, таким образом, его степень соответствия может учитываться при последующем выборе или отсутствии выбора второй модели 210.

[0057] После определения степени соответствия первой модели 200 и второй модели 210 и, возможно, других моделей, одна или более моделей может быть выбрана на основании их соответствующих показателей степени соответствия. Например, процессор может выбрать вторую модель 210 на основании того, ее показатель степени соответствия превышает таковой у первой модели 200. Кроме того, процессор может выбирать как первую модель 200, так и вторую модель 210 на основании того, что их соответствующие показатели степени соответствия превышают пороговое значение степени соответствия.

[0058] В целом, после выбора множества моделей на основании их степени соответствия, система может итеративно улучшать выбор следующим образом. А именно, выбранные модели могут быть подогнаны к медицинскому изображению, например, с использованием строгого преобразования, как определено ранее. Далее может быть идентифицирован участок геометрической вариации между множеством подогнанных моделей. Это может, например, включать определение, для каждой точки наилучшей совпадающей модели, наиболее близкой точки к каждой из других выбранных моделей, и затем - вычисление среднего расстояния между указанными точками. После этого, подсистема взаимодействия с пользователем может обеспечивать пользователю визуальную обратную связь о месте расположения области геометрической вариации. Такая визуальная обратная связь может включать отображение дополнительного вида медицинского изображения, которое оптимальным образом показывает участок геометрической вариации, и визуальное выделение указанного участка, например, посредством цветной сферы или другого средства визуализации. Пользователю может быть обеспечена возможность корректировки набора граничных точек на основании визуальной обратной связи, например, путем корректировки, удаления и/или добавления одной или более граничных точек из/в набор граничных точек. Далее, процессор может повторно выбрать одну или более из множества моделей на основании откорректированного набора граничных точек. Следовательно, система может итеративно улучшать выбор модели с участием пользователя, например, путем итеративного «сужения» до выбора наилучшей модели подгонки.

[0059] Следует отметить, что определение преобразования между набором граничных точек и моделью может включать сопоставления точки к поверхности, например, с использования итеративного алгоритма наиболее близких точек. Здесь, для каждой отмеченной пользователем граничной точки, может быть определена наиболее близкая точка модели, например, путем полного поиска, геометрического хэширования или преобразования расстояния. После этого могут быть определены параметры строгого преобразования, что минимизирует расстояние между всеми отмеченными пользователем граничными точками и соответствующей наиболее близкой точкой модели. После этого, показатель степени соответствия может представлять собой оставшуюся, т.е. «окончательную» ошибку точки к поверхности.

[0060] Следует понимать, что заявленное изобретение может быть преимущественно использовано для выбора трехмерной модели на основании отмечения пользователем граничных точек на двухмерном виде трехмерного медицинского изображения. Однако это не является ограничением в том смысле, что трехмерная модель также может быть выбрана на основании отмечения пользователем граничных точек на трехмерном виде, или на множестве двухмерных видов, или в том смысле, что двухмерная модель может быть выбрана на основании обозначения пользователем граничных точек на двухмерном видах и т.д.

[0061] Следует также отметить, что в дополнение к отмеченным пользователем граничным точкам, при определении степени соответствия с каждой из множества моделей также могут быть использованы одна или более сгенерированных компьютером граничных точек. Сгенерированные компьютером граничные точки могут быть сгенерированы с помощью алгоритма из или на основании отмеченных пользователем граничных точек и могут быть эффективным образом использованы для увеличения отмеченных пользователем граничных точек, тем самым получая увеличенный набор граничных точек, подлежащих использованию при определении степени соответствия с каждой из множества моделей. Например, для генерирования с целью добавления дополнительных точек в набор отмеченных пользователем граничных точек может быть использован алгоритм, называемый «live-wire», как описано в статье под названием «Концепция сверхбыстрой управляемой пользователем сегментации изображения: динамический live wire» авторов Фалькао и др., Бюллетень Института инженеров по электротехнике и радиоэлектронике по медицинской визуализации, том 19, издание 1, стр. 55-62 (‘An ultra-fast user-steered image segmentation paradigm: live wire on the fly’ by Falcao, A.X. et al, in IEEE Transactions on Medical Imaging, Vol. 19, Issue 1, pp. 55 – 62). В качестве входных данных для указанного алгоритма live wire, а также в целом, отмеченные пользователем граничные точки могут быть обозначены в форме линейных сегментов или других геометрических элементов.

[0062] Пример варианта использования может быть следующим. Здесь, модель выбирают с целью аннотирования анатомической структуры на медицинском изображении. Пользователь может предоставлять исходную информацию в форме указанных координат на двухмерном виде. Эти координаты могут эффективным образом представлять указанную пользователем двухмерную модель анатомической структуры. Эти координаты могут быть использованы для направления запроса на заранее определенные трехмерные модели в базу данных. Трехмерная модель с наиболее близким подобием к введенным вручную координатам может быть импортирована в программное обеспечение для аннотирования и выровнена с медицинским изображением в соответствии с наилучшей подгонкой к введенным вручную координатам. При оценке подгонки трехмерной модели к медицинскому изображению, если подгонка меньше порогового значения, пользователю может быть направлен запрос на добавление координат на двухмерную модель, так что альтернативную трехмерную модель подгоняют к медицинскому изображению. Если подгонка трехмерной модели превышает пороговое значение, медицинское изображение после этого может быть аннотировано с использованием выбранной трехмерной модели.

[0063] На фиг. 6 показан способ 400 сегментации анатомической структуры на основании ограниченного набора отмеченных пользователем граничных точек. Способ 400 включает, на операции под названием «ПОЛУЧЕНИЕ ДОСТУПА К ДАННЫМ ОБ ИЗОБРАЖЕНИИ», получение 410 доступа к данным об изображении, представляющим собой медицинское изображение, содержащее анатомическую структуру, подлежащую сегментации. Кроме того, способ 400 включает, на операции под названием «ПОЛУЧЕНИЕ ДОСТУПА К ДАННЫМ О МОДЕЛИ», получение 420 доступа к данным о модели, определяющим множество моделей для сегментации анатомических структур, причем каждая из множества моделей по меньшей мере частично представлена в виде набора координат в системе координат. Кроме того, способ 400 включает, на операции под названием «ПОЛУЧЕНИЕ ОТМЕЧЕННЫХ ПОЛЬЗОВАТЕЛЕМ ГРАНИЧНЫХ ТОЧЕК», использование подсистемы взаимодействия с пользователем, обеспечивая пользователю возможность отметить набор граничных точек анатомической структуры на виде медицинского изображения, тем самым получая 430 набор координат в системе координат, связанной с этим видом. Кроме того, способ 400 включает выбор одной или более из множества моделей для сегментации анатомической структуры на медицинском изображении путем, на операции под названием «ОПРЕДЕЛЕНИЕ СТЕПЕНИ СООТВЕТСТВИЯ МОДЕЛЕЙ», определения 400 степени соответствия между набором граничных точек и каждой из множества моделей на основании сравнения соответствующих координат с получением, таким образом, множества показателей степени соответствия, а на операции под названием «ВЫБОР МОДЕЛИ НА ОСНОВАНИИ СТЕПЕНИ СООТВЕТСТВИЯ» - выбор 450 одной или более из множества моделей на основании указанного множества показателей степени соответствия, что обеспечивает получение одной или более выбранных моделей.

[0064] Следует понимать, что вышеуказанные операции могут быть выполнены в любом подходящем порядке, например, последовательно, одновременно или в комбинации, с соблюдением, где применимо, конкретного необходимого порядка, например, с помощью соотношений вход-выход.

[0065] Способ 400 может быть реализован на компьютере в качестве реализуемого с помощью компьютера способа, в виде аппаратного обеспечения специального назначения, или в виде их комбинации. Как также изображено на фиг. 7, инструкции для компьютера, например, исполнимый код, могут храниться на компьютерочитаемом носителе 460 информации, например, в форме ряда 470 машиночитаемых физических меток и/или в виде ряда элементов, обладающих различными электрическими, например, магнитными или оптическими свойствами или величинами. Исполнимый код может храниться кратковременным или некратковременным образом. Примеры компьютерочитаемых носителей информации включают запоминающие устройства, оптические запоминающие устройства, интегральные схемы, серверы, программное обеспечение, работающиее в режиме онлайн, и т.д. На фиг. 7 показан оптический диск 460.

[0066] Следует понимать, что настоящее изобретение также применимо к компьютерным программам, в частности, компьютерным программам на носителе или в нем, выполненным с возможностью реализации настоящего изобретения на практике. Программа может быть в форме исходного кода, объектного кода, промежуточного источника кода и объектного кода, как в частично компилированной форме, или в любой другой форме, подходящей для использования при реализации способа в соответствии с настоящим изобретением. Следует также понимать, что такая программа может иметь много различных архитектурных исполнений. Например, программный код, реализующий функционал способа или системы в соответствии с настоящим изобретением, может быть подразделен на одну или более подпрограмм. Специалисту в данной области техники будет ясно множество различных путей распространения функционала по данным подпрограммам. Подпрограммы могут храниться вместе в одном исполнимом файле для формирования независимой программы. Такой исполнимый файл может содержать исполняемые с помощью компьютера инструкции, например, инструкции процессора и/или инструкции интерпретатора (например, инструкции интерпретатора языка Java). В качестве альтернативы, одна или более или все подпрограммы могут храниться по меньшей мере в одном файле внешней библиотеки и связаны с основной программой статическим или динамическим образом, например, по времени счета. Основная программа содержит по меньшей мере один вызов по меньшей мере одной из подпрограмм. Кроме того, подпрограммы могут содержать вызовы функции друг друга. Вариант реализации, относящийся к компьютерному программному продукту, содержит исполняемые с помощью компьютера инструкции, соответствующие каждой стадии обработки по меньшей мере одного из способов, изложенных в настоящем документе. Эти инструкции могут быть подразделены на подпрограммы и/или могут храниться в одном или более файлов, которые могут быть связаны статическим или динамическим образом. Еще один вариант реализации, относящийся к компьютерному программному продукту, содержит исполняемые с помощью компьютера инструкции, соответствующие каждому средству по меньшей мере одной из систем и/или продуктов, изложенных в настоящем документе. Эти инструкции могут быть подразделены на подпрограммы и/или могут храниться в одном или более файлов, которые могут быть связаны статическим или динамическим образом.

[0067] Носитель компьютерной программы может представлять собой объект или устройство, выполненное с возможностью хранения программы. Например, носитель может включать хранилище данных, такое как ПЗУ, например, компакт-диск, или полупроводниковое ПЗУ, или магнитный носитель информации, например, жесткий диск. Кроме того, носитель может представлять собой передаваемый носитель, такой как электрический или оптический сигнал, который может передаваться по электрическому или оптическому кабелю или по радиосвязи или по другим средствам. При реализации программы в виде такого сигнала, носитель может представлять собой такой кабель или другое устройство или средство. В качестве альтернативы, носитель может представлять собой интегральную схему, в которую встроена программа, при этом интегральная схема выполнена с возможностью осуществления релевантного способа или используется при его выполнении.

[0068] Следует отметить, что вышеуказанные варианты реализации иллюстрируют, а не ограничивают настоящее изобретение, и специалист в данной области техники сможет реализовать широкий ряд альтернативных вариантов реализации без выхода за рамки объема прилагаемой формулы изобретения. В пунктах формулы изобретения, любые ссылочные обозначения, заключенные в скобки, не следует считать ограничением пункта формулы изобретения. Использование глагола «содержит» и его спряжений не исключает наличия элементов или стадий, отличных от указанных в пункте формулы изобретения. Грамматический показатель единственного числа перед элементом не исключает наличия множества таких элементов. Настоящее изобретения может быть реализовано посредством аппаратного обеспечения, содержащего несколько разных элементов, а также посредством подходящим образом запрограммированного компьютера. В пункте формулы изобретения на устройство, в котором перечислено несколько средств, несколько из этих средств могут быть реализованы одним и тем же элементом аппаратного обеспечения. Сам по себе тот факт, что некоторые меры перечислены во взаимно отличающихся зависимых пунктах, не означает, что комбинация этих мер не может быть с успехом использована.