ВЕРОЯТНОСТНАЯ ОПТИМИЗАЦИЯ СЕГМЕНТАЦИИ, ОСНОВАННОЙ НА МОДЕЛИ

Настоящее изобретение относится к сегментации изображений. Изобретение находит применение, в частности, в связи с медицинской диагностической визуализацией для определения границ заданных объемов, органов и т.п.

Различные способы диагностической визуализации, например КТ (компьютерная томография), МРТ (магнитно-резонансная томография), ПЭТ (позитронно-эмиссионная томография), ОФЭКТ (однофотонная эмиссионная компьютерная томография) и ультразвуковое исследование, формируют трехмерные изображения внутренних анатомических структур пациента. Разные органы, разные ткани, опухолевые и неопухолевые ткани и т.п. обычно изображаются разными уровнями яркости, при этом упомянутые уровни яркости можно преобразовывать в разные цвета для облегчения различения. Прилегающие органы, объемы тканей и т.п. часто имеют небольшое или незначительное отличие по уровню яркости. Некоторые структуры мягких тканей могут иметь слабый контраст в данных КТ. Упомянутый слабый или неясный контраст делает соответствующие граничные участки только частично видимыми, т.е. неясными и нечетко выраженными.

Для устранения упомянутой проблемы применяли сегментацию, основанную на модели. Обычно некоторые области границы выражены четко, а другие нечетко. В предшествующих методах основанной на модели сегментации разрабатывали библиотеку моделей объекта, например моделей конкретных органов. Упомянутые модели органов обычно совмещали, например поворачивали, изменяли в масштабе и т.п., чтобы совместить с четко выраженными сегментированными границами. Модели органов можно формировать посредством усреднения точно сегментированных вручную сходных объектов или органов, чтобы разработать номинальную модель для объекта или органа.

Один эффективный метод основанной на модели сегментации, предназначенный для подгонки модели к границе, содержит определение модели в виде гибкой треугольной сетки и адаптацию треугольной сетки к границам объекта или органа интереса. Один метод подгонки сеточной модели к текущим данным изображения содержит математическое приложение противоположных сил к сеточной модели. В частности, метод определяет равновесие между внешней энергией, притягивающей сетку к известным элементам изображения, например краям или границам в изображении, и противодействующей, сохраняющей форму внутренней энергией, которая принуждает модель сохранять свою форму.

К сожалению, наложение ограничений на форму модели может быть невыгодно при точном следовании границе структуры или органа интереса. Задача поиска оптимального баланса между двумя энергетическими слагаемыми обычно не проста и может приводить к неоднозначным или нескольким возможным решениям.

Настоящая заявка предлагает усовершенствованный подход, который во многих случаях обеспечивает более точные окончательные результаты сегментации посредством классификации вокселей, расположенных в области около подогнанной сетки, которая представляет зону неопределенности сегментации.

В соответствии с одним аспектом предлагается система для сегментации текущих диагностических изображений. По меньшей мере одна рабочая станция сегментирует объем интереса в ранее сформированных высококонтрастных диагностических изображениях выбранного объема интереса, сформированных для множества других пациентов. По меньшей мере один процессор запрограммирован для совмещения сегментированных, ранее сформированных изображений и объединения сегментированных, ранее сформированных изображений в вероятностную карту, которая отражает вероятность того, что каждый воксель представляет объем интереса, вероятность того, что каждый воксель представляет фон, и среднюю сегментационную границу. Процессор сегментации совмещает вероятностную карту с текущим диагностическим изображением объема интереса в текущем пациенте, чтобы сформировать преобразованную вероятностную карту.

В соответствии с другим аспектом предлагается способ сегментации диагностических изображений. Сегментируют объем интереса в предыдущих диагностических изображениях выбранного объема интереса, сформированных для множества пациентов. Сегментированные предыдущие изображения совмещают, и совмещенные сегментированные предыдущие изображения объединяют в вероятностную карту, которая отражает вероятность того, что каждый воксель представляет объем интереса, вероятность того, что каждый воксель представляет фон, и среднюю сегментационную границу.

В соответствии с другим аспектом предлагается вероятностная карта, формируемая вышеописанным способом.

В соответствии с другим аспектом предлагается материальный машиночитаемый носитель информации, содержащий по меньшей мере одну компьютерную программу для управления по меньшей мере одним процессором, чтобы выполнять вышеописанный способ.

Одно из преимуществ состоит в поддержке полностью автоматизированной точной сегментации.

Другим преимуществом является повышение надежности результатов сегментации.

Другие дополнительные преимущества настоящего изобретения будут понятны специалистам со средним уровнем компетентности в данной области техники после прочтения и изучения нижеследующего подробного описания.

Изобретение может принимать форму различных компонентов и схем компоновок компонентов и различных этапов и компоновок этапов. Чертежи предназначены только для иллюстрации предпочтительных вариантов осуществления и не подлежат истолкованию в смысле ограничения изобретения.

Фиг.1 - схематическое изображение устройства или системы для автоматической сегментации диагностических изображений.

Фиг.2 - схематическое изображение аксиального среза вероятностной карты модели ствола головного мозга.

Фиг.3 - карта, которая отображает воксели, которые безусловно принадлежат стволу головного мозга, воксели, которые безусловно принадлежат фону, и зону неопределенности.

Фиг.4 - блок-схема, которая показывает в виде схемы автоматический способ сегментации изображений.

Фиг.5 - блок-схема, которая показывает в виде схемы способ сегментации изображений с участием оператора.

Как показано на фиг.1, сканер 10 для диагностической визуализации, например сканер КТ, сканер МРТ, сканер ПЭТ, радионуклидный сканер, ультразвуковой сканер или подобное устройство, формирует данные изображения, которые реконструируются процессором 12 реконструкции для формирования текущего 3-мерного диагностического изображения, которое сохраняется в запоминающем устройстве, сегменте памяти или буфере 14.

Как также показано на фиг.1 и дополнительно показано на фиг.2, запоминающее устройство или сегмент памяти 20 хранит библиотеку 3-мерных вероятностных карт 22. Вероятностная карта задает границы объема области 24 интереса, которая, как известно, является частью области или объема интереса, в настоящем примере стволом головного мозга. Область 26 фона задает границы объектов или тканей, которые, как известно, являются фоном, т.е. не являются стволом головного мозга. То есть воксели в области 24 ствола головного мозга имеют 100% вероятность отображения ствола головного мозга и 0% вероятность отображения фона. И, наоборот, воксели в области 26 фона имеют 100% вероятность отображения фона и 0% вероятность отображения ствола головного мозга. Область 28 неопределенности находится между областью 24 ствола головного мозга и областью 26 фона. В области неопределенности каждый воксель обладает вероятностью между 100% и 0%, что он находится в органе или в объекте интереса, например стволе головного мозга, и вероятностью между 0% и 100%, что он находится в фоне.

Для формирования вероятностной карты 22 для ствола головного мозга или другого объема интереса изображения с высоким контрастом, т.е. точно сегментируемыми границами, сегментируют вручную на рабочей станции 30, чтобы задать двоичные маски, в которых всем вокселям, которые соответствуют объему интереса, например стволу головного мозга, присвоено максимальное значение вероятности, например единица, и всем вокселям, которые соответствуют фону, присвоено минимальное значение вероятности, например нуль. Граница между областями минимальной и максимальной вероятности двоичной маски задает границу масок, т.е. сегментационную границу, которая может быть задана поверхностью из треугольной сетки. По меньшей мере один процессор 32 имеет компьютерную подпрограмму 34 совмещения двоичной маски, которая составлена с возможностью совмещения множества двоичных масок и сегментационных границ. То есть двоичные маски изменяют в масштабе для подгонки к пациентам или объектам интереса разного размера, поворачивают, сдвигают и т.п. и, по желанию, упруго деформируют для компенсации, например, изображений, сформированных в разных состояниях движения объекта интереса, чтобы добиться подгонки. По меньшей мере один процессор 32 также запрограммирован или снабжен компьютерной подпрограммой 36 объединения двоичных масок, которая объединяет множество совмещенных двоичных масок. В настоящем примере областям фона, которые заданы как фон всеми двоичными масками, присваивают нулевое значение вероятности, и областям ствола головного мозга, которые всеми двоичными масками заданы как части ствола головного мозга, присваивают значение единица, т.е. определяют как область 24 ствола головного мозга. С учетом относительного местоположения границ во множестве изображений вероятности выше, чем нуль, и ниже, чем единица, присваивают другим вокселям, соответствующим области 28 неопределенности. Например, каждому вокселю в области неопределенности присваивают среднее из его значений на двоичных картах. Если воксель является фоновым, т.е. имеет значение нуль на половине карт, и находится в стволе головного мозга, т.е. имеет значение единица на половине карт, то вокселю присваивают среднее значение или 0,5. Процессор 32 также запрограммирован или снабжен компьютерной подпрограммой 38, которая определяет медианную или среднюю сегментационную границу 40, т.е. среднее, или медианное, или другое усредненное местоположение сегментационных границ всех двоичных масок. Вероятности для каждого вокселя и средняя сегментационная граница задают сегментационную карту 22. Обычно один и тот же приведенный процесс выполняется для множества органов или объемов интереса, чтобы составить библиотеку вероятностных карт, которые пригодны для многочисленных разных местоположений или прикладных задач визуализации.

В одном варианте осуществления процессор 50 основанной на модели сегментации запрограммирован с возможностью содержания компьютерной подпрограммы 52, которая выбирает обычный объем или модель органа из библиотеки 54 моделей и подгоняет к объему или органу интереса. Процессор сегментации дополнительно запрограммирован с возможностью содержания компьютерной подпрограммы 56, которая совмещает среднюю сегментационную границу 40 из вероятностной модели с обычной моделью, и запрограммирован или содержит компьютерную подпрограмму 58, которая определяет преобразование, которое точно совмещает среднюю сегментационную границу с совмещенной обычной моделью. Процессор сегментации также запрограммирован или снабжен компьютерной подпрограммой 60, которая преобразует вероятностную карту в соответствии с упомянутым найденным преобразованием, чтобы точно совместить вероятностную карту с объемом или органом интереса в текущем изображении. Преобразованная вероятностная карта сохраняется в буфере или запоминающем устройстве 62. В альтернативном варианте, вместо применения обычной модели для совмещения 56 на основе модели, в качестве модели можно применить среднюю сегментационную границу из вероятностной карты.

В полностью автоматизированном варианте осуществления классификатор 70, например процессор или компьютерную подпрограмму, сначала обучают классифицировать воксели изображений с учетом свойств изображений, например интенсивности, градиента, текстуры и т.п., как принадлежащие объему или органу интереса, как принадлежащие фону, или вероятности их принадлежности. Классификатор ранее обучали автономно, с использованием фиктивных данных. Использовать можно любой из множества известных методов классификации, например ближайших соседей, машины опорных векторов и т.п. Объем интереса, например, может иметь поверхность с известными свойствами, например гладкую, скругленную, без резких переходов и т.п. Классификатор работает с текущим изображением из буфера 14, чтобы сформировать вероятность того, что каждый воксель принадлежит к фону, или объему, или органу интереса.

Как показано на фиг.3, для экономии времени обработки процесс классификации можно выполнять только для вокселей, соответствующих области 28 неопределенности преобразованной вероятностной карты. Без обработки областей 24, 26, которые были определены посредством вероятностной маски как определенно находящиеся в органе или объеме интереса или в фоне. По желанию, с преобразованной вероятностной картой может работать схема или процессор пороговой обработки, чтобы идентифицировать область 28 неопределенности посредством исключения вокселей с достоверностью нуль или единица, которые представляют 100% вероятность нахождения в органе или объеме интереса и 100% вероятность нахождения в фоне. По желанию, порог можно установить ниже, чтобы классификация выполнялась только для вокселей, которые, как определила вероятностная карта, имеют менее, чем, например, 95% вероятность нахождения в объеме или органе интереса или в фоне.

Процессор или компьютерная подпрограмма 80 объединения запрограммирован с возможностью объединения, попиксельно, вероятности, найденной классификатором 70, и вероятности из преобразованной вероятностной карты 62. Объединение в одном варианте осуществления усредняет вероятности классификации и вероятностной карты для каждого вокселя. Предполагается также возможность применения других методов объединения вероятностей. Например, можно обеспечить операторский элемент управления или первый движок (скользящий маркер) 82, чтобы настраивать относительные весовые коэффициенты для вероятностей классификатора и вероятностной карты. Оператор может избирательно настраивать относительные весовые коэффициенты для настройки пороговой границы. На основании объединенных вероятностей процессор объединения определяет для каждого вокселя, имеет ли он более высокую вероятность нахождения в объеме или органе интереса или в фоне. Определяемая граница сегмента определяется по границе раздела между двумя областями и сохраняется в подходящем запоминающем устройстве или буфере 84.

Процессор 90 изображений запрограммирован или снабжен компьютерной подпрограммой 92, которая объединяет текущее изображение из запоминающего устройства или буфера 14 с найденной сегментационной границей 84, чтобы создать сегментированное изображение. Процессор 90 изображений, по желанию, дополнительно запрограммирован или снабжен компьютерной подпрограммой 94, которая выполняет дополнительную обработку изображений, например подкрашивание, сглаживание и т.п., текущего изображения, объединенного с сегментационной границей, т.е. сегментированного текущего изображения. Сегментированное текущее изображение сохраняется в медицинской базе данных 96 пациентов в составе медицинской карточки пациента. Видеопроцессор 98 выделяет выбранные срезы, 3-мерные представления объема и т.п. из сегментированного изображения 94 и отображает их на удобочитаемом дисплее 100, например видеомониторе.

В полуавтоматизированном варианте осуществления схема, процессор или компьютерная подпрограмма 110 пороговой обработки определяет, выше ли порог, чем вероятность для каждого вокселя преобразованной вероятностной карты. Например, в вышеприведенном примере первоначально можно установить порог 0,5, указывающий, что для вокселя равновероятно нахождение в объеме интереса и в фоне. Процессор или компьютерная подпрограмма 112 задает сегментационную границу по границе раздела между вокселями, которые с большей вероятностью должны находиться в фоне, и вокселями, которые с большей вероятностью должны находиться в объеме или органе интереса. В данном варианте осуществления сегментационная граница 114 подается в подпрограмму 92 процессора изображений, которая объединяет сегментационную границу с текущим изображением. Оператор, просматривающий сегментированное изображение на дисплее 100, использует пользовательское устройство 116 ввода для настройки порога 110, в настоящем примере для сдвига порога 0,5 выше в сторону единицы или ниже в сторону нуля. Когда порог настраивают, граница раздела между объемом или органом интереса и фоном сдвигается и также сдвигается сегментационная граница 114. В одном варианте осуществления оператор перемещает движок мышью для выбора более высоких или сниженных пороговых значений, пока оператор не сочтет достаточной сегментацию, отображаемую на дисплее 100. Как только сегментация оптимизируется оператором, оптимизированная сегментация сохраняется в медицинской базе данных 96 пациентов.

После того как сегментация изображения завершается, сегментированное изображение применяют различным образом. Например, сегментированное изображение можно использовать в системе 120 лучевой терапии для планирования протокола лучевой терапии. Разумеется, предполагается также возможность многих других применений сегментированных изображений.

В вышеприведенном описании следует понимать, что различные процессоры, компьютерные подпрограммы и этапы могут быть исполнены по меньшей мере одним компьютером или процессором. Единственный процессор может выполнять по меньшей мере одну из компьютерных процедур или этапов, и любую по меньшей мере одну компьютерную подпрограмму или любой по меньшей мере один этап можно распределить среди множества компьютерных процессоров. Аналогично, вышеописанные запоминающие устройства, сегменты и буферы могут принимать форму единственного запоминающего устройства большой емкости, распределенных запоминающих устройств и т.п. Кроме того, компьютерная программа для управления по меньшей мере одним процессором с целью формирования сегментированных изображений в соответствии с вышеприведенным описанием может содержаться на компьютерно считываемом носителе информации, в частности материальном носителе информации, например компакт-диске (CD), или универсальном цифровом диске (DVD), или другом портативном запоминающем устройстве, жестком диске, в постоянном компьютерном запоминающем устройстве и т.п. Программа может также передаваться нематериальным носителем информации, например цифровым или аналоговым сигналом или подобным образом.

Как показано на фиг.4, множество изображений выбранной области интереса в каждом из множества пациентов формируют и сегментируют на этапе 130. На этапе 132 множество сегментированных изображений совмещают. На этапе 134 совмещенные изображения объединяют для формирования комбинированного изображения области интереса с множеством наложенных сегментационных границ. Среднюю сегментационную границу определяют на этапе 136. Вероятность того, что каждый воксель находится внутри объема интереса или внутри фона, определяют на этапе 138. Например, все воксели, которые находятся внутри всех наложенных сегментационных границ, назначаются объему интереса, и все воксели, которые находятся снаружи всех наложенных сегментационных границ, присваиваются фону. Вокселям, которые находятся внутри некоторых из сегментационных границ и снаружи остальных сегментационных границ, присваивается вероятность в соответствии с процентным отношением сегментационных страниц, внутри и снаружи которых находится воксель. Например, всем вокселям, которые находятся внутри объема интереса, можно присвоить единичное значение, всем вокселям, которые находятся в фоне, можно присвоить нулевое значение, и всем вокселям, которые находятся внутри некоторых из наложенных сегментационных границ и снаружи остальных сегментационных границ, присваивают дробное значение от нуля до единицы с учетом процентного отношения наложенных сегментационных границ, внутри и снаружи которых находятся упомянутые воксели. На этапе 140 вероятности и среднюю пороговую границу объединяют для формирования вероятностной карты. Вероятностные карты для каждого из множества объемов изображения можно хранить в библиотеке с возможностью вызова для сегментации текущих изображений от текущего пациента.

Когда требуется приготовить сегментированные изображения текущего пациента, то на этапе 150 формируют множество текущих изображений. На этапе 152 из памяти вызывают модель органа и на этапе 154 модель органа подгоняют к текущему изображению. На этапе 156 определяют преобразование, которое совмещает модель органа с текущим изображением. Предполагается возможность применения различных моделей органов, например обычной модели органа, средней сегментационной границы и т.п.

На этапе 160 вероятностную карту преобразуют с использованием найденного преобразования, чтобы сформировать преобразованную вероятностную карту 162, которая представляет вероятность того, что каждый воксель находится в объеме интереса или в фоне. Параллельно на этапе 170 каждый воксель текущего изображения классифицируют с учетом свойств изображения, например интенсивности, градиента, текстуры и т.п., и, на основании свойств изображения, присваивают вероятность того, что воксель принадлежит объему интереса или фону.

На этапе 180 повоксельно объединяют вероятности из преобразованной вероятностной карты и вероятности, полученные на основании классификации. На этапе 182 формируют сегментационную границу для области интереса в текущем изображении на основании объединенных вероятностей. Например, все воксели, которые находятся в объеме интереса с вероятностью выше, чем предварительно выбранный или настраиваемый порог, относят к объему интереса, а воксели, которые ниже порога, относят к фону. Граница раздела представляет сегментационную границу объема интереса. В вышеприведенном примере, в котором объему интереса присваивают единичное значение, а фону присваивают нулевое значение, порог можно установить равным, например, 0,5.

На этапе 190 сегментационную границу объединяют с текущим изображением, например накладывают на него, чтобы сформировать сегментированное текущее изображение. На этапе 192 сегментированное текущее изображение сохраняют в памяти, например в медицинской базе данных пациентов. На этапе 194 сегментированное текущее изображение отображают на мониторе или другом дисплее, удобном для просмотра врачом.

Как показано на фиг.5, в режиме с участием оператора вероятностную карту сегментируют методом пороговой обработки на этапе 200. В вышеупомянутом примере, в котором объем интереса имеет единичное значение и фон имеет нулевое значение, первоначально можно установить порог, например, 0,5. На этапе 202 сегментационную границу задают как границу раздела между вокселями, которые с большей вероятностью находятся в области интереса, и вокселями, которые с большей вероятностью находятся в фоне, например имеют вероятность выше или ниже 0,5. На этапе 204 сегментационную границу накладывают на сформированное текущее изображение 150, чтобы сформировать сегментированное текущее изображение. На этапе 206 сегментированное текущее изображение отображают для радиолога или другого медицинского специалиста. На этапе 208 радиолог или другой медицинский специалист просматривает отображенное сегментированное изображение и определяет, удовлетворяет ли сегментация требованиям. Если сегментация на этапе 210 является удовлетворительной, то сегментированное текущее изображение сохраняют, например, в медицинской базе данных пациентов. Если сегментированное изображение не удовлетворяет требованиям, то радиолог или другой медицинский специалист настраивает порог на этапе 212. Когда порог настраивают, то этап 202 задания сегментационной границы переопределяет сегментационную границу, при этом переопределенная сегментационная граница налагается на текущее изображение на этапе 204 и отображается на этапе 206. Приведенная процедура настройки итерационно продолжается, пока радиолог или другой медицинский специалист не сочтет сегментацию достаточной.

Выше приведено описание изобретения со ссылкой на предпочтительные варианты осуществления. После прочтения и изучения вышеприведенного подробного описания другими специалистами могут быть созданы модификации и внесены изменения. Предполагается, что настоящее изобретение следует интерпретировать как включающее в себя все подобные модификации и изменения в такой степени, насколько они не выходят за пределы объема притязаний прилагаемой формулы изобретения или ее эквивалентов.