ПРОЦЕСС ИНТЕРАКТИВНОЙ СЕГМЕНТАЦИИ ДОЛЕЙ ЛЕГКОГО, ПРОВОДИМОЙ С УЧЕТОМ НЕОДНОЗНАЧНОСТИ

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству для последующей обработки двухмерных (2D) изображений поперечных срезов, к способу последующей обработки двухмерных изображений поперечных срезов, к компьютерному программному элементу и к машиночитаемому носителю.

Уровень техники

В компьютерной медицинской диагностике инструменты сегментации используются для сегментации изображений медицинских объектов на подобъекты, представляющие соответствующие физиологические признаки объекта. Примерами являются инструменты сегментации для диагностики хронической обструктивной болезни легких (COPD) и рака легких, которые используются для сегментирования объема компьютерного томографического (CT) изображения левого или правого легкого на доли легкого.

Известны полностью автоматизированные алгоритмы сегментации, но они не всегда приводят к желаемым результатам. Сегментация, произведенная таким образом, затем должна быть просмотрена и скорректирована или отредактирована, что нередко может быть затруднительным. Это особенно справедливо для сегментации в более чем двух измерениях.

WO2009157946 описывает автоматическую сегментацию изображений с использованием распространения контура.

US2008/0260221 раскрывает сегментацию патологических изменений на трехмерных (3D) цифровых изображениях.

Раскрытие изобретения

Таким образом, может существовать потребность в обеспечении врачам улучшенной поддержки при обработке сформированных компьютером (или иным образом) сегментаций объектов, представленных медицинскими данными изображения.

Задача настоящего изобретения решается объектами независимых пунктов формулы изобретения. Дополнительные варианты осуществления включены в зависимые пункты формулы изобретения.

Следует отметить, что следующие описанные аспекты изобретения одинаково применяются к способу обработки двухмерных изображений поперечных срезов, к медицинской системе для последующей обработки двухмерных изображений поперечных срезов, к компьютерному программному элементу и к машиночитаемому носителю.

В соответствии с одним аспектом предложено устройство для последующей обработки двухмерных изображений поперечных срезов, определяющих набор данных объема трехмерного изображения. Устройство содержит:

- контроллер графического пользовательского интерфейса;

- блок двухмерной сегментации; и

- блок трехмерной сегментации.

Контроллер графического пользовательского интерфейса выполнен с возможностью формировать графический пользовательский интерфейс для отображения на экране. Отображенный пользовательский интерфейс содержит интерактивный первый оконный интерфейсный элемент, отображающий на экране начальный срез из двухмерных срезов; срез показывает поперечное сечение интересующего объекта, оконный интерфейсный элемент выполнен с возможностью позволять пользователю указывать посредством указательного инструмента данные положения одной начальной точки в любом месте на отображенном начальном срезе.

Блок двухмерной сегментации выполнен с возможностью в ответ на указание пользователем данных положения выполнять двухмерную сегментацию отображенного начального среза посредством вычисления в срезе кривой линии сегментации, проходящей через указанную одну начальную точку или начинающуюся в указанной одной начальной точке.

Контроллер графического пользовательского интерфейса дополнительно выполнен с возможностью формировать вычисленную линию сегментации, наложенную на начальный срез, для отображения в первом оконном интерфейсном элементе.

Блок трехмерной сегментации выполнен с возможностью в ответ на запрос пользователя вычислять трехмерный сегмент объекта по множеству двухмерных срезов, составляющих объем трехмерного изображения, посредством использования вычисленной линии сегментации в качестве (геометрического или поперечного) ограничения.

Контроллер графического пользовательского интерфейса дополнительно выполнен с возможностью формировать по меньшей мере часть вычисленного трехмерного сегмента для отображения на экране.

Устройство обеспечивает интерактивный обзор двухмерного и трехмерного сегментов для случаев, когда предложенные устройством результаты сегментации оказались неудовлетворительными.

Устройство также позволяет легко производить двухмерную сегментацию, например, изображения среза легкого на участки изображения, представляющие отпечатки долей легкого. Трехмерная сегментация трехмерного отпечатка легкого по объему трехмерного изображения затем вычисляется на основе граничных ограничений, определенных ранее вычисленным двухмерным сегментом. Двухмерный сегмент может включать в себя линии сегментации, представляющие линии щели легкого, и контур, очерчивающий границу отпечатка легкого. Линии сегментации вместе с частями контура формируют сегменты отпечатка доли легкого.

Двухмерные сегменты вычисляются, и затем контроллер графического пользовательского интерфейса (GUI) производит их отображение в оконном интерфейсном элементе. Только когда пользовательское нажатие кнопки мыши одобряет полуавтоматически сформированный двухмерный сегмент, трехмерный сегмент вычисляется на основе одобренного двухмерного сегмента. Таким образом, устройство предоставляет пользователю возможность определить, из каких двухмерных сегментов должен быть создан трехмерный сегмент. Устройство является полуавтоматическим, а не полностью автоматическим, поскольку пользователь должен обеспечить начальную точку для двухмерного сегмента. Однако имеется только одна точка, которая должна быть определена пользователем. Поскольку устройство реализует двухмерную сегментацию на основе этой одной начальной точки, требуется небольшое пользовательское взаимодействие и обеспечивается быстрый процесс со сведенным к минимуму отвлечением внимания пользователя.

В соответствии с одним вариантом осуществления настоящего изобретения вычисленная линия сегментации сохраняется в буфере при запросе пользователем трехмерной сегментации. После указания пользователем новой начальной точки блок сегментации вычисляет новую линию сегментации, проходящую через новую начальную точку. Вновь вычисленная линия сегментации затем отображается наложенной на начальный срез вместе с ранее вычисленной линией сегментации в первом оконном интерфейсном элементе. При запросе пользователем вычисления нового трехмерного сегмента новая линия сегментации также сохраняется вместе с предыдущей линией сегментации в буфере. Блок сегментации использует в качестве ограничений обе буферизованные линии сегментации для вычисления нового трехмерного сегмента объекта. Затем контроллер графического пользовательского интерфейса обновляет экран для отображения вновь вычисленного трехмерного сегмента доли легкого.

После того как пользователь размещает курсор мыши на отображаемом срезе около видимой линии щели, нажатие кнопки мыши приводит к вычислению подраздела и расходу процессорного времени и запросу графической визуализации вычисленной линии двухмерной сегментации в первом оконном интерфейсном элементе. Когда пользователь снова изменяет положение мыши, предлагается и отображается новое решение для двухмерной сегментации.

Если пользователь удовлетворен результатами двухмерной сегментации, он может одобрить показываемый в настоящий момент двухмерный сегмент нажатием кнопки мыши. Нажатие кнопки мыши производит добавление двухмерного сегмента видимого в настоящий момент среза к буферу подтвержденных двухмерных сегментов. Буферизация двухмерного сегмента позволяет пользователю позже просмотреть сегментации и позволяет каждой трехмерной сегментации учитывать все одобренные на данный момент пользователем двухмерные сегменты. В соответствии с одним вариантом осуществления двухмерный сегмент включает в себя линию сегментации линии щели вместе с контуром легкого. Буферизация двухмерного сегмента включает в себя буферизацию ссылки на срез, который подвергнут двухмерной сегментации посредством вычисленного двухмерного сегмента.

При одобрении пользователем предложенных двухмерных сегментов щели обновленное трехмерное решение для трехмерной сегментации отображается для каждого вновь принятого двухмерного сегмента. Таким образом, посредством одобрения шаг за шагом все большего количества двухмерных сегментов пользователь может последовательно улучшать качество или «точность» решения для трехмерной сегментации истинной геометрии легкого и его долей. Таким образом, в сравнительно короткое время достижима правильная трехмерная сегментация для отпечатка реального легкого.

В соответствии с одним аспектом контроллер графического пользовательского интерфейса выполнен с возможностью формировать вычисленный трехмерный сегмент для отображения во втором оконном интерфейсном элементе. Контроллер производит отображение трехмерного сегмента во втором оконном интерфейсном элементе, отличающемся от первого оконного интерфейсного элемента, используемого для отображения двухмерной сегментации по срезам.

Сформированный графический пользовательский интерфейс имеет «две панели» и включает в себя первый и второй оконные интерфейсные элементы в качестве компонентов графического пользовательского интерфейса (GUI), отображаемых в оконном интерфейсном элементе более высокого уровня (в «контейнере»), или они могут быть отображены без такого общего окна на экране как два отдельных окна, каждое из которых может передвигаться посредством взаимодействия нажатия кнопки и перетаскивания мышью независимо друг от друга по плоскости экрана. В другом варианте осуществления одно окно графического пользовательского интерфейса используется, поочередно отображающее либо один двухмерный сегмент, либо срез как часть трехмерного сегмента.

В соответствии с одним вариантом осуществления контроллер графического пользовательского интерфейса выполнен с возможностью формировать для отображения трехмерную визуализацию вычисленного трехмерного сегмента.

Отображение трехмерного сегмента может быть полным, в котором отображается полная трехмерная интерактивно вращаемая визуализация, или отображение может быть частичным, в котором отображается одно двухмерное сечение трехмерного сегмента по срезам.

В соответствии с одним вариантом осуществления указательный инструмент представляет собой компьютерную мышь, и указание данных положения или новых данных положения производится без использования события нажатия кнопки мыши, а посредством использования записей положения, формируемых мышью, когда мышь перемещается пользователем. Напротив, пользовательский запрос трехмерной сегментации и буферизации двухмерных сегментов производится посредством нажатия кнопки мыши и посредством использования считывания положения.

Запрашиваемое пользователем взаимодействие через указательный инструмент (компьютерную мышь, световое перо и т. п.) с устройством дополнительно минимизировано посредством реализации без нажатия кнопки мыши, тем самым способствуя еще более быстрому процессу во все более конкурентном медицинском оборудовании. Двухмерные сегменты предлагаются пользователю лишь посредством размещения курсора мыши над выбранными проекциями среза.

Трехмерная сегментация отпечатка легкого в объеме трехмерного изображения, инициируемая нажатием кнопки мыши для одобрения отображаемого в настоящий момент двухмерного сегмента, вычисляется и по меньшей мере частично отображается, и для пользователя это происходит в значительной степени в один и тот же момент.

В соответствии с одним вариантом осуществления блок сегментации выполнен с возможностью вычислять в дополнение к запрашиваемому трехмерному сегменту по меньшей мере один дополнительный выборочный трехмерный сегмент. Выборочный трехмерный сегмент основан по меньшей мере на одной выборочной области в трехмерном объеме, не используемой при вычислении или не являющейся частью запрашиваемого трехмерного сегмента. Устройство дополнительно содержит компаратор, выполненный с возможностью сравнивать запрашиваемый трехмерный сегмент с выборочным трехмерным сегментом, чтобы установить значение отклонения. Компаратор выполнен с возможностью выдавать команду контроллеру графического пользовательского интерфейса обновить первый оконный интерфейсный элемент для отображения среза, показывающего поперечное сечение идентифицированной выборочной области, когда значение отклонения превышает конфигурируемое пороговое значение.

Эта функциональность обеспечивает автоматическое привлечение внимания пользователя к срезу или проекции из срезов трехмерного объема, который содержит трехмерную область с высокой или самой высокой «алгоритмической неоднозначностью». Это область, которая вызвала бы самое большое (больше предварительно установленного значения) отклонение от отображаемого в настоящий момент трехмерного сегмента, если бы эта область была включена в трехмерное вычисление отображаемого в настоящий момент трехмерного сегмента. Отклонение измеряется относительно подходящего показателя отклонения, который позволяет сравнивать участки объема трехмерного изображения, формирующие соответствующие трехмерные сегменты.

Внутренние узлы или точки решения в дереве решений используемого алгоритма трехмерного сегментирования анализируются для идентификации области легкого, имеющей большую или наибольшую логарифмическую неоднозначность. Соответствующими внутренними точками принятия решения в алгоритме являются те, которые привели бы к изменению выдаваемого в результате трехмерного сегмента, если бы алгоритм в этой точке был выполнен вдоль ветви, отличающейся от той, которая привела к рассматриваемому в настоящий момент трехмерному сегменту. В соответствии с одним вариантом осуществления анализ точки принятия решения может быть реализован посредством исследования не только одного решения, а множества решений трехмерных сегментов, соответствующих разным локальным минимумам функционала, для которого алгоритм ищет решения.

Анализ алгоритма трехмерного сегментирования выполняется в фоновом режиме, и, когда он завершается, первый оконный интерфейсный элемент для отображения срезов обновляется или сбрасывается, чтобы вместо предыдущего среза отобразить срез через область с высокой неоднозначностью. В соответствии с одним вариантом осуществления срез выбирается таким образом, чтобы он пересекал область в ее центре. Этот выбор включает в себя прокрутку и возможно вращение, чтобы произвести отображение области с наибольшей неоднозначностью. Затем пользователь может одобрить посредством нажатия кнопки мыши и добавить к буферу показываемый срез, указывающий область высокой или наиболее высокой неоднозначности. Тогда секция используется в качестве допустимого ограничения для трехмерного сегмента.

Устройство позволяет пользователю выбирать некоторые или все другие решения трехмерного сегмента, таким образом, окончательное решение относительно наиболее подходящего с медицинской точки зрения решения лежит на пользователе. Фактически пользователь может управлять выполнением алгоритма трехмерной сегментации, чтобы выполнять более полный выбор «образцов» из всего объема трехмерного изображения для решений текущей задачи трехмерного сегментирования.

Устройство в соответствии с настоящим изобретением позволяет пользователю удобно просматривать предложенную трехмерную сегментацию среза, выполняя насколько возможно меньше пользовательских действий. Осуществляется поддержка пользователя при обнаружении возможно лучшего решения трехмерного сегмента посредством устройства, предлагающего срезы для двухмерного сегмента, который в ином случае мог быть не рассмотрен. Вероятность того, что пользователь запечатлевает всю физиологическую геометрию исследуемого легкого, таким образом, может быть увеличена, поскольку лучше выполняется выборка в пространстве решений по множеству в трехмерном объеме. Пользователя направляют для обоснованного ограничения вычисления трехмерного сегмента посредством двухмерных срезов, которые фактически добавляют информацию об истинной геометрии легкого или интересующего объекта. Одним словом, устройство обеспечивает интерактивную алгоритмическую трехмерную сегментацию, проводимую с учетом неоднозначности.

Устройство может использоваться в рабочих станциях обработки изображений и системах PACS для скрининговой диагностики и отслеживания лечения для применений в случае хронической обструктивной болезни легких и рака легких.

Определения

Сегментация - это разделение пока еще неструктурированной информации пикселей или вокселов (элементов объемного изображения) в срезе на области пикселей или вокселов. Области затем могут обрабатываться как объекты сами по себе. Каждый пиксель или воксел в изображении затем может упоминаться как находящийся внутри или снаружи объекта. Каждый объект или объекты, на которые изображение было разделено, упоминаются как «сегмент».

Сегмент называется двухмерным (2D), если области ограничены плоскостью изображения единственного среза. Тогда сегменты могут быть определены одной или несколькими криволинейными границами.

Сегмент называется трехмерным (3D), если области простираются по коллекции срезов в объеме трехмерного изображения, тогда трехмерный сегмент определен двухмерным сегментом в каждом из этих сечений. Тогда трехмерный сегмент может быть определен одной или несколькими поверхностями. Поверхности или криволинейные линии, определяющие трехмерный или двухмерный сегмент, аналогично упоминаются как «сегмент», или «поверхность сегментации», или «линия сегментации».

Отпечаток реального объекта в изображении - это множество пикселей или вокселов, которые вместе представляют этот объект.

Узел решения в дереве решений алгоритма является неоднозначным, если в этом узле существует более одного решения для подходящего трехмерного сегмента, и алгоритм проходит вдоль одной по меньшей мере из двух возможных ветвей выполнения и выдает одно из решений.

В расширении концепции неоднозначных точек решения область объема трехмерного изображения называется неоднозначной, если она формирует часть одного из решений трехмерного сегмента, но не формирует часть другого решения. И, наконец, область имеет более высокую неоднозначность, чем другая область, если трехмерный сегмент, имеющий эту область, больше отклоняется от отображаемого в настоящий момент трехмерного сегмента, чем какой-либо другой трехмерный сегмент, не имеющий эту область.

Краткое описание чертежей

Иллюстративные варианты осуществления изобретения будут описаны далее со ссылкой на приведенные ниже чертежи.

Фиг. 1 схематично показывает блок-схему устройства для последующей обработки двухмерных изображений поперечных срезов.

Фиг. 2 показывает графический пользовательский интерфейс для последующей обработки двухмерных изображений поперечных срезов.

Фиг. 3 схематично показывает блок-схему последовательности операций для способа последующей обработки двухмерных изображений поперечных срезов.

Осуществление изобретения

Как показано на фиг. 1, устройство последующей обработки содержит базу 105 данных, содержащую компьютерные томографические (CT) изображения 110a-c поперечных срезов, определяющих объем трехмерного изображения. Один из срезов, например срез 110a, может быть отображен в графическом пользовательском интерфейсе 155 с двумя панелями на мониторе 150. Внешним видом и функциональностью взаимодействия с пользователем, обеспечиваемой графическим пользовательским интерфейсом (GUI) 155, управляет контроллер 160 GUI. Устройство дополнительно содержит блок 170 двухмерной сегментации и блок 180 трехмерной сегментации. Также имеется компаратор 185, взаимодействующий с блоком 180 трехмерной сегментации. Устройство дополнительно содержит блок 190 обработки, такой как рабочая станция, взаимодействующий с контроллером 160 GUI, блоком 170 двухмерной сегментации, блоком 180 трехмерной сегментации и компаратором 185. Также обеспечен указательный инструмент, такой как компьютерная мышь 195, взаимодействующий с блоком 190 обработки, который позволяет пользователю взаимодействовать с интерфейсом 155 GUI под управлением контроллера 160 GUI.

Компоненты устройства показаны на фиг. 1 отдельно. Однако это сделано только для ясности иллюстрации. Компоненты устройства - блок 190 обработки, блок 170 двухмерной сегментации, блок 180 трехмерной сегментации и компаратор 185 - действительно могут быть локально распределены и соединены в подходящей сети связи. Однако в других вариантах осуществления компоненты 170, 180 и 185 выполняются как программы в блоке 190 обработки. Компоненты также могут быть организованы как специализированные программируемые пользователем вентильные матрицы (FPGA) или аппаратно реализованные автономные микросхемы. Компоненты могут быть запрограммированы в подходящей платформе научных вычислений, такой как Matlab® или Simulink®, и затем преобразованы в программы на языке C++ или C, сохранены в библиотеке и скомпонованы при их вызове блоком 190 обработки.

Вообще говоря, устройство на фиг. 1 помогает пользователю, например радиологу, при формировании двухмерных и трехмерных сегментов интересующего объекта, такого как левое или правое легкое человека или животного. Сегмент в этом случае может включать в себя сегмент полного контура поперечного среза, например левого легкого, и сегменты верхней и нижней долей легкого, составляющих левое легкое. Однако понятно, что интересующий объект может представлять собой другую физиологическую часть животного или человеческого организма, и тогда сегмент будет направлен на другие физиологические признаки.

Трехмерный сегмент основан на двухмерных сегментах одного или нескольких изображений 110a-с срезов. Устройство также помогает пользователю при двухмерной сегментации одного или нескольких изображений срезов. Срез 110a вместе со своим двухмерным сегментом может отображаться на левой панели, сформированной первым оконным интерфейсным элементом 114a. По меньшей мере частичное представление трехмерного сегмента доли легкого, основанное на ранее вычисленных одном или нескольких двухмерных сегментах, может отображаться на второй панели, сформированной вторым оконным интерфейсным элементом 114b. Пользователь может взаимодействовать через мышь 195 с графическим пользовательским интерфейсом 155, выдавая события взаимодействия. Тогда контроллер GUI перехватывает эти события взаимодействия и выдает соответствующие команды системной видеокарте (не показана), чтобы таким образом управлять отображением на экране двух оконных интерфейсных элементов 114a, 114b GUI.

Пользователь может привести в действие кнопку 205 загрузки (см. фиг. 2) для загрузки и просмотра подходящего среза 110a в первом оконном интерфейсном элементе 114a. Затем пользователь может скорректировать угол проекции через трехмерный объем, приводя в действие кнопку 215 «альфа», или он может выполнить прокрутку посредством ползунка 156 через срезы 110a-c, сохраненные в базе 105 данных, для просмотра другого среза из срезов 110a-c. Посредством использования ползунка 156 графического пользовательского интерфейса 155 радиолог выполняет прокрутку по изображениям 110a-b срезов, которые затем по одному отображаются в окне 114a левой панели. Срезы предпочтительно отображаются как сагиттальные проекции с толщиной среза приблизительно 1-5 мм. Предпочтительно угол альфа вращения вокруг кранио-кардиальной оси, сформированной пересечением между сагиттальной плоскостью и фронтальной плоскостью, и толщина среза могут быть скорректированы посредством приведения в действие кнопки 215 «альфа» или кнопки 210 «конфигурация». Вызов кнопки 210 «конфигурация» или кнопки 215 «альфа» выводит раскрывающееся окно «конфигурация», которое временно накладывается на графический пользовательский интерфейс 155. Затем пользователь может отметить прямоугольник или ввести требуемый параметр конфигурации, например толщину среза, угол вращения или положение, в трехмерном объеме среза 110a-b, который он хочет рассмотреть.

Устройство позволяет пользователю инициировать двухмерную сегментацию посредством выбора одной точки на отображаемом в настоящий момент срезе 110a. Данные положения одной точки формируются посредством перемещения указателя мыши и затем передаются через контроллер 160 GUI блоку 170 двухмерной сегментации. Затем блок 170 двухмерной сегментации формирует линию 108 сегментации (см. фиг. 2), начинающуюся в начальной одной точке 109 или проходящую через нее, которая определена пользователем посредством размещения курсора 195a мыши в виде «перекрестия», как иллюстративно показано на фиг. 2.

Эта полуавтоматическая двухмерная сегментация показанного легкого на две доли (то есть части выше (верхняя доля) и ниже (нижняя доля) линии 108 сегментации) также включает в себя формирования линии 107 внешнего контура отпечатка левого легкого, показываемого в настоящий момент на срезе 110a. Линия 108 сегментации вычерчивает более или менее видимую линию долевой щели, как показано на срезе 110a. Спецификация начальной одной точки 109 производится посредством взаимодействия без нажатия кнопки мыши. Другими словами, когда курсор 195a мыши не перемещается после его размещения в течение заданного времени, линия 108 сегментации 108 автоматически формируется блоком 170 двухмерной сегментации на основании текущего положения. Пользователю не требуется выполнять нажатие кнопки мыши для выполнения двухмерной сегментации. Пользователь просто оставляет курсор 195a мыши над панелью изображения. Тогда линия 108 сегментации основана на указанной одной точке 109. Предопределенная задержка может быть сконфигурирована посредством использования кнопки 210 «конфигурация».

Сформированная линия 108 двухмерной сегментации либо начинается в начальной точке 109 и идет налево или направо и пересекает контур 108 легкого только в одной точке, либо проходит через начальную точку 109 и пересекает линию 107 внешнего контура в двух противоположных точках. Устройство может быть сконфигурировано соответствующим образом посредством нажатия кнопки 205 «конфигурация».

Графическая визуализация вычисленного двухмерного сегмента затем отображается наложенной на отображаемый в настоящий момент срез 110a в окне 114a. Графическая визуализация включает в себя компоненты для линии 108 сегментации и контура 107. Если автоматически сформированный двухмерный сегмент, показанный окне 114a левой панели, удовлетворяет пользователя, пользователь выдает подтверждающее событие нажатия кнопки мыши, после чего отображаемый в настоящий момент двухмерный сегмент, который представляет собой внешний контур 107 и линию 108 сегментации, сохраняется в буфере. Наряду с сохранением двухмерного сегмента в буфере также сохраняется ссылка на срез (в этом случае срез 110a), который сегментирован посредством вычисленной двухмерной сегментации. Если пользователь изменяет положение мыши без выдачи подтверждающего события нажатия кнопки мыши, отображаемый в настоящий момент двухмерный сегмент отбрасывается, и вычисляется и визуализируется новый сегмент для отображения, если курсор мыши находится в новом положении дольше заданной задержки.

После подтверждения нажатием кнопки мыши двухмерного сегмента формируется трехмерный сегмент по набору данных трехмерного объема посредством блока 180 трехмерной сегментации, трехмерный сегмент основывается на подтвержденном двухмерном сегменте. Трехмерный сегмент 113 или по меньшей мере его частичное представление затем показывается во втором оконном интерфейсном элементе 114b. Затем пользователь может выполнить прокрутку посредством использования ползунка 156 или нажатий клавиш к другому срезу 110b и выполнить аналогичные двухмерные сегментации показываемого среза 110b в оконном интерфейсном элементе 114a. Снова, как только пользователь удовлетворен предлагаемой системой двухмерной сегментацией, показанной на отображаемом новом срезе 110b, соответствующая линия сегментации и ее контур аналогичным образом сохраняются в буфере при нажатии кнопки мыши. После сохранения двухмерного сегмента для второго среза 110b в буфере окно 114b трехмерного сегмента обновляется, и показывается новый трехмерный сегмент, в этот раз на основе всех двухмерных сегментов, сохраненных в буфере. Буферизованные двухмерные сегменты определяют геометрические ограничения для трехмерного алгоритма, реализованного блоком 180 трехмерной сегментации.

Трехмерный сегмент 113 из отпечатка легкого может быть отображен как трехмерная визуализация посредством блока визуализации (не показан) или может быть представлен одним из срезов из трехмерного объема, формирующего трехмерный сегмент, срез наложен на соответствующий частный двухмерный сегмент полного трехмерного сегмента. В этом варианте осуществления графический пользовательский интерфейс 155 может включать в себя дополнительный ползунок, который позволяет пользователю просматривать посредством прокрутки коллекцию срезов, формирующих трехмерный сегмент. Каждый срез, когда он отображается на правой панели 114b, имеет свое соответствующее частное наложение на двухмерный сегмент. В еще одном варианте осуществления графический пользовательский интерфейс 155 содержит один оконный интерфейсный элемент, который в качестве варианта показывает двухмерный сегмент либо одного среза, либо срезов из коллекции срезов, формирующих трехмерный сегмент, и каждый срез с соответствующим наложенным двухмерным сегментом. В качестве альтернативы трехмерная визуализация трехмерного сегмента отображается в одном окне. В варианте осуществления с одним окном пользователь может переключаться между ракурсом двухмерного сегмента одного среза или ракурсом трехмерного сегмента.

Посредством просмотра и подтверждения срез за срезом двухмерных сегментов, показываемых в окне 114a, пользователь может в «фазе сбора» собрать и накопить подходящие двухмерные сегменты, чтобы таким образом определить «запас» геометрических ограничений, которые затем в комбинации используются блоком 180 трехмерной сегментации. Это позволяет пользователю постепенно выбрать более хорошие или более подходящие двухмерные сегменты, отображаемые по одному на левой панели графического пользовательского интерфейса 155, и постепенно сформировать улучшенные трехмерные сегменты 113, отображаемые на правой панели 114b графического пользовательского интерфейса 155. Качество каждого из ограничений двухмерных сечений для трехмерного сегмента, собранных в «фазе сбора», визуально отслеживается на левой панели 114a, и фактический трехмерный сегмент затем выполняется в более поздней «фазе трехмерного сегмента» и отображается для визуального отслеживания на правой панели 114b.

Работа

Текущее положение мыши, определяющее данные положения одной точки 109, передается блоку 170 двухмерной сегментации в качестве начальной или промежуточной точки для вычисления линии щели, проходящей по линии сегментации 108. Блок 170 двухмерной сегментации использует методы распознавания образов и/или градиентные методы для определения подходящих направлений от указанной одной точки 109 через плоскость изображения, отображаемого в настоящий момент в срезе 110a. С этой целью задаются потенциальные направления, образующие звездообразное семейство векторов, исходящих от одной начальной точки 109. Ожидается, что линия долевой щели будет иметь более низкую интенсивность вокселов по сравнению с областями вокселов по обе стороны от линии щели. Этот образец интенсивности вокселов предусматривает крутое повышение градиента поперек направления линии щели в каждую из сторон. Блок двухмерной сегментации выбирает из коллекции потенциальных направлений то направление, которое лучше всего соответствует этой ожидаемой характеристике градиента.

Как только найдено подходящее направление, которое наилучшим образом соответствует ожидаемой характеристике градиента, на подходящем расстоянии вдоль этого направления выбирается новая точка для вычисляемой линии сегментации, и ранее описанная процедура для выбора подходящего потенциального направления повторяется. Расстояние представляет собой «ширину шага», которая может быть конфигурирована и отражает разрешение, требуемое при вычислении двухмерного сегмента. Таким образом блок 170 двухмерной сегментации точка за точкой вычисляет и итерационно вычерчивает линию долевой щели и производит описание координат линии 108 сегментации.

Блок двухмерной сегментации подобным образом проводит вычисление линии 107 контура, определяя подходящие потенциальные точки линии контура и используя значения градиента интенсивности вокселов для отслеживания границы отпечатка легкого. В одном варианте осуществления регистрируются интенсивности градаций вокселов вдоль вычисленной линии сегментации. Точка на линии, в которой происходит внезапное понижение интенсивности градаций, интерпретируется как точка пересечения между линией сегментации и границей отпечатка легкого в срезе. На основе этой точки пересечения затем может быть вычислен контур 107 с использованием известных алгоритмов обнаружения края.

Вычисленные таким образом координаты линии 108 сегментации и контур 107, вместе формирующие двухмерный сегмент, затем передаются контроллеру 160 GUI, который производит отображение двухмерного сегмента в качестве графического элемента в оконном интерфейсном элементе 114a. Двухмерный сегмент, который является внешним контуром 107, и линия 108 сегментации отображается как графика, наложенная на отображаемый в настоящий момент срез 110a.

Событие нажатия кнопки мыши, соответствующее двухмерному сегменту, также производит сохранение описаний координат двухмерного сегмента в буфере ограничений трехмерного сегмента. Таким образом, буфер определяет «буфер обмена» для списка подтвержденных двухмерных сегментов. В соответствии с одним вариантом осуществления графический пользовательский интерфейс 155 обеспечивает кнопки для обеспечения пользователю возможности просматривать буфер обмена. Буфер постепенно обновляется и строит коллекцию одобренных пользователем двухмерных сегментов по мере того, как пользователь изменяет положение мыши через левую оконную панель 114a и вызывает подтверждающие события нажатия кнопки мыши.

Каждое событие нажатия кнопки мыши для сохранения в рассматриваемом в настоящий момент двухмерном сегменте инициирует трехмерную сегментацию, выполняемую блоком 180 трехмерной сегментации. Блок 180 трехмерной сегментации использует все буферизованные в настоящий момент по срезам двухмерные сегменты в качестве комбинированного ограничения для вычисления трехмерного сегмента легкого по набору данных трехмерного объема, определенных коллекцией срезов 110a-d. Таким образом, изменение положения мыши и выбор новой начальной одной точки сегментации на левой панели 114a производят обновление трехмерного сегмента, отображенного на правой панели 114b, если пользователь одобряет рассматриваемый в настоящий момент двухмерный сегмент 114a нажатием кнопки мыши на левой панели 114a.

Блок 180 трехмерной сегментации реализует подходящие алгоритмы трехмерной сегментации. Алгоритмы могут быть выражены как обнаружение решений функционала, заданного на наборе данных трехмерного объема, ограниченном буферизованными двухмерными сегментами. Каждый возможный трехмерный сегмент должен иметь любой из буферизованных двухмерных сегментов в качестве его поперечного сечения в соответствующих срезах 110a-c. Блок трехмерной сегментации выполняет экстраполяцию из поперечных сечений, определенных буферизованными двухмерными сегментами, в другие срезы в наборе трехмерного объема, чтобы установить «недостающие» поперечные сечения в этих других срезах. Блок трехмерной сегментации использует методики распознавания образов для поиска срезов, имеющих отпечатки, наилучшим образом согласующиеся с буферизованными двухмерными сегментами по интенсивности вокселов и форме. Отпечатки в согласующихся срезах затем подвергаются двухмерной сегментации.

Таким образом, каждое решение для трехмерного сегмента формируется посредством коллекции двухмерных сегментов. Коллекция включает в себя ранее буферизованные двухмерные сегменты и двухмерные сегменты согласующихся срезов. Коллекция срезов определяет трехмерную область вокселов, составляющую трехмерный сегмент. Эта трехмерная область вокселов может быть выражена как «точка» локального минимума функционала. Локальные минимумы могут быть найдены посредством нахождения нулевых значений градиента функционала. Функционал представляет собой вещественную функцию, определенную на объеме трехмерного изображения или на версии объема с грубой фрагментацией. Аспект грубой фрагментации будет разъяснен более подробно ниже.

Обычно имеется большое количество решений. Поэтому алгоритм трехмерной сегментации использует дерево решений для вывода единственного из решений. Ссылка на выданное решение затем передается контроллеру 160 GUI. Затем контроллер 160 GUI производит отображение выданного решения трехмерной сегментации на правой панели 114b.

В соответствии с одним вариантом осуществления блок 180 трехмерной сегментации ищет решение локальных минимумов функционала по всей подходящей области вокселов набора данных трехмерного объема.

Однако в соответствии с предпочтительным вариантом осуществления, чтобы сэкономить время центрального процессора, пространство возможного решения ограничивается сферой, соразмерной с ожидаемыми размерами (длина, ширина и толщина) легкого, которое подвергается трехмерной сегментации.

В еще одном варианте осуществления вокселы в определенной таким образом сфере или во всем трехмерном объеме являются разбитыми или разбиваются на грубые «фрагменты» вокселов или отдельные трехмерные области, из которых затем может быть построен трехмерный сегмент трехмерного отпечатка легкого. В соответствии с одним вариантом осуществления блок 180 трехмерной сегментации выполняет грубое разбиение данных трехмерного объема в фазе дискретизации перед вычислением трехмерного сегмента. Блок 180 трехмерной сегментации выполняет анализ для каждого фрагмента, включает ли он в себя поперечный срез, для которого может быть создан двухмерный сегмент, согласующийся по интенсивности градаций вокселов и по форме с коллекцией буферизованных двухмерных сегментов. Если двухмерный сегмент может быть согласован, фрагмент помечается и затем образует часть решения для трехмерного сегмента.

Такое грубое разбиение, например, может быть произведено с использованием физиологических фактов о легких или конкретном рассматриваемом органе. Один способ определения трехмерных фрагментов состоит в том, чтобы предварительно сегментировать объем трехмерного изображения вокруг отпечатка легкого на участки, представляющие кровеносные сосуды легкого. Кровеносные сосуды, как известно, не проходят через линии щели, а ограничены для случая левого легкого каждой из двух долей. Ограничения, определенные линиями сегментации в буферизованных двухмерных сегментах, могут использоваться для грубого разбиения, и фрагментам не позволено пересекать линии щели, представляющие линии сегментации. Тогда решение функционала трехмерной сегментации по этим трехмерным фрагментам с учетом кровеносных сосудов гарантирует, что соблюдается физиологическая достоверность.

В соответствии с одним вариантом осуществления настоящего изобретения устройство направляет пользователя при выборе ограничений двухмерного сегмента на левой панели 114a, чтобы наилучшим образом запечатлеть геометрию легкого, подвергаемого трехмерной сегментации. С этой целью блок 180 сегментации не только выдает для отображения один трехмерный сегмент, но также вычисляет дополнительные потенциальные решения трехмерных сегментов для конфигурируемого количества других локальных минимумов. Потенциальные решения трехмерных сегментов, соответствующие другим локальным минимумам, вычисляются в фоновом режиме и в данный момент не отображаются, а вместо этого передаются компаратору 185. Компаратор 185 устанавливает отклонение между отображаемым в настоящий момент решением трехмерного сегмента и каждым из потенциальных трехмерных сегментов, вычисленных в фоновом режиме. В соответствии с одним вариантом осуществления количественный показатель отклонения достигается посредством установления для каждого потенциального решения и отображаемого в настоящий момент решения отношения объема отпечатков доли легкого, определенного соответствующими внешними контурами и линиями сегментации в срезе, составляющем соответствующие трехмерные сегменты.

Соответствующие отношения объема доли легкого затем сравниваются с отношением объема доли легкого отображаемого в настоящий момент решения. Если обнаружено, что одно из отношений объема потенциального решения отклоняется от отношения объема доли легкого отображаемого в настоящий момент решения больше предварительно установленного порогового отклонения, фрагменты, составляющие решение с отклонением, и фрагменты, составляющие отображаемое в настоящий момент решение, сравниваются. Затем в решении с отклонением идентифицируется по меньшей мере один фрагмент, который не является частью рассматриваемого в настоящий момент трехмерного сегмента. Затем блок 190 обработки выполняет доступ к базе 105 данных и выбирает срез, пересекающий этот фрагмент. Ссылка на идентифицированный срез, например срез 110c из срезов 110a-c трехмерного объема, передается контроллеру 160 GUI. Контроллер 160 GUI обновляет левую панель 114a, чтобы теперь отобразить срез 110c вместо среза 110a, срез 110c теперь показывает поперечное сечение идентифицированного фрагмента, который мог вызвать отклонение. В соответствии с другим вариантом осуществления фрагмент с отклонением может быть просто выбран как самый дальний от фрагментов, составляющих отображаемое в настоящий момент решение трехмерного сегмента.

Таким образом, устройство позволяет пользователю знать о «неоднозначной» области легкого, которая вызвала отображение в значительной степени другого трехмерного сегмента, если алгоритм трехмерной сегментации решил выдать решение, содержащее этот фрагмент. Таким образом, устройство поддерживает пользователя и побуждает его к более широкому выбору ограничений двухмерных сегментов по всему трехмерному объему, чтобы получить более хорошую возможность запечатлеть истинную геометрию легкого, подвергаемого трехмерному сегментированию на доли. Пользователь может перейти к предложенному двухмерному сегменту и отображаемому теперь срезу 110c, показывающему фрагмент с высокой неоднозначностью, и добавить этот срез в буфер. После такой буферизации нового двухмерного сегмента во втором оконном интерфейсном элементе вместо предыдущего трехмерного сегмента отображается вычисленный в фоновом режиме потенциальный трехмерный сегмент. Если пользователь не удовлетворен предложенным трехмерным сегментом, может быть приведена в действие кнопка буфера (не показана) графического пользовательского интерфейса 155, производящая отображение наложенного окна как буфера обмена. Наложенное окно буфера обмена включает в себя список ссылок на буферизованные двухмерные сегменты, и нажатие кнопки мыши по ссылкам производит отображение в окне 144a соответствующего двухмерного сегмента, наложенного на соответствующие срезы. Пользователь может вычеркнуть из буфера ссылку предложенного двухмерного сегмента среза, показывающего фрагмент с высокой неоднозначностью. Тогда отображение во втором оконном интерфейсном элементе 114b возвращается к ранее показанному трехмерному сегменту. В соответствии с одним вариантом осуществления пользователь может всегда и на любом этапе вызывать окно буфера и удалять из буфера ограничения двухмерных сегментов, и такое удаление затем производит обновление второго оконного интерфейсного элемента 114b, чтобы показать трехмерный сегмент на основе ограничений, оставшихся в буфере.

На фиг. 3 показана блок-схема последовательности операций для способа последующей обработки двухмерных изображений поперечных срезов.

На этапе S305 начальное изображение среза отображается в первом оконном интерфейсном элементе графического пользовательского интерфейса.

На этапе S310 в ответ на указание пользователем положения одной начальной точки в отображенном начальном срезе данных вычисляется двухмерный сегмент отображенного среза на основе кривой линии сегментации, проходящей через одну начальную точку или начинающейся в ней.

На этапе S320 вычисленный двухмерный сегмент визуализируется для отображения в виде графики, наложенной на начальный срез, и накладывается вдоль отпечатка объекта, который должен быть сегментирован.

На этапе S330 в ответ на запрос пользователя двухмерный сегмент сохраняется в буфере, и вычисляется трехмерный сегмент трехмерного отпечатка объекта в объеме трехмерного изображения. Вычисление трехмерного сегмента основано на ранее вычисленном двухмерном сегменте в отображенном двухмерном срезе.

На этапе S340 по меньшей мере частичная графическая визуализация вычисленного трехмерного сегмента отображается на экране либо во втором оконном интерфейсном элементе, либо вместо среза в первом оконном интерфейсном элементе.

В дополнение к запрашиваемому визуализируемому трехмерному сегменту в фоновом режиме вычисляется дополнительный трехмерный сегмент. Дополнительный трехмерный сегмент основан по меньшей мере на одной выборочной области в трехмерном объеме изображения, которая не использовалась при вычислении фактически запрашиваемого трехмерного сегмента. Эти два трехмерных сегмента сравниваются на этапе S350, и устанавливается значение отклонения между этими двумя сегментами. Если значение отклонения превышает предварительно установленное и конфигурируемое пороговое значение, первый оконный интерфейсный элемент обновляется посредством отображения среза, показывающего поперечное сечение идентифицированной выборочной области.

Затем этапы S305-S350 могут быть повторены при указании пользователем еще одной дополнительной начальной точки в показываемом теперь срезе или в дополнительном срезе для сегментации, чтобы тем самым последовательно собрать набор двухмерных сегментов в качестве ограничений и последовательно повторно вычислить трехмерные сегменты на основе всех или конфигурируемого количества собранных к настоящему моменту двухмерных сегментов.

В другом иллюстративном варианте осуществления настоящего изобретения предложена компьютерная программа или компьютерный программный элемент, которые отличаются тем, что выполнены с возможностью исполнять этапы способа в соответствии с одним из предыдущих вариантов осуществления на соответствующей системе.

Компьютерный программный элемент может быть сохранен в компьютерном блоке, который также может являться частью варианта осуществления настоящего изобретения. Этот вычислительный блок может быть выполнен с возможностью выполнять или вызывать выполнение этапов описанного выше способа. Кроме того, он может быть выполнен с возможностью управлять компонентами описанного выше устройства. Компьютерный блок может быть выполнен с возможностью работать автоматически и/или исполнять команды пользователя. Компьютерная программа может быть загружена в оперативную память процессора. Процессор может тем самым быть оборудован для выполнения способа изобретения.

Этот иллюстративный вариант осуществления изобретения охватывает и компьютерную программу, которая с самого начала использует изобретение, и компьютерную программу, которая посредством обновления превращает существующую программу в программу, которая использует изобретение.

Кроме того, компьютерный программный элемент может обеспечить все необходимые этапы для выполнения процедуры иллюстративного варианта осуществления описанного выше способа.

В соответствии с дополнительным иллюстративным вариантом осуществления настоящего изобретения представлен машиночитаемый носитель, такой как компакт-диск (CD-ROM), причем машиночитаемый носитель имеет сохраненный на нем компьютерный программный элемент, который описан в предыдущем разделе.

Компьютерная программа может быть сохранена и/или распространена в подходящей среде, такой как оптический носитель или твердотельный носитель, предоставленный вместе или как часть других аппаратных средств, но также может быть распространена в других формах, например через Интернет или другие проводные или беспроводные системы связи.

Однако компьютерная программа также может быть предоставлена по сети, например по сети Интернет, и может быть загружена в оперативную память процессора из такой сети. В соответствии с дополнительным иллюстративным вариантом осуществления настоящего изобретения обеспечена среда для того, чтобы сделать доступным для загрузки компьютерный программный элемент, который выполнен с возможностью выполнять способ в соответствии с одним из описанных ранее вариантов осуществления изобретения.

Следует отметить, что варианты осуществления изобретения описаны со ссылкой на разные предметы. В частности, некоторые варианты осуществления описаны со ссылкой на пункты формулы изобретения типа способа, тогда как другие варианты осуществления описаны со ссылкой на пункты формулы изобретения типа устройства. Однако специалист в области техники сможет понять из предыдущего и последующего описания, что, если не указано иначе, в дополнение к любой комбинации признаков, принадлежащих одному типу предмета, также предполагается раскрытой с помощью этой заявки любая комбинация между признаками, имеющими отношение к разным предметам, в частности между признаками аспектов типа устройства и признаками аспектов типа способа. Однако все признаки могут быть объединены, что обеспечивает синергетические эффекты, которые являются более чем простым суммированием признаков.

Хотя изобретение было проиллюстрировано и подробно описано на чертежах и в вышеприведенном описании, такую иллюстрацию и описание следует считать иллюстративными, но не ограничивающими. Изобретение не ограничено раскрытыми вариантами осуществления. Другие изменения для раскрытых вариантов осуществления могут быть поняты и выполнены специалистами в области техники при осуществлении заявленного изобретения на основе изучения чертежей, описания и зависимых пунктов формулы изобретения.

В формуле изобретения слово «содержит» не исключает другие элементы или этапы, и употребление единственного числа не исключает множество. Единственный процессор или другой блок может выполнить функции нескольких элементов, описанных в формуле изобретения. Тот лишь факт, что некоторые средства описаны во взаимно различных зависимых пунктах формулы изобретения, не указывает, что комбинация этих средств не может использоваться для получения преимуществ. Номера для ссылок в формуле изобретения не должны рассматриваться как ограничение объема.