СЕГМЕНТАЦИЯ ТКАНЕЙ ЧЕЛОВЕКА НА КОМПЬЮТЕРНОМ ИЗОБРАЖЕНИИ

Область техники

Настоящее изобретение относится к обработке медицинских изображений и, в частности, к сегментации медицинских изображений тканей/органов человека, а также к обнаружению патологий/опухолей на медицинских изображениях с помощью сверточных нейронных сетей (Convolutional neural network, CNN).

Уровень техники

В настоящее время для исследования внутренних органов и обнаружения опухолей/патологий человека широко используются медицинские изображения, полученные с помощью различных технологий визуализации, таких как компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвуковое исследование (УЗИ), позитронно-эмиссионная томография (ПЭТ) и т.д.

Важной задачей при таких исследованиях является корректная интерпретация полученных медицинских изображений, т.к. в противном случае это может привести к постановке неверного диагноза.

В настоящее время существует множество автоматических и полуавтоматических алгоритмов обнаружения патологий и сегментации медицинских изображений тканей для их последующего анализа клиническим персоналом. При этом при сегментации можно использовать общие медицинские знания из медицинского атласа (анатомическая модель).

Документ CN101576997 A (20.07.2011) раскрывает способ сегментирования органов брюшной полости, основанный на двухэтапном увеличении области на основании модели, который относится к области обработки медицинских изображений. Данное решение подразумевает использование априорных знаний об анатомическом положении интересующего органа и распределении значений яркости. Однако упомянутое решение показывает слабую сегментацию в случае нечетких границ или сходства яркости (интенсивности) близких областей.

Документ US 8379957 B2 (19.02.2013) раскрывает систему и способ сегментации анатомических структур в объемных МРТ изображениях с использованием разрезов графов. В этом способе формируется шаблон объемного МРТ изображения головного мозга. Шаблон идентифицирует начальные точки анатомических структур головного мозга, таких как головной мозг, мозжечок и ствол мозга в объемном МРТ изображении головного мозга. Любая или все анатомические структуры головного мозга могут быть сегментированы с использованием сегментирования на основе разрезов графа, инициализированного на основе начальных точек, идентифицированных шаблоном. При этом данный подход подразумевает использование шаблонов анатомических структур. Однако данное решение обладает низкой производительностью вследствие вычислительной сложности.

Документ CN104851101 A (19.08.2015) раскрывает способ автоматической сегментации опухоли головного мозга посредством сверточной нейронной сети, основанный на глубоком обучении. Упомянутый способ включает в себя этапы: извлечение участка полутонового МРТ изображения опухоли головного мозга; предварительное обучение без учителя нейронной сети на выделенных участках МРТ изображений для получения начального приближения параметров сети; тонкая настройка параметров сети на размеченных данных; затем инициализация новой нейронной сети на основании полученных окончательных параметров старой сети и, наконец, предварительная классификация МРТ изображений новой нейронной сетью. Когда классификация завершена, первоначальная сегментация осуществляется по значению уровня градации серого областей опухоли, окончательный результат сегментации достигается с привлечением пост-обработки. Однако в данном подходе не применяются дополнительные локальные классификаторы, использующие мультимодальную корреляцию признаков тканей.

Документ US 20120093381 A1 (19.04.2012) раскрывает способ сегментации опухоли головного мозга в многопараметрических трехмерных МРТ изображениях (магнитно-резонансных изображениях). Способ содержит: предварительную обработку входного многопараметрического трехмерного МРТ изображения; классификацию каждого воксела в предварительно обработанном многопараметрическом трехмерном МРТ изображении; определение вероятности того, что воксел является частью опухоли головного мозга и получение исходной информации метки для сегментации изображения на основе вероятности классификации; построение представления на основе графа для предварительно обработанного изображения, подлежащего сегментированию; и генерирование сегментированного изображения опухоли головного мозга с использованием исходной информации метки и представления на основе графа. Данный подход использует попарное сходство интенсивностей вокселов и классификацию вокселов на основании графа. Однако сегментация в соответствии с данным решением имеет низкое качество вследствие недостатка статистической информации.

Таким образом, основные проблемы при сегментации медицинских изображений органов/тканей заключаются в следующем:

- Огромная размерность данных. При сегментации тканей на медицинских изображениях вычислительному устройству приходится обрабатывать большой объем данных (например, объемные 512×512×256 данные одной модальности или мультимодальные объемные данные МРТ 512×512×256×4), что приводит к длительной обработке изображения и предъявляет повышенные требования к вычислительной мощности применяемого оборудования.

- Низкое разрешение, произвольное расположение/форма патологий, нечеткие границы между тканями, высокая степень сходства между тканями, что приводит к низкой точности сегментации.

Таким образом, техническая задача настоящего изобретения заключается в повышении быстродействия и качества обработки медицинских изображений для сегментации тканей/органов человека и/или обнаружения патологий/опухолей.

Краткое раскрытие сущности

Настоящее изобретение раскрывает способ и систему для сегментации медицинских изображений, содержащую запоминающее устройство для хранения исходного набора медицинских изображений и результирующего набора данных сегментированных изображений, препроцессор, каскад сверточных нейронных сетей, по меньшей мере, один локальный классификатор и постпроцессор.

Упомянутая система сегментации работает следующим образом.

Входные объемные медицинские изображения приводятся к единому шагу сэмплирования (дискретизации) и одному масштабу, обычно с помощью операции интерполяции. Подготовленные таким образом изображения обрабатывают с помощью первой CNN путем сегментации по срезам вдоль одной из осей для получения карты вероятностей обнаружения тканей или патологий/опухолей и выделения на ее основании интересующей области (Region of Interest, ROI).

Далее вторая CNN выполняет объемную сегментацию в пределах выделенной ROI на медицинских изображениях. В результате такой обработки получают карту вероятностей многоклассовой сегментации.

Затем посредством локального классификатора обрабатывают полученную карту вероятностей многоклассовой сегментации в пределах ROI и получают предварительную карту многоклассовой сегментации. В дальнейшем эта предварительная карта сегментации подвергается постобработке для получения окончательной карты сегментации.

Целью многоклассовой сегментации является отображение объемного медицинского изображения в объемную карту, где каждая цифра обозначает определенную ткань (для задачи сегментации тканей) или патологию (для задачи обнаружения патологий/опухолей). Например, МРТ изображению может быть поставлено в соответствие объемная карта в градации серого, где различным оттенкам серого соответствует эдема или опухоль (см. фиг. 3).

Ключевые аспекты настоящего изобретения заключаются в следующем:

1. Для осуществления первичной обработки изображения используется сверточная нейронная сеть (CNN), возвращающая карту вероятностей для осуществления предварительной сегментации.

2. Каскад из двух сверточных нейронных сетей позволяет повысить скорость и точность сегментации:

- первая CNN получает предварительную карту вероятностей обнаружения тканей или патологий и на ее основе выделяет интересующую область (ROI) меньшего размера;

- вторая CNN уточняет карту вероятностей многоклассовой сегментации в пределах ROI.

3. Совокупность каскада сверточных нейронных сетей и локального классификатора позволяет повысить точность сегментации и получить в результате сплошную гладкую карту сегментации (с использованием дополнительной информации в зависимости от поставленной задачи).

Таким образом, настоящее изобретение позволяет повысить скорость и качество сегментации тканей/органов человека и/или обнаружения патологий/опухолей на медицинских изображениях.

Краткое описание чертежей

В дальнейшем изобретение поясняется описанием предпочтительных вариантов воплощения изобретения со ссылками на сопроводительные чертежи, на которых:

Фиг.1 изображает блок-схему алгоритма осуществления способа сегментации изображений согласно настоящему изобретению.

Фиг.2 изображает плоскости тела человека: 1 - корональную, 2 - сагиттальную и 3 - аксиальную.

Фиг.3 изображает сравнение среза предварительной и окончательной карт многоклассовой сегментации.

Фиг. 4 изображает пример многоклассовой сегментации некоторых органов головного мозга в корональном срезе.

Описание предпочтительных вариантов осуществления изобретения

Далее будет описан способ сегментации медицинских изображений со ссылкой на фиг.1.

На этапе 101 посредством препроцессора осуществляется предварительная обработка набора объемных необработанных медицинских изображений исследуемой области, полученных посредством системы визуализации. Такая система визуализации может представлять собой систему на основе одной из следующих методик и/или их комбинаций: компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвуковое исследование (УЗИ), позитронно-эмиссионная томография (ПЭТ) и другие подходящие методики визуализации. Например, в качестве входного сигнала могут быть несколько объемных МРТ изображений различного протокола съемки (с контрастирующим веществом, без контрастирующего вещества) или комбинация МРТ и КТ изображений. Упомянутая предварительная обработка заключается в приведении входных объемных медицинских изображений к единому шагу сэмплирования и одному масштабу (количеству пикселей для аксиальной, корональной и сагиттальной плоскостей, изображенных на фиг.2) с помощью операции интерполяции (например, линейной, билинейной, бикубической). Это обязательная операция гарантирует единообразие обработки с помощью сверточных нейронных сетей.

На этапе 102 в первую CNN каскада сверточных нейронных сетей подают подготовленные объемные медицинские изображения, полученные в результате выполнения этапа 101, и упомянутая первая CNN осуществляет их сегментацию вдоль одной (например, аксиальной) оси на основании параметров CNN, заданных заранее. Параметры CNN включают в себя и однозначно ее определяют: количество слоев сети, размеры ядер свертки, размеры ядер пулинга (pooling) для каждого слоя, параметры параметрического усеченного линейного преобразования (PReLU parameters) и весовые коэффициенты CNN. Выбор параметров CNN относится к итеративной процедуре обучения сверточных нейронных сетей методом обратного распространения ошибки на основе множества размеченных данных (соответствия объемных медицинских изображения и объемной карты локализации тканей и/или опухолей), и в данной заявке не рассматривается. Сегментация с помощью первой CNN заключается в том, что CNN ставит соответствие (на основании своих параметров) карты вероятностей распределения каждого из выбранного класса тканей или опухолей двухмерным изображениям (срезам) и/или их комбинации. Таким образом, объемная сегментация производится по частям, по срезам, а именно: проводится набор отдельных независимых сегментаций по срезам по одной из осей объема. Такая обработка двухмерных изображений вдоль одной из осей вычислительно существенно проще и быстрее обработки вдоль всех осей или сразу в объеме. В результате такой сегментации получают первоначальную карту вероятностей обнаружения заданной ткани или опухоли в заданном объеме.

С помощью порогового отсечения на медицинских изображениях выделяют интересующую область (ROI). Пороговое значение для отсечения определяется на размеченном наборе данных (соответствия объемных медицинских изображения и объемной карты локализации тканей и/или опухолей) таким образом, чтобы все находящееся снаружи определяемой области интереса однозначно принадлежало только одному классу. Порог может быть выбран эмпирически применительно к данному типу медицинского изображения (например, правило трех сигма) или автоматически как оптимизация межклассового расстояния (например, алгоритм Оцу (Otsu's method)). При этом размер ROI, которая обрабатывается далее, существенно меньше размера исходного изображения, что позволяет снизить вычислительную сложность последующей обработки.

На этапе 103 набор данных в пределах выделенной ROI на медицинских изображениях, полученной на этапе 102, подается во вторую CNN. Вторая CNN на основании параметров второй CNN, заданных заранее, осуществляет объемную сегментацию выделенной ROI на медицинских изображениях для получения карты вероятностей многоклассовой сегментации. Существенным отличием сегментации с помощью второй CNN является обработка двухмерных изображений (срезов аксиальной, корональной и сагиттальной плоскостей) вдоль всех осей или сразу в объеме, что является вычислительно сложной и долгой операцией. Однако в данном случае эта операция выполняется только для ограниченного объема ROI, что позволяет значительно снизить сложность и объем вычислений. В результате выполнения объемной сегментации с помощью второй CNN существенно уточняется карта вероятностей распределения каждого из выбранного класса тканей или опухолей. Это позволяет значительно уточнить обнаружение заданной ткани или опухоли на объемных медицинских изображениях. Затем полученная карта вероятностей многоклассовой сегментации передается в локальный классификатор.

Видно, что две используемые CNN различаются по задаче, специфике входного сигнала, а соответственно, и используемым параметрам.

На этапе 104 производится уточнение сегментации участка ROI подготовленного объемного медицинского изображения с использованием дополнительного специализированного локального классификатора, специфика и параметры которого подобраны специально для решения конкретной задачи. Под локальным классификатором в настоящей заявке подразумевается общепринятый подход к обработке данных в некоторой окрестности по решающему правилу и его аппаратная реализация. Параметры локальных классификаторов подбираются в результате итеративных процедур обучения методом максимального правдоподобия на основе набора размеченных данных (соответствия объемных медицинских изображения и объемной карты локализации тканей и/или опухолей). Вопрос подбора конкретных параметров локального классификатора лежит за пределами настоящего изобретения.

Таким образом, CNN выполняют основную работу по сегментации или нахождению патологий тканей. Однако результат работы CNN визуально часто неудовлетворителен: плохо определены границы классов, они размыты или «рваные» (см. Фиг 3). Для того чтобы получить визуально сплошной, более гладкий, качественный, удобный для восприятия результат, применяется дополнительный, менее мощный, но более специализированный алгоритм - локальный классификатор, цель которого за очень небольшое время уточнить границы, восстановить гладкость формы тканей.

Отличительной особенностью локальных классификаторов является область видимости: здесь CNN работает над полным изображением (или его ROI), а локальный классификатор принимает решение по некоторой очень небольшой локальной окрестности (например, 10×10×10 пикселей), обрабатывая таким образом последовательно весь объем ROI. Важно, что ROI может занимать больше половины всего объема исходного медицинского изображения, поэтому CNN работает над существенно большим объемом данных одновременно.

Локальный классификатор принимает решение по отнесению тканей к тому или иному органу в задаче сегментации тканей либо к нормальной ткани или типам патологии в задаче обнаружения патологий в зависимости от параметров, полученных в результате обучения на размеченных данных.

Для задач сегментации тканей удобно привлекать априорные медицинские знания. Для этого в качестве локального классификатора могут быть реализованы статистические методы как условные случайные поля (Conditional random field) или методы построения атласа взаимного расположения тканей и органов.

Для задач нахождения опухолей невозможно использовать априорные медицинские знания, например, о взаимном расположении органов и тканей в теле человека. Для этого используются избыточные данные об одном объекте, полученные несколькими разными способами. Например, может использоваться комбинация КТ и МРТ изображений, МРТ изображения различных протоколов (параметров МРТ) съемки и т.д. Здесь в качестве локальных классификаторов могут быть реализованы алгоритмы машинного обучения с привлечением ансамбля регрессий или решающих лесов [L. Breiman, «Random Forests», Machine Learning 45, 5-32 (2001)].

Карта вероятностей многоклассовой сегментации, полученная на выходе второй CNN, и карта, полученная на выходе локального классификатора, объединяются посредством взвешенного усреднения. Весовые коэффициенты могут быть выбраны эмпирически применительно к данному типу медицинского изображения или автоматически (например, с точки зрения максимизации качества сегментации на размеченных объемных изображениях).

В результате получают предварительную карту многоклассовой сегментации, которая обычно достаточно грубая (см. фиг. 3А).

На этапе 105 посредством постпроцессора осуществляют постобработку предварительной карты сегментации для ее сглаживания, устранения мелких ложных объектов, повышения визуального восприятия (см. фиг. 3В), т.е. для повышения качества результирующего изображения.

Постобработка включает в себя фильтрацию мелких объектов с помощью мажоритарной логики (все объекты объемом меньше некоторого заданного принудительно удаляются), сглаживание границ (например, с помощью низкочастотного Гауссового фильтра), подчеркивание смазанных границ (например, с помощью высокочастотного фильтра Собеля, Превитта) и т.д.

Параметры постобработки задаются в зависимости от задачи, выбираются эмпирически или автоматически с целью максимизации качества на размеченных медицинских изображениях.

Для получения окончательной карты сегментации тканей опционально может использоваться анатомическая модель взаимных расположений органов, для которых производится сегментация. Это необходимо для устранения ошибок сегментации. Например, мелкий объект размером в несколько вокселей легко может быть потерян, однако анатомическая модель привлекает знание взаимного расположения тканей и органов.

На Фиг. 4 показан пример многоклассовой сегментации некоторых органов головного мозга. Мелкие объекты легко могут быть потеряны, но знание о их взаимном расположении у человека помогут их принудительно восстановить.

Это дает возможность восстановить расположение недостающего органа/ткани в окончательной карте сегментации. На фиг.1 опциональность использования анатомической модели показана посредством выколотой (незакрашенной) точки на входе.

Стоит отметить, что при обнаружении опухолей анатомические данные не используются для уточнения изображения, т.к. патологии могут возникнуть в любом месте.

В результате выполнения описанного выше способа получают сплошную гладкую карту многоклассовой сегментации (см. фиг. 3 для визуального представления).

На фиг. 3 изображено сравнение среза предварительной (А) и окончательной (В) карт многоклассовой сегментации, причем градациями серого показаны: (белый) опухоль, (серый) эдема и (черный) здоровые ткани.

Система сегментации медицинских изображений согласно настоящему изобретению содержит запоминающее устройство для хранения исходного набора медицинских изображений и результирующего набора данных сегментированных изображений, препроцессор, каскад сверточных нейронных сетей, состоящий из двух последовательных сверточных нейронных сетей, по меньшей мере, один локальный классификатор и постпроцессор, предназначенные для осуществления вышеописанной обработки медицинских изображений для сегментации тканей/органов и/или обнаружения патологий/опухолей.

Согласно одному из аспектов изобретения предложен компьютерно-читаемый носитель информации, содержащий компьютерную программу для осуществления вышеупомянутого способа сегментации медицинских изображений при исполнении упомянутой программы процессором или компьютером.

Использование CNN в настоящем изобретении при осуществлении первичной обработки изображения позволяет получить карту вероятностей обнаружения тканей или патологий для осуществления предварительной сегментации. Грубая предварительная сегментация может быть уточнена посредством локальных классификаторов и/или постобработки. Каскад из двух CNN позволяет осуществлять поиск интересующей области посредством обработки по срезам и быструю объемную обработку в пределах ROI, что значительно повышает быстродействие и производительность алгоритма. Объединение CNN и по меньшей мере одного локального классификатора в настоящем изобретении позволяет осуществлять быстрый старт локального классификатора с использованием результатов, полученных каскадом CNN, и обеспечивает их гибкую настройку и совместимость. Такое комбинирование CNN и локального классификатора согласно настоящему изобретению позволяет получить сплошную карту сегментации с высокой точностью и хорошей визуализацией для клинического персонала.

Обе CNN обучаются методом обратного распространения ошибки на наборе заранее размеченных экспертом данных. В рамках предложенного изобретения возможно дообучение (тонкая настройка) с целью улучшения качества работы обеих CNN и локальных классификаторов в процессе работы при условии того, что эксперт выделит неточные участки результата сегментации изображения. Однако дообучение CNN занимает существенное количество времени.

Таким образом, настоящее изобретение позволяет осуществлять быструю сегментацию медицинских изображений с высокой степенью точности.

Настоящая заявка находит конкретное применение при сегментации тканей и обнаружении патологий на медицинских изображениях. Однако следует понимать, что описанный подход может также найти применение в других типах систем обработки изображений, в системах сегментации изображения и/или в медицинских применениях.

Например, данный подход может использоваться для сегментации и последующей обработки изображений, полученных с помощью фото- или видеокамеры. Также настоящее изобретение может использоваться в сложных системах идентификации личности человека посредством формирования гибридных изображений, т.е. изображений, полученных путем комбинирования цветного изображения в видимой части спектра и инфракрасного изображения. Кроме того, настоящее изобретение может применяться для формирования трехмерного изображения органов человека при 3D-печати частей органов для имплантации.

Варианты осуществления настоящего изобретения не ограничиваются описанными здесь вариантами осуществления, специалисту в области техники на основе информации, изложенной в описании, и знаний уровня техники станут очевидны и другие варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Специалисту в области техники должно быть понятно, что сущность изобретения не ограничена конкретной программной или аппаратной реализацией, и поэтому для осуществления изобретения могут быть использованы любые программные и аппаратные средства, известные в уровне техники. Так, аппаратные средства могут быть реализованы в одной или нескольких специализированных интегральных схемах, цифровых сигнальных процессорах, устройствах цифровой обработки сигналов, программируемых логических устройствах, программируемых пользователем вентильных матрицах, процессорах, контроллерах, микроконтроллерах, микропроцессорах, электронных устройствах, других электронных модулях, выполненных с возможностью осуществлять описанные в данном документе функции, компьютер либо комбинации вышеозначенного.

Очевидно, что, когда речь идет о хранении данных, программ и т.п., подразумевается наличие компьютерно-читаемого носителя данных. Примеры компьютерно-читаемых носителей данных включают в себя постоянное запоминающее устройство, оперативное запоминающее устройство, регистр, кэш-память, полупроводниковые запоминающие устройства, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD), а также любые другие известные в уровне техники носители данных.

Несмотря на то что примерные варианты осуществления были описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать более широкое изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку различные другие модификации могут быть очевидны специалистам в соответствующей области.

Признаки, упомянутые в различных зависимых пунктах формулы, а также варианты осуществления, раскрытые в различных частях описания, могут быть скомбинированы с достижением полезных эффектов, даже если возможность такого комбинирования не раскрыта явно.