СИСТЕМА ЦИФРОВОЙ ПАТОЛОГИИ

ОБЛАСТЬ ТЕХНИКИ

Настоящее изобретение относится к области цифровой патологии и, в частности, к системе, используемой в цифровой патологии, к способу интеграции цифровой патологии с молекулярной диагностикой. Кроме того, изобретение относится к элементу компьютерной программы, а также к компьютерно-читаемому носителю.

УРОВЕНЬ ТЕХНИКИ

Цифровая патология относится к созданию, просмотру, управлению, совместному использованию, анализу и интерпретации цифровых изображений препаратов образцов, содержащих биологический материал (например, ткани), и включают в себя принципы последовательности выполнения операций, уникальные для сферы цифровой обработки изображений. Важным аспектом функционирования цифровой патологии является качество цифровых изображений. Например, некоторые цифровые изображения могут иметь слабую контрастность, когда препараты образцов содержат неокрашенный биологический материал, такой как неокрашенная ткань. Слабая контрастность может повлиять на разборчивость цифровых изображений и тем самым затруднить, например, автоматическое совмещение посредством компьютерного алгоритма. Например, документ US 8,229,194 B2 описывает способ совмещения изображений.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Может существовать необходимость обеспечить систему для улучшения последовательности выполнения операций в процессе выбора исследуемого участка неокрашенного образца, который должен быть удален для молекулярной диагностики.

Задача настоящего изобретения решена посредством предмета независимых пунктов формулы изобретения, причем дополнительные варианты осуществления включены в зависимые пункты. Следует отметить, что следующие описанные аспекты изобретения применяются также к системе для использования в цифровой патологии, для способа интеграции цифровой патологии с молекулярной диагностикой, для элемента компьютерной программы и для компьютерно-читаемого носителя.

В соответствии с первым аспектом настоящего изобретения обеспечен способ выбора области удаления образца неокрашенного образца, который должен быть удален для молекулярной диагностики. Способ содержит следующие этапы:

a) выбор эталонной области удаления на эталонном изображении эталонного среза объекта; причем биологический материал в эталонном срезе окрашен;

b) получение цифрового изображения образца среза образца объекта при настройке визуализации, причем биологический материал в срезе образца не окрашен. Срез образца принимается на препарате образца и помещается на оптическую траекторию между источником света и детектором изображения. На оптической траектории между источником света и детектором изображения дополнительно обеспечено приспособление для усиления контрастности для улучшения контрастности между неокрашенным биологическим материалом и фоном. Обеспечивается свет, проходящий через срез образца, который будет принят детектором изображения;

c) совмещение цифрового изображения образца с эталонным изображением для переноса эталонной области удаления на эталонном изображении на цифровое изображение образца; и

d) идентификация области удаления образца на цифровом изображении образца на основе перенесенной эталонной области удаления.

В примере обеспечен способ интеграции цифровой патологии с молекулярной диагностикой. Способ содержит следующие этапы:

a) прием препарата образца со срезом образца объекта, содержащего неокрашенный биологический материал, и размещение среза образца на оптической траектории между источником света и детектором изображения. На оптической траектории между источником света и детектором изображения дополнительно обеспечено приспособление для усиления контрастности для улучшения контрастности между биологическим материалом и фоном;

b) обеспечение света, проходящего через срез образца, который будет принят детектором изображения;

c) получение цифрового изображения образца среза образца при настройке визуализации; и

d) совмещение цифрового изображения образца с эталонным изображением эталонного среза объекта для переноса эталонной области удаления на эталонном изображении на цифровое изображение образца.

Преимущественно контрастность между неокрашенным биологическим материалом (например, тканью) и фоном (например, заливающим парафином) может быть увеличена. Устройство совмещения, таким образом, может идентифицировать неокрашенный биологический материал на препарате образца и автоматически совмещать цифровой препарат образца с эталонным препаратом. Это может дополнительно обеспечить возможность цифровой обработки без необходимости ручного совмещения посредством просмотра эталонного препарата и сравнения эталонного препарата с препаратом образца. Последовательность выполнения операций цифровой патологии, таким образом, может быть улучшена. Увеличенная контрастность также может помочь специалисту по цифровой патологии в обнаружении неокрашенного биологического материала и сократить нагрузку на пользователя (например, технического специалиста лаборатории) для визуального сравнения препарата образца с неокрашенным биологическим материалом с эталонным препаратом, чтобы удостовериться, что выбраны правильные секции для молекулярного тестирования.

В соответствии со вторым аспектом настоящего изобретения обеспечена система для выбора области удаления образца неокрашенного образца, который должен быть удален для молекулярной диагностики. Система содержит устройство формирования изображений и устройство совмещения. Устройство формирования изображений содержит источник света, приспособление для приема объекта и детектор изображения. Источник света и детектор изображений размещены на оптической траектории. Источник света выполнен с возможностью обеспечивать свет, проходящий через препарат образца, который будет принят детектором изображения. Приспособление для приема объекта выполнено с возможностью принимать препарат образца со срезом образца объекта, в котором биологический материал в срезе образца не окрашен, и помещать срез образца на оптическую траекторию для получения цифрового изображения образца среза образца. На оптической траектории между источником света и детектором изображения дополнительно обеспечено приспособление для усиления контрастности для улучшения контрастности между неокрашенным биологическим материалом и фоном. Устройство совмещения выполнено с возможностью принимать эталонное изображение эталонного среза объекта, в котором биологический материал в эталонном срезе окрашен, и в котором в эталонном изображении определена эталонная область удаления. Устройство совмещения дополнительно выполнено с возможностью совмещать цифровое изображение образца на эталонном изображении для переноса эталонной области удаления на эталонном изображении в цифровое изображение образца и идентифицировать область удаления образца на цифровом изображении образца на основе перенесенной эталонной области удаления.

В примере обеспечена система для использования в цифровой патологии. Система содержит устройство формирования изображений и устройство совмещения. Устройство формирования изображений содержит источник света, приспособление для приема объекта и детектор изображения. Источник света и детектор изображений размещены на оптической траектории. Источник света выполнен с возможностью обеспечивать свет, проходящий через препарат образца, который будет принят детектором изображения. Приспособление для приема объекта выполнено с возможностью принимать препарат образца со срезом образца объекта, содержащего неокрашенный биологический материал, и помещать срез образца на оптическую траекторию для получения цифрового изображения образца среза образца. Устройство совмещения выполнено с возможностью совмещать цифровое изображение образца на эталонном изображении эталонного среза объекта для переноса эталонной области удаления на эталонном изображении на цифровое изображение образца. На оптической траектории между источником света и детектором изображения дополнительно обеспечено приспособление для усиления контрастности для улучшения контрастности между биологическим материалом и фоном.

В соответствии с третьим аспектом изобретения обеспечен элемент компьютерной программы для управления устройством в соответствии с одним из описанных выше вариантов осуществления, и который в дальнейшем при его исполнении процессором выполнен с возможностью выполнять способ изобретения.

В соответствии с четвертым аспектом изобретения обеспечен компьютерно-читаемый носитель, имеющий сохраненный элемент программы.

В соответствии с примером приспособление для усиления контрастности содержит приспособление поляризаторов, приспособление поляризаторов содержит первый поляризатор и второй поляризатор. Приспособление для приема объекта выполнено с возможностью помещать срез образца на оптическую траекторию между первым поляризатором и вторым поляризатором.

Обеспечение приспособления поляризаторов может усилить оптическую контрастность неокрашенного биологического материала (например, залитой в парафин неокрашенной ткани) для аннотации исследуемых участков и/или областей удаления оператором, и/или посредством автоматического совмещения исследуемых участков, и/или посредством удаления областей, определенных в эталонном изображении. Тем самым может быть достигнут цифровой и автоматизированный метод выбора образца, например, для молекулярной диагностики, который может ослабить нагрузку утомительной и трудоемкой работы визуального сравнения препарата парафина с эталонным препаратом.

В соответствии с примером приспособление для усиления контрастности содержит приспособление оптического фильтра по меньшей мере с одним оптическим фильтром, выбранным из следующей группы:

- цветной стеклянный фильтр;

- цветной пластиковый фильтр;

- желатиновый фильтр;

- диэлектрический фильтр; и

- плазмонный фильтр.

Использование оптического фильтра (фильтров) также может усилить контрастность между неокрашенным биологическим материалом и окружающим фоном, который может содержать парафин. С помощью оптических фильтров (например, полосовых фильтров), используемых при обнаружении флюоресценции, возможно включить автофлуоресценцию (излучение света биологическим материалом, когда он поглотил свет) с помощью поляризаторов.

Цветной стеклянный фильтр может относиться к тонированному стеклу.

Цветной пластиковый фильтр может относиться к хромофорным красителям, встроенным в матрицу пластика.

Диэлектрический фильтр может содержать диэлектрическую многослойную структуру, нанесенную на стеклянную или пластиковую основу, которая действует для селективного отражения или пропускания.

Плазмонный фильтр может относиться к цветным фильтрам на основе плазмонных резонансов, например, к металлическим наноструктурам, нанесенным на стеклянную или пластиковую подложку.

В соответствии с примером устройство совмещения выполнено с возможностью идентифицировать область удаления образца на цифровом изображении образца на основе эталонной области удаления на эталонном изображении.

Идентифицированная область удаления образца может быть использована в качестве эталона для нахождения области удаления на препарате образца.

В соответствии с примером система дополнительно содержит устройство маркировки. Устройство маркировки выполнено с возможностью обеспечивать маркировку удаления на препарате образца на основе области удаления образца, идентифицированной на цифровом изображении образца.

Маркировка удаления указывает область, в которой должен быть удален биологический материал. Оператор (например, технический специалист лаборатории) может удалить биологический материал вручную. В качестве альтернативы для удаления биологического материала может быть использовано устройство иссечения.

В соответствии с примером система дополнительно содержит устройство иссечения. Устройство иссечения выполнено с возможностью удалять биологический материал в области удаления со среза образца. Область удаления обеспечена на основе области удаления образца, идентифицированной на цифровом изображении образца.

Посредством использования устройства иссечения возможно избежать риска загрязнения (например, вследствие касания препарата пальцами) или недостаточной точности. Кроме того, выбор образца и последовательность выполнения операций иссечения могут быть улучшены.

В соответствии с примером, устройством формирования изображений является светлопольный микроскоп.

В соответствии с примером этап b) дополнительно содержит:

c1) получение дополнительного цифрового изображения образца среза образца при другой настройке визуализации; и

c2) обеспечение суммы цифрового изображения образца и дополнительного цифрового изображения образца в качестве цифрового изображения образца для использования на этапе c).

Цифровое изображение образца может содержать вариацию интенсивности в фоновой области (например, в области, содержащей парафин). Комбинация двух или более цифровых изображений образца при разных настройках визуализации может удалить или подавить такой неравномерный фон и тем самым увеличить подобие между цифровым изображением образца и эталонным изображением для совмещения изображения.

В соответствии с примером, настройка визуализации этапа b) содержит по меньшей мере один параметр из следующей группы:

- взаимная ориентация поляризаторов в приспособлении поляризаторов;

- ориентация приспособления поляризаторов относительно среза образца;

- длина волны света; и

- размещение среды с двойным преломлением на оптической траектории.

В соответствии с примером перед этапом c) обеспечены следующие этапы:

e1) вычисление среднего значения интенсивности фоновой области в цифровом изображении образца;

e2) отсечение значений интенсивности, которые выше вычисленного среднего значения интенсивности, чтобы обеспечить усеченное цифровое изображение образца;

e3) выступающее морфологическое замыкание значений интенсивности усеченного изображения, чтобы обеспечить замкнутое цифровое изображение образца; и

e4) обеспечение замкнутого цифрового изображения образца в качестве цифрового изображение образца для использования на этапе c);

причем предпочтительно также обеспечены следующие этапы:

e5) выполнение морфологического замыкания оценок интенсивности в эталонном изображении, чтобы обеспечить замкнутое эталонное изображение; и

e6) обеспечение замкнутого эталонного изображения в качестве эталонного изображения для использования на этапе c).

Цифровое изображение образца также может содержать пятна (пиксели с вариациями интенсивности) в фоновой области. Посредством усечения и морфологического замыкания значений интенсивности в цифровом изображении образца и факультативно в эталонном изображении вариация интенсивности в фоновой области может быть сглажена. Внешнее подобие пары изображений (цифрового изображения образца и эталонного изображения) может быть улучшено для совмещения изображения.

В соответствии с примером после этапа d) обеспечен по меньшей мере один из следующих этапов:

f) идентификация области удаления образца на цифровом изображении образца на основе эталонной области удаления на эталонном изображении;

g) обеспечение маркировки удаления на препарате образца на основе области удаления образца, идентифицированной на цифровом изображении образца; и

h) удаление биологического материала в области удаления со среза образца, причем область удаления обеспечена на основе области удаления образца, идентифицированной на цифровом изображении образца.

Биологический материал в области удаления удаляется для молекулярного диагностического тестирования, которое выполняется на этих участках. Может быть обеспечена более хорошая интеграция цифровой патологии и молекулярной диагностики.

В последующем описании термин ʺбиологический материалʺ относится к ткани, клеткам, текучим средам или другому материалу, полученному из тела человека или не человека. Биологический материал может быть получен из живого организма или также из неживого (мертвого) организма. Например, в зависимости от подозреваемого типа рака биологический материал может быть получен по-разному, например, посредством прицельной биопсии, трепанобиопсии, эксцизионной/инцизионной биопсии и т.д.

Термин "объект" относится к образцу биологического материала, в частности, формирующему блок материала. Следовательно, объект также может упоминаться как "образец объекта", "образец материала" или "блок объекта".

Термин "срез образца" относится к (малой) части биологического материала, например, тонкому слою биологического материала, такого как ткань, клетка или текучие среды, который получен рассечением, например, залитого в парафин лабораторного пробного экземпляра (например, после процедур химической фиксации, обработки и заливки) на тонкие слои. Толщина слоя может составлять порядка нескольких микрометров. Например, толщина среза образца может составлять 2-4 микрометра. В зависимости от применений срез образца также может иметь толщину в пределах от 0,5 до 50 микрометров. Например, несколько срезов образца отрезаются от объекта один за другим.

Термин "препарат образца" относится к предметным стеклам или другому прозрачному несущему материалу, на которые затем устанавливаются срезы образца для точной визуализации и/или для получения изображений. Следовательно, термин "образец" также может упоминаться как лабораторный препарат или препарат. Препараты образца содержат, например, патологогистологические препараты (т.е., ткань биопсийного или хирургического препарата, установленного на предметных стеклах), а также цитологические препараты (т.е., свободные клетки или фрагменты ткани, установленные на предметных стеклах).

Термин "эталонный срез" может относиться к тонкому слою биологического материала, поддерживаемого эталонным препаратом, на котором исследуемые участки (например, участки, содержащие биологические материалы, такие как ткань) или исследуемые области удаления (например, области, в которых, ткань соскабливается для молекулярного тестирования) аннотируются или маркируются либо посредством компьютерного алгоритма, либо пользователем (специалистом по цифровой патологии). Например, эталонный срез представляет собой окрашенный слой, такой как слой, окрашенный с помощью H&E (гематоксилина и эозина), который позволяет специалисту по цифровой патологии идентифицировать исследуемые участки или интересующие области удаления. Специалист по цифровой патологии может указать исследуемые участки или интересующие области удаления на эталонном срезе. Дополнительные комментарии также могут быть отмечены, например, для указания участков здоровой ткани, которые могут служить в качестве эталона.

Термин "эталонный срез" также может относиться к предшествующему неокрашенному срезу образца, который был визуализирован с той же самой оптической настройкой. Например, если имеются четыре среза A, B, C и D, из которых слой A окрашен (например, окрашен с помощью H&E), и срезы B, C и D не окрашены (или рассматриваются по-другому). Возможно начать с совмещения окрашенного среза A с неокрашенным срезом B, и затем неокрашенного среза B с неокрашенным срезом C, и неокрашенного среза C с неокрашенным срезом D.

Термин "эталонная область удаления" относится к области на эталонном изображении (например, окрашенного с помощью H&E изображения), которая аннотирована или маркирована для указания исследуемого участка (например, участка, содержащего ткань) или области удаления (например, области, в которой ткани соскабливаются, например, для молекулярного диагностического тестирования).

Термин "область удаления образца" относится к области на цифровом изображении образца (т.е., на цифровом изображении среза образца), которая имеет накладывающиеся или совпадающие признаки с эталонной областью удаления.

Термин ʺобласть удаленияʺ относится к области в срезе образца, в которой биологический материал будет удален и собран в пробирку, например, для дальнейшего молекулярного диагностического тестирования.

Термин ʺцифровое изображение образцаʺ относится к цифровому представлению среза образца на препарате образца - следовательно, также называемому цифровым препаратом или оцифрованным предметным стеклом. Данные изображения создаются на основе препарата образца с использованием устройства формирования изображений, например, сканера. Цифровое изображение образца также может быть получено из системы управления изображениями (IMS).

Термин "эталонное изображение" относится к цифровому представлению эталонного среза. Эталонное изображение может содержать аннотации или маркировку для указания, например, исследуемых участков или интересующих областей удаления, а также комментариев для указания, например, участков здоровой ткани, служащих в качестве эталона. Аннотации, маркировка и комментарии могут быть непосредственно указаны на эталонном препарате, который несет на себе эталонный срез, или сделаны в цифровой форме, например, на мониторе. Аналогичным образом, эталонное изображение может быть получено, например, посредством сканера изображений или микроскопа. В качестве альтернативы эталонное изображение может быть обеспечено посредством системы IMS, которая дает возможность архивного и интеллектуального поиска либо локально, либо удаленно через Интернет.

В соответствии с аспектом настоящего изобретения обеспечена система для улучшения качества изображения в цифровой патологии. Система содержит устройство формирования изображений, такое как светлопольный микроскоп, с двумя поляризаторами и/или по меньшей мере с одним оптическим фильтром для получения цифрового изображения препарата образца, содержащего неокрашенный биологический материал. Препарат образца размещен между двумя поляризаторами, ориентированными под углом относительно друг друга с иллюстрацией режима пропускания. Угол поляризаторов может быть выбран между 0° и 90° для оптимальной контрастности. Оптический фильтр также может быть использован для усиления контрастности. Например, оптический фильтр может быть обеспечен как полосовой фильтр для обнаружения флюоресценции. Также возможно объединить оптический фильтр и два поляризатора для включения автофлуоресценции с поляризацией. Совмещение цифрового изображения образца, полученного с помощью поляризаторов и/или оптического фильтра, и эталонного изображения (например, окрашенного с помощью H&E изображения) может быть сделано с использованием совмещения изображения на основе соответствия признаков изображения, которые проявляют подобный внешний вид. Однако внешнее подобие пары изображений - цифрового изображения образца и эталонного изображения - может быть относительно низким, например, вследствие вариаций интенсивности в фоновой области, окружающей биологический материал. Чтобы сократить фоновую структуру в цифровом изображении неокрашенного образца и улучшить внешнее подобие пары изображений, предложены два способа: (i) способ на основе обработки изображений; и (ii) способ, который использует комбинацию по меньшей мере двух изображений, которые получены с помощью пары поляризаторов и/или оптического фильтра. Таким образом, качество изображения, например, контрастность и подобие, может быть дополнительно улучшено. В результате производительность совмещения эталонного препарата с неокрашенным образцом также может быть улучшена. На основе результатов совмещения система может дополнительно содержать устройство маркировки для маркировки или указания области удаления на препарате образца. Также может быть обеспечено устройство иссечения для удаления биологического материала в области удаления в целях молекулярной диагностики. Таким образом, последовательность выполнения операций выбора образца также может быть улучшена.

Эти и другие аспекты настоящего изобретения станут очевидны и будут объяснены со ссылкой на варианты осуществления, описанные далее.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Далее будут описаны иллюстративные варианты осуществления изобретения со ссылкой на следующие чертежи.

Фиг. 1 показывает пример системы для использования в цифровой патологии.

Фиг. 2А показывают пример эталонного изображения.

Фиг. 2B показывает цифровое изображение образца из фиг. 2А, полученное с помощью двух поляризаторов, параллельных друг другу.

Фиг. 3А показывают дополнительный пример эталонного изображения.

Фиг. 3B показывает цифровое изображение образца, совмещенное с эталонным изображением из фиг. 3А.

Фиг. 4 показывает пример этапов основного способа интеграции цифровой патологиис молекулярной диагностикой.

Фиг. 5 показывает дополнительный пример способа.

Фиг. 6А показывают дополнительный пример цифрового изображения образца.

Фиг. 6B показывает увеличенный участок из фиг. 6А.

Фиг. 6C показывает усеченное цифровое изображение образца из фиг. 6B.

Фиг. 6D показывает замкнутое цифровое изображение образца из фиг. 6C.

Фиг. 7 показывает еще один дополнительный пример способа.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 показывает пример системы 10 для использования в цифровой патологии. Система 10 содержит устройство 12 формирования изображений и устройство 14 совмещения. Устройство 12 формирования изображений содержит источник 16 света, приспособление 18 для приема объекта (подробно не показано) и детектор 20 изображения. Источник света и детектор изображения размещены на оптической траектории 22 (обозначенной пунктирной линией). Пунктирная линия предназначена только для иллюстрации и не является какой-либо частью заявленного изобретения.

Источник 16 света выполнен с возможностью обеспечивать свет 24 (обозначенный стрелкой), проходящий через слайд 26 образца, который будет принят детектором 20 изображения. Приспособление 18 для приема объекта выполнено с возможностью принимать препарат 26 образца со срезом 28 образца объекта, содержащего неокрашенный биологический материал, и помещать срез 28 образца на оптическую траекторию 22 для получения цифрового изображения 30 образца (не показано на фиг. 1, см. примеры на фиг. 2B и 3B) среза 28 образца. Совмещение выполнено с возможностью принимать эталонный срез 34 (не показан на фиг. 1, см. примеры в фиг. 2А и 3А) объекта. Биологический материал в эталонном срезе 34 не окрашен. На эталонном изображении 32 выбирается эталонная область 36 удаления (см. фиг. 3А). Устройство 14 совмещения выполнено с возможностью совмещать цифровое изображение 30 образца на эталонном изображении 32 эталонного среза 34 объекта для переноса эталонной области 36 удаления (см. фиг. 3А) на эталонном изображении 32 в цифровое изображение 30 образца. Устройство 14 совмещения дополнительно выполнено с возможностью идентифицировать область 54 удаления образца (см. фиг. 3B) на цифровом изображении 30 образца на основе перенесенной эталонной области 36 удаления на эталонном изображении 32 (см. фиг. 3А и 3B).

На оптической траектории 22 между источником 16 света и детектором 20 изображения дополнительно обеспечено приспособление 38 для усиления контрастности для улучшения контрастности между биологическим материалом и фоном.

Как поймут специалисты в области техники, устройство 12 формирования изображений может содержать другие оптические компоненты, такие как оптика освещения, линза объектива, линза трубки и т.д. Однако для упрощения объяснения настоящей методики эти дополнительные (или факультативные) оптические компоненты не будут описываться в настоящем документе. Устройство формирования изображений также может упоминаться как устройство получения изображений.

В примере устройство 12 формирования изображений представляет собой светлопольный микроскоп.

В качестве примера источником 16 света может являться белый светодиод, обеспеченный как задняя подсветка для гомогенного освещения препарата 26 образца. При желании может быть обеспечено устройство переноса для управления поступательным движением источника 16 света для санирования среза 28 образца.

Срез 28 образца содержит неокрашенный биологический материал, который может быть залит в парафин. Срез 28 образца может поддерживаться, например, быть размещен или закреплен ("установлен") на препарате 26 образца, и затем они вместе вставляются на оптическую траекторию 22 посредством приспособления 18 для приема объекта для просмотра и/или для получения изображений. Хотя не проиллюстрировано на фиг. 1, может быть обеспечено покрытие, например, тонкий слой или пластина из стекла, чтобы защитить и удерживать срез 28 образца.

Приспособление 18 для приема объекта может содержать ручной или снабженный двигателями столик с держателями препарата (например, захваты для препарата, зажимы для препарата или столик поперечного перемещения) для фиксации препарата образца на месте. Держатели препарата также могут быть снабжены двигателями для достижения точного, удаленного управления движением препарата на столике, например, в автоматизированной/управляемой компьютером системе, в частности, когда касание препарата пальцами недопустимо, либо вследствие риска загрязнения, либо недостатка точности.

Свет 24, проходящий через препарат 26 образца, захватывается детектором 20 изображения. Детектор изображения может быть обеспечен как тип датчика, подобного используемым в цифровой камере для получения изображения, которое затем отображается на компьютерном мониторе или сохраняется и переносится в систему управления изображениями. Эти датчики могут использовать комплементарную МОП-структуру (CMOS) или технологию устройств с зарядовой связью (CCD) в зависимости от применения. Если устройство 12 формирования изображений разработано как сканер препарата, в качестве детектора 20 изображения может использоваться камера строчной развертки.

Для улучшения контрастности между биологическим материалом и фоном на оптической траектории 22 между источником 16 света и детектором 20 изображения размещено приспособление 38 для усиления контрастности.

В примере, показанном в качестве варианта на фиг. 1, приспособление 38 для усиления контрастности содержит приспособление 40 поляризаторов. Приспособление 40 поляризаторов содержит первый поляризатор 42 и второй поляризатор 44. Приспособление 18 для приема объекта выполнено с возможностью помещать срез 28 образца на оптическую траекторию 22 между первым поляризатором 42 и вторым поляризатором 44 для получения изображения.

Первый поляризатор может упоминаться как поляризатор, тогда как второй поляризатор может упоминаться как анализатор.

Первый поляризатор и второй поляризатор могут быть способны вращаться относительно друг друга.

Поляризующая пластина (поляризующий фильтр) или поляризующая призма может использоваться в качестве поляризатора для превращения света в поляризованный свет, например, линейно поляризованный свет.

В примере первый и второй поляризаторы пересекаются, т.е., их азимуты колебаний помещены под прямым углом относительно друг друга. Если образец не помещен на предметный столик микроскопа (или подставку для препарата микроскопа), свет не может пройти через оптическую систему, и в изображении представлен темный фон. При освещении парафин в срезе образца на препарате микроскопа изменяет направление колебаний поляризованного света, и это производит светлые области на темном фоне в изображении, поскольку свет частично пропускается анализатором (вторым поляризатором).

В дополнительном примере первый и второй поляризаторы параллельны, т.е., их азимуты колебаний помещены параллельно относительно друг друга. В отличие от первой конфигурации, когда образец не помещен на предметный столик микроскопа, свет проходит через оптическую систему и создает яркий фон. Присутствие парафина в срезе образца изменяет направление колебаний поляризованного света и тем самым производит темные области на светлом фоне в изображении.

С помощью обоих размещений поляризаторов контуры ткани могут быть ясно различены, а также видны детали в ткани. Яркость областей зависит от ориентации поляризатора. Парафин становится светлым при пересеченном размещении поляризаторов, тогда как ткань становится более светлой при параллельном размещении поляризаторов. Это вызвано разностями в двойном преломлении между тканью и парафином. Парафин, который присутствует в области ткани, локально отличается, что приводит к видимости морфологии ткани.

Например, фиг. 2А показывает эталонное изображение 32 залитой в парафин ткани, окрашенной с помощью H&E. На фиг. 2А эталонное (препарат H&E) изображение 32 показано без использования поляризаторов, на котором явно видимы секции 46 ткани эталонного препарата 34.

На фиг. 2B получено цифровое изображение 30 образца, когда два поляризатора находятся в параллельной конфигурации. Для разъяснения изображены разные области - секции 46 ткани, область 48 парафина и стекло 50.

Теоретически может использоваться любой угол между двумя поляризаторами, чтобы оптимизировать желаемые контрастные и обнаружимые признаки. Например, угол между азимутами колебаний первого и второго поляризаторов может составлять 10°, 30°, 60° или любые другие подходящие значения.

В еще одном дополнительном примере может быть объединена информация нескольких изображений, полученных с разными ориентациями поляризаторов.

Посредством использования приспособления поляризаторов может быть улучшена контрастность между неокрашенным биологическим материалом и фоновой областью, окружающей биологический материал (например, областью, содержащей парафин). Улучшенная контрастность может расширить видимость биологического материала на фоне.

В дополнительном примере, также показанном на фиг. 1 в качестве варианта, приспособление для усиления контрастности содержит приспособление 52 оптического фильтра по меньшей мере с одним оптическим фильтром, выбранным из следующей группы: цветной стеклянный фильтр; цветной пластиковый фильтр; желатиновый фильтр; диэлектрический фильтр; и плазмонный фильтр.

Оптический фильтр используется для выборочного пропускания света в малом диапазоне цветов с отражением или поглощением других цветов. Оптический фильтр может быть выбран с соответствием спектральных характеристик возбуждения и излучения маркированного флуорофором биологического материала или автофлуоресцентного биологического материала. Другими словами, оптический фильтр, который ослабляет весь свет, пропускаемый фильтром возбуждения, и очень эффективно пропускает флюоресценцию, испускаемую маркированным биологическим материалом или автофлуоресцентным биологическим материалом.

Оптический фильтр может быть выполнен с возможностью содержать по меньшей мере один из следующей группы: полосовой фильтр, длинноволновой пропускающий фильтр и коротковолновой пропускающий фильтр.

Полосовой фильтр имеет четко определенное пропускание коротких волн и отсечение длинных волн. Длинноволновой пропускающий фильтр ослабляет более короткие волны и пропускает более длинные волны по активному диапазону спектра (который зависит от конкретного применения). Коротковолновой пропускающий фильтр ослабляет более длинные волны и пропускает более короткие волны по активному диапазону спектра.

Также следует отметить, что, хотя на фиг. 1 проиллюстрированы и приспособление 40 поляризаторов, и приспособление 52 оптического фильтра, они обеспечены в качестве факультативных вариантов.

В примере только приспособление 40 поляризаторов обеспечено и размещено на оптической траектории 22. В дополнительном примере только приспособление 52 оптического фильтра обеспечено и размещено на оптической траектории 22. В еще одном дополнительном примере, как показано на фиг. 1, и приспособление 40 поляризаторов, и приспособление 52 оптического фильтра обеспечены и размещены на оптической траектории 22.

Цифровое изображение 30 образца (с улучшенной контрастностью) совмещается с эталонным изображением 32 для переноса эталонной области 36 удаления на эталонном изображении 32 в цифровое изображение 30 образца посредством устройства 14 совмещения.

В примере устройство 14 совмещения относится к блоку обработки изображений.

Как указано выше, эталонная область 36 удаления относится к областям, в которых ткани соскоблены, например, с целью молекулярного тестирования. В примере эталонная область 36 удаления на эталонном изображении 32 основана на морфологии или шаблоне окрашивания эталонного среза 34.

Специалист по цифровой патологии может в цифровой форме выбрать эталонную область удаления на эталонном изображении. Для выбора эталонной области удаления на эталонном изображении соответствующий эталонный срез, как правило, предварительно окрашивается, например, с помощью H&E. Специалист по цифровой патологии также может аннотировать эталонную область удаления непосредственно на эталонном срезе, например, посредством использования различных цветов карандаша, чтобы указать разные участки в ткани на эталонном препарате. Аннотированный препарат может использоваться в качестве эталонного препарата. В качестве альтернативы специалист по цифровой патологии может аннотировать эталонную область удаления в цифровой форме на экране. В качестве дополнительного примера эталонная область удаления может быть обнаружена при помощи компьютерного алгоритма, который, например, определяет эталонную область удаления на эталонном изображении на основе некоторых признаков (интенсивность, цвет, яркость и т.д.).

Совмещение может быть сделано посредством обнаружения накладывающихся признаков между эталонным изображением и цифровым изображением образца. Цифровое изображение образца может быть повернуто, сдвинуто или растянуто, чтобы соответствовать эталонному изображению.

Например, для совмещения изображения по меньшей мере некоторые признаки (например, A, B, C) на эталонном изображении проецируются на подобные признаки (например, A', B', C') в изображении образца.

Фиг. 3А и 3B показывают результаты совмещения эталонного изображения 32 (препарат H&E) и цифрового изображения 30 образца неокрашенной залитой в парафин ткани. Эталонная область 36 удаления проиллюстрирована как квадрат для объяснения настоящей методики. Устройство 14 совмещения выполнено с возможностью идентифицировать область 54 удаления образца (см. фиг. 3B) на цифровом изображении 30 образца на основе эталонной области 36 удаления на эталонном изображении 32.

В качестве дополнительного варианта, также проиллюстрированного на фиг. 1, система 19 дополнительно содержит устройство 56 маркировки. Устройство 56 маркировки выполнено с возможностью обеспечивать маркировку удаления (дополнительно не показана) на препарате 26 образца на основе области 54 удаления образца, идентифицированной на цифровом изображении 30 образца.

Маркировка удаления может представлять собой, например, цветную или шаблонную маркировку для указания области на препарате 26 образца, в которой должен быть удален биологический материал.

Может быть обеспечено устройство 58 иссечения, показанное в качестве варианта на фиг. 1, которое выполнено с возможностью удалять биологический материал в области удаления (дополнительно не показано) со среза 28 образца. Область удаления обеспечена на основе области 54 удаления образца, идентифицированной на цифровом изображении 30 образца.

Другими словами, устройство 58 иссечения на основе обнаружения области удаления в соответствии с информацией, предоставленной результатами совмещения, удаляет, например, ткань в области удаления в целях молекулярной диагностики, которая выполняется в участке (участках). Например, выбранные ткани в области удаления могут быть соскоблены с нескольких препаратов и объединены в одну пробирку.

Фиг. 4 показывает пример основных этапов способа 100 выбора области удаления неокрашенного образца, который должен быть удален для молекулярной диагностики. Способ 100 содержит следующие этапы:

- В первом этапе 102, также называемом этапом a), эталонная область удаления выбирается на эталонном изображении эталонного среза объекта, причем биологический материал в эталонном срезе не окрашен.

- На втором этапе 104, также называемом этапом b), получается цифровое изображение образца среза образца объекта при некоторой настройке визуализации. Биологический материал в срезе образца не окрашен. Срез образца принимается на препарате образца и помещается на оптическую траекторию между источником света и детектором изображения. На оптической траектории между источником света и детектором изображения дополнительно обеспечено приспособление для усиления контрастности для улучшения контрастности между неокрашенным биологическим материалом и фоном. Обеспечивается свет, проходящий через срез образца, который будет принят детектором изображения.

- На третьем этапе 106, также называемом этапом c), цифровое изображение образца совмещается с эталонным изображением для переноса эталонной области удаления на эталонном изображении в цифровое изображение образца.

- На четвертом этапе 108, также называемом этапом d), область удаления образца идентифицируется на цифровом изображении образца на основе перенесенной эталонной области удаления.

В примере приспособление для усиления контрастности содержит приспособление поляризаторов с множеством поляризаторов и приспособление оптического фильтра по меньшей мере с одним оптическим фильтром.

В соответствии с примером, показанным на фиг. 4 в качестве варианта (обозначенного пунктирными линиями), третий этап 104 или этап b) дополнительно содержит: c1) получение 110 дополнительного цифрового изображения образца среза образца при другой настройке визуализации; и c2) обеспечение 112 суммы цифрового изображения образца и дополнительного цифрового изображения образца в качестве цифрового изображения образца для использования на этапе c).

Цифровое изображение образца также может упоминаться как первое цифровое изображение образца, в то время как дополнительное цифровое изображение образца может упоминаться как второе цифровое изображение образца.

Чтобы облегчить объяснение настоящей методики, будет описана комбинация двух цифровых изображений образца с разными настройками визуализации. Следует понимать, что комбинация трех или более цифровых изображений образца с разными настройками визуализации также находится в рамках настоящей методики.

Комбинация двух или более цифровых изображений образца используется для удаления или подавления изменчивости интенсивности в фоне цифрового изображения образца с поляризаторами, которая вызвана переменной ориентацией кристаллов с двойным преломлением слоя парафина. Необходимо отличать два эффекта: равный наклон и изохроматичность. Первое, т.е. равный наклон, определяет ориентацию кристалла относительно ориентации оси второго поляризатора. Когда они будут параллельны, кристалл будет выглядеть темным на изображении. Второе, т.е. изохроматичность, представляет собой линии с равной разностью фаз между обычным и экстраординарным пучком света, когда он проходит через кристалл. Разность фаз зависит от двойного преломления (которое присуще кристаллу парафина), толщины (которая фиксирована) и длины волны света. Разность фаз вызовет интерференцию и, тем самым, ослабление интенсивности.

Настройка визуализации этапа b) содержит по меньшей мере один параметр из следующей группы: взаимная ориентация поляризаторов в приспособлении поляризаторов, ориентация приспособления поляризаторов относительно среза образца, длины волны света; и размещение среды с двойным преломлением на оптической траектории.

В примере один из поляризаторов поддерживается в фиксированной ориентации, и другой поляризатор поворачивается, чтобы достигнуть другой взаимной ориентации между первым и вторым поляризаторами при первом и втором получении изображений. В этом случае изменится пропускание части с двойным преломлением.

В примере поворот одного поляризатора может выполняться одновременно с другим поляризатором, чтобы сохранять относительную ориентацию поляризаторов фиксированной, пока изменяется поворот двух поляризаторов относительно препарата образца. В этом случае интересующий объект, например, ткань и фон стекла будут не затронуты. Когда оба поляризатора поворачиваются синхронно, равный наклон будет перемещаться с анализатором. Кристаллы, которые выглядели темными, могут стать светлыми в зависимости от угла поворота и основного направления кристалла. Интенсивность кристалла будет колебаться как cot(2χ), где χ - ориентация кристалла относительно анализатора.

Изменение длины волны при первом и втором получении изображений может быть достигнуто несколькими способами. В примере могут быть использованы переключаемые многоцветные источники света, например, матрицы светодиодов для переключения света, например, с синего спектра на красный спектр. В дополнительном примере возможно использовать источник белого света с цветным фильтром для изменения длины волны при первом и втором получении изображений. Переключаемые фильтры могут использоваться, чтобы избежать механического ослабления.

Размещение среды с двойным преломлением на оптической траектории используется, чтобы изменить разность фаз в изображении. При выборе ориентации среды с двойным преломлением параллельно анализатору не затрагивается интенсивность в областях образца, которые не имеют двойного преломления, и, таким образом, не затрагивается яркость этих областей. В качестве альтернативы этот слой с двойным преломлением может быть выбран таким образом, что он добавит ровно в N раз (N - положительное целое число) большую длину волны, когда используется линейный источник.

В качестве дополнительного варианта, показанного на фиг. 5, перед этапом c) обеспечены следующие этапы: e1) вычисление 114 среднего значения интенсивности фоновой области на цифровом изображении образца; e2) усечение 116 значений интенсивности, которые выше вычисленного среднего значения интенсивности, чтобы обеспечить усеченное цифровое изображение образца; e3) выполнение 118 морфологического замыкания значений интенсивности усеченного изображения, чтобы обеспечить замкнутое цифровое изображение образца; и e4) обеспечение 120 замкнутого эталонного изображения в качестве эталонного изображения для использования на этапе c).

В качестве дополнительного варианта также обеспечено: e5) выполнение 122 морфологического замыкания значений интенсивности в эталонном изображении, чтобы обеспечить замкнутое эталонное изображение; и e6) обеспечение 124 замкнутого эталонного изображения в качестве эталона для использования на этапе c).

Термин ʺфоновая областьʺ относится к области на цифровом изображении образца, не содержащей какой-либо биологический материал, такой как ткань. Другими словами, фоновая область содержит только парафин.

В примере алгоритм обнаружения ткани может быть реализован для различения биологического материала и фоновой области, в результате чего фоновая область может быть идентифицирована автоматически.

В дополнительном примере пользователь может выбрать фоновую область непосредственно на цифровом изображении образца, например, перемещая курсор.

Термин ʺотсекатьʺ относится к ограничению значения интенсивности, если оно превышает порог (среднее значение интенсивности в настоящем примере). Другими словами, значения интенсивности, которые выше среднего значения интенсивности, отсекаются или устанавливаются идентичными среднему значению интенсивности.

Термин "морфология" относится к геометрическому размещению элементов формирования, которые имеют низкое значение для измеренного физического параметра (значение интенсивности в настоящем примере), и элементов формирования, имеющих высокое значение для параметра.

Морфологическое замыкание используется, чтобы "замкнуть" промежутки в объектах изображения и между объектами изображения. Морфологическое замыкание является операцией наращивания, состоящей из известной операции морфологического расширения, за которой следует известная операция морфологического сужения.

Пример цифрового изображения образца залитой в парафин неокрашенной ткани проиллюстрирован на фиг. 6А. На фиг. 6А квадрат выделяет малый участок, который показан с увеличением на фиг. 6B. Фиг. 6C показывает усеченное цифровое изображение образца после усечения значений интенсивности, которые выше вычисленного среднего значения интенсивности (яркая интенсивность) на фиг. 6B. Фиг. 6D показывает замкнутое цифровое изображение образца после морфологического замыкания значений интенсивности в фоновой области усеченного изображения на фиг. 6C.

Цель этапов обработки изображений состоит в том, чтобы преобразовать фоновую область (структуру в области вокруг ткани, т.е. в области, содержащей только парафин) в более гладкий шаблон, который более подобен гладкому фону, наблюдаемому на эталонном изображении (например, в изображении H&E).

Сначала на этапе e1) вычисляется среднее значение интенсивности фоновой области в цифровом изображении образца. Среднее значение интенсивности, например, может быть получено посредством анализа гистограммы интенсивности в цифровом изображении образца. Пиксели в фоновой области относительно яркие, поскольку свет не поглощен тканью. Пиксели фона вместе формируют пик в гистограмме вокруг интервалов гистограммы с относительно яркой интенсивностью. Значение интенсивности, которое принадлежит максимальному значению этого пика, представляет среднюю интенсивность фона.

Затем на этапе e2) пиксели, которые являются более яркими, чем вычисленное среднее значение интенсивности, отсекаются. Результат процесса усечения проиллюстрирован на фиг. 6C.

Также следует отметить, что среднее значение интенсивности на этапах e1) и e2) может быть вычислено локально и/или глобально. Например, интенсивность фона в цифровом изображении образца может не являться однородной. Примерами являются неравномерность толщины среза образца, неоднородность освещения, неоднородность в поляризаторах и т.д. В случае сильной неоднородности представление интенсивности фона единственным (глобальным) значением может не являться точным. В случае неоднородности освещения и/или поляризаторов может использоваться изображение калибровки, чтобы измерить неоднородность и удалить неоднородность из изображения ткани только для парафина. Неоднородность, вызванную неравномерностью толщины образца парафина, можно устранить посредством методик локального, а не глобального анализа изображения.

После усечения фон может все еще содержать шаблон темных пятен (см. фиг. 6C). В качестве следующего этапа, на этапе e3), эти пятна подавляются посредством морфологического замыкания значений интенсивности усеченного изображения. Результат процесса морфологического замыкания проиллюстрирован на фиг. 6D.

Различные примеры будут рассмотрены для выполнения морфологического замыкания.

В примере морфологическое замыкание может быть выполнено над данными фона, но не над данными, которые принадлежат ткани. Как указано выше, различение между тканью и фоном может потребовать этапа обнаружения ткани.

В дополнительном примере морфологическое замыкание может быть применено и к фоновой области, и к области ткани. Структура в области ткани, которая затрагивается морфологическим замыканием, может быть компенсирована посредством факультативного морфологического замыкания эталонного изображения. Другими словами, в качестве варианта, этапы e5) и e6) могут быть обеспечены для выполнения морфологического замыкания в эталонном изображении, в результате чего улучшается внешнее подобие пары изображений - цифрового изображения образца и эталонного изображения.

Затем на этапе e4) замкнутое цифровое изображение образца обеспечивается в качестве цифрового изображение образца для использования на этапе c).

Таким образом, изменчивость интенсивности фона цифрового изображения образца может быть удалена (или по меньшей мере подавлена). Это может привести к улучшенному подобию между цифровым изображением образца и эталонным изображением, тем самым улучшая процесс совмещения.

Следует отметить, что алфавитные символы (буквы), использованные для этапов способа, используются для различения этапов способа, и эти символы, однако, не предназначены для ограничения порядка этапов способа алфавитным порядком.

В примере цифровое изображение образца может быть совмещено на основе следующих последовательных этапов: a), b), c1), c2), c) и d).

В дополнительном примере цифровое изображение образца может быть совмещено на основе следующих последовательных этапов: a), b), c1), c2) e1)-e6), c) и d).

В еще одном дополнительном примере цифровое изображение образца может быть совмещено на основе следующих последовательных этапов: a), b), e1)-e4), c) и d).

В качестве дополнительного варианта, показанного на фиг. 7, по меньшей мере один из следующих этапов обеспечен после этапа d): f) идентификация 126 области удаления образца на цифровом изображении образца на основе эталонной области удаления на эталонном изображении; g) обеспечение 128 маркировки удаления на препарате образца на основе области удаления образца, идентифицированной на цифровом изображении образца; и h) удаление 130 биологического материала в области удаления со среза образца, причем область удаления обеспечена на основе области удаления образца, идентифицированной на цифровом изображении образца.

В другом иллюстративном варианте осуществления настоящего изобретения обеспечена компьютерная программа или элемент компьютерной программы, которые характеризуются тем, что выполнены с возможностью исполнять этапы способа в соответствии с одним из предыдущих вариантов осуществления на соответствующей системе.

Элемент компьютерной программы, таким образом, может быть сохранен на вычислительном блоке, который также может являться частью варианта осуществления настоящего изобретения. Этот вычислительный блок может быть выполнен с возможностью выполнять или вызывать выполнение этапов описанного выше способа. Кроме того, он может быть выполнен с возможностью управлять компонентами описанного выше устройства. Вычислительный блок может быть выполнен с возможностью работать автоматически и/или исполнять команды пользователя. Компьютерная программа может быть загружена в оперативную память процессора. Процессор, таким образом, может быть выполнен с возможностью выполнять способ изобретения.

Этот иллюстративный вариант осуществления изобретения охватывает как компьютерную программу, которая с самого начала использует изобретение, так и компьютерную программу, которая посредством обновления превращает существующую программу в программу, которая использует изобретение.

Кроме того, элемент компьютерной программы может обеспечить все необходимые этапы для выполнения процедуры иллюстративного варианта осуществления способа, как описано выше.

В соответствии с дополнительным иллюстративным вариантом осуществления настоящего изобретения представлен компьютерно-читаемый носитель, такой как компакт-диск (CD-ROM), причем, компьютерно-читаемый носитель имеет сохраненный на нем элемент компьютерной программы, который описан посредством предыдущего раздела.

Компьютерная программа может быть сохранена и/или распространена на подходящем носителе, таком как оптический запоминающий носитель или твердотельный носитель, обеспеченный вместе или как часть других аппаратных средств, но также может быть распространена в других формах, например, через Интернет или другие проводные или беспроводные системы связи.

Однако компьютерная программа также может быть представлена по сети, такой как всемирная паутина, и может быть загружена в оперативную память процессора из такой сети. В соответствии с дополнительным иллюстративным вариантом осуществления настоящего изобретения обеспечен носитель для того, чтобы сделать доступным для загрузки элемент компьютерной программы, который выполнен с возможностью выполнять способ в соответствии с одним из ранее описанных вариантов осуществления изобретения.

Следует отметить, что варианты осуществления изобретения описаны со ссылкой на разные предметы. В частности, некоторые варианты осуществления описаны со ссылкой на пункты формулы изобретения типа способа, тогда как другие варианты осуществления описаны со ссылкой на пункты формулы изобретения типа устройства. Однако специалист в области техники сможет понять из предыдущего и последующего описания, что, если не указано иначе, в дополнение к любой комбинации признаков, принадлежащих одному типу предмета, любая комбинация между признаками, относящимися к разным предметам, также считается раскрытой посредством этой заявки. Однако все признаки могут сочетаться, обеспечивая синергетические эффекты, которые представляют собой больше, чем простое суммирование признаков.

Хотя изобретение было проиллюстрировано и подробно описано в чертежах и предшествующем описании, такую иллюстрацию и описание следует считать иллюстративными, а не ограничивающими. Изобретение не ограничено раскрытыми вариантами осуществления. Другие изменения для раскрытых вариантов осуществления могут быть поняты и выполнены специалистами в области техники при осуществлении заявленного изобретения на основе изучения чертежей, описания и зависимых пунктов формулы изобретения.

Фигуры проиллюстрированы лишь схематично, а не с соблюдением масштаба. Одинаковые ссылочные позиции относятся к одинаковым или подобным признакам на всех фигурах.

В пунктах формулы изобретения слово "содержит" не исключает другие элементы или этапы, и употребление единственного числа не исключает множество. Один процессор или другой блок может выполнять функции нескольких элементов, описанных в пунктах формулы изобретения. Тот лишь факт, что некоторые меры описаны во взаимно различных зависимых пунктах формулы изобретения, не указывает, что комбинация этих мер не может использоваться для получения преимуществ. Любые знаки для ссылок в формуле изобретения не должны рассматриваться как ограничение объема изобретения.