08.03.2019
219.016.d3b7

СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ ВНУТРЕННЕЙ СТРУКТУРЫ ИССЛЕДУЕМОГО ОБЪЕКТА В РЕАЛЬНОМ ВРЕМЕНИ

Вид РИД

Изобретение

Юридическая информация Свернуть Развернуть
№ охранного документа
0002681348
Дата охранного документа
06.03.2019
Краткое описание РИД Свернуть Развернуть
Аннотация: Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени. Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени включает сканирование исследуемого объекта; фрагментацию объема полученных данных, необходимых для построения воксельного массива на множество вокселей; причем сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта так, что каждый В-скан параллелен предыдущему; при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда не отличались более чем в 2 раза; сканирование повторяют параллельно боковой грани прямоугольного параллелепипеда в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях; при сканировании вначале получают прямую ортогональную проекцию первого В-скана, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации. 2 ил.
Реферат Свернуть Развернуть

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива скалярных данных, и может быть использовано для решения задачи визуализации в реальном времени внутренней структуры «мутных» сред.

Известны два основных способа трехмерной визуализации по статье «Some techniques for shading machine renderings of solids», Proceeding AFIPS '68 (Spring) April 30-May 2, 1968, spring joint computer conference, Pages 37-45, автор Arthur Appel. Данные способы принято называть: «ray tracing» и «ray casting». Оба этих метода основываются на замерах расстояния до пересечения лучей с визуализируемой поверхностью. Недостатком этих методов для решения предложенной задачи является следующее. Эти методы являются способами визуализации векторных объектов и они требуют сложного дополнительного преобразования. Данные методы предназначены для визуализации поверхностей и плохо подходят для визуализации сложной внутренней структуры объекта. Для реализации данных методов в реальном времени требуется большая вычислительная мощность. Чаще всего для реализации данных методов используют специализированное многопроцессорное вычислительное устройство (графический процессор (GPU)).

В качестве прототипа выбран способ трехмерной визуализации, основанный на методе «проекции максимальной интенсивности» (maximum intensity projection (MIP)), известный по патенту RU 2533055 (МПК G06T 15/08, G06T 19/20 от 27.09.2013 г.), который включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива. Значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент d\, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего вексельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент 6V

Недостатком данного способа является то, что необходимо одномоментно обрабатывать весь трехмерный массив данных. Значит необходимо задействовать значительную часть имеющейся вычислительной мощности (процессорного времени). А это проблематично, так как основная вычислительная мощность используемой компьютерной системы задействована в реальном времени не для 3D-визуализации, а для решения задачи математического синтеза визуализируемых данных (для реализации томографических алгоритмов). Таким образом не обеспечивается интерактивность действий пользователя.

Задачей, на решение которой направлено данное изобретение, является разработка способа трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени, который позволяет получать трехмерное изображение в процессе сканирования исследуемого объекта, предоставляя в реальном времени полную информацию об исследуемом объекте и позволяя пользователю корректировать свои действия с целью получения наиболее информативного изображения исследуемого объекта.

Технический результат достигается благодаря тому, что разработанный способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени так же, как и способ, который является ближайшим аналогом, включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент.

Новым в разработанном способе является то, что сканирование осуществляют электро-механической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта таким образом, что каждый В-скан параллелен предыдущему, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда, ограничивающего воксельный массив, не отличались более чем в 2 раза, сканирование циклически повторяют параллельно боковой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях, при сканировании вначале получают прямую ортогональную проекцию первого В-скана - первого элемента первого множества изображений, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, затем формируют новый элемент первого множества изображений прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений, нумеруют новый элемент первого множества изображений в порядке возрастания индекса, второе множество изображений формируют аналогично первому множеству изображений, однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов, при сканировании в прямом направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента первого множества изображений и следующего за ним по индексу элемента второго множества изображений, при сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений.

На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.

На фиг. 2 представлено трехмерное изображение исследуемого объекта, полученное с помощью оптической когерентной томографии (ОКТ).

Разработанный способ визуализации является способом предварительного просмотра в реальном времени результатов работы системы оптической когерентной томографии (ОКТ), предназначенной для исследования in vivo внутренней структуры наружных биотканей.

Электро-механическая система, состоящая из линз и зеркал, перемещает зондирующий пучок по двум координатам (X и Y) вдоль поверхности исследуемого объекта. Сначала происходит последовательное линейное инкрементирование (декрементирование) координаты X при зафиксированном значении координаты Y. Таким образом получают двумерное изображение плоского среза исследуемого объекта вдоль оси X - В-скан. Затем происходит инкрементирование (декрементирование) координаты Y. Каждый новый полученный В-скан параллелен предыдущему. Таким образом, формируют трехмерный скалярный массив данных, содержащий информацию о внутренней структуре исследуемого объекта, ограниченного прямоугольным параллелепипедом.

Получение этих трехмерных данных осуществляют непрерывно. При достижении координатой Y максимального значения дальнейшее сканирование происходит в обратном направлении (вместо инкрементирования осуществляется декрементирование). При достижении координатой Y нулевого значения сканирование начинается снова в прямом направлении с инкрементированием координаты Y. Сканирование может быть остановлено после соответствующей команды пользователя по достижению координатой Y ближайшей границы. Кроме того, пользователю предоставлена возможность прервать сканирование немедленно. Сканирование можно возобновить, только, начиная с нулевой координаты Y.

Ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней (площади параллелограммов ABCD, ADHE и CDHG) прямоугольного параллелепипеда ABCDEFGH, ограничивающего сканируемую область не отличались более чем в 2 раза (фиг. 1). При этом параллелограмм DCGH - это ортогональная проекция прямоугольного участка поверхности исследуемого объекта (плоскость XY). Параллелограмм A'B'C'D' обозначает ортогональную проекцию нового В-скана. Ортогональная проекция В-скана в начале сканирования (проекция первого В-скана) соответствует параллелограмму ABCD. «Дальняя» граница сканирования (при максимальном значении координаты Y) соответствует параллелограмму EFGH. Ортогональные проекции вертикальных ребер прямоугольного параллелепипеда ABCDEFGH вертикальны.

Первое множество изображений формируют в процессе сканирования при инкрементировании координаты Y. При декрементировании координаты Y формируют второе множество изображений.

Визуализацию осуществляют в соответствии с принципами модифицированной MIP. При сканировании вначале формируют прямую ортогональную проекцию первого В-скана (параллелограмм ABCD), для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, в которые проецируют соответствующие воксели В-скана при прямой ортогональной проекции. Эта прямая ортогональная проекция первого В-скана будет первым элементом первого множества изображений.

где di - весовой коэффициент, соответствующий затемнению вокселя при проецировании его на плоскость визуализации,

Zi - количество вокселей от плоскости визуализации до соответствующего вокселя В-скана, повернутого на углы нутации и собственного вращения в визуализируемом объеме при выбранном ракурсе наблюдения,

Z -количество вокселей от плоскости визуализации до дальней границы визуализируемого объема при выбранном ракурсе наблюдения.

Первое множество изображений формируют в процессе сканирования при инкрементировании координаты Y. При получении каждого нового В-скана (A'B'C'D') визуализируют новое MIP-изображение. Это происходит следующим образом. Каждый новый элемент первого множества изображений формируют прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений. Ортогональной проекцией нового элемента первого множества изображений будет являться многоугольник ABCC'D'A'. При этом нумеруют каждый новый элемент первого множества в порядке возрастания индекса.

После достижения текущей проекцией В-скана положения EFGH начинают формирование элементов второго множества изображений. Второе множество изображений формируют в процессе сканирования при декрементировании координаты Y аналогично первому множеству изображений. Однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов.

Для формирования изображения, выводимого на экран, при сканировании в прямом направлении в окно визуализации копируют новый элемент первого множества изображений и следующий за ним по индексу элемент второго множества изображений. Пиксели элементов первого и второго множества изображений, лежащие внутри границ проекции нового В-скана (параллелограмм A'B'C'D') попарно сравнивают в соответствии с правилом MIP и формируют изображение, которое выводят на экран.

При сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений. Пиксели элементов первого и второго множества изображений, лежащие внутри границ проекции нового В-скана (параллелограмма A'B'C'D') сравнивают и формируют изображение в соответствии с правилом MIP.

На последнем этапе на сформированное изображение накладывают проекции границ визуализации, также с соблюдением принципов модифицированной MIP (с затемнением в глубину).

Количество элементов в первом и во втором множестве изображений соответствует количеству В-сканов, из которых состоит полное трехмерное изображение. А обновление изображения в окне визуализации происходит со скоростью сканирования в направлении слева-направо и справа-налево, вплоть до остановки по команде пользователя.

Для осуществления описанных манипуляций величина дополнительной загрузки CPU достаточно мала, чтобы не мешать параллельным вычислениям томографических алгоритмов.

В разработанном способе по сравнению со способом - прототипом затрачиваемое на визуализацию время, более чем на два порядка меньше. В разных моделях существующих ОКТ-систем полное время получения трехмерных данных (от нулевого значения координаты Y до ее максимального значения) варьируется от 5 до 25 секунд. В течение этого времени требуется обеспечить взаимную неподвижность сканирующей системы и исследуемого объекта. Учитывая, что исследуются живые объекты и в некоторых случаях используется ручной сканирующий зонд (он удерживается в руке пользователя), это довольно сложно. Поэтому очень важно предоставить пользователю в реальном времени наиболее полную информацию о текущих результатах его действий, для того чтобы он мог оперативно скорректировать положение сканирующего зонда, а также при необходимости прервать или остановить сканирование.

В разработанном способе кроме сокращения времени, затрачиваемого на визуализацию, дополнительная загрузка центрального процессора остается совершенно незначительной, что не препятствует параллельному исполнению в реальном времени томографических алгоритмов. Это достигают за счет использования прямой ортогональной проекции и фиксированного ракурса наблюдения. Кроме того, это достигают за счет хранения в оперативной памяти и последующего использования промежуточных результатов в виде двух множеств изображений.

Таким образом, разработанный способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени позволяет получить трехмерное изображение в процессе сканирования исследуемого объекта, предоставляя в реальном времени полную информацию об исследуемом объекте и позволяя пользователю корректировать свои действия с целью получения наиболее информативного изображения исследуемого объекта.

Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени, включающий сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент, отличающийся тем, что сканирование осуществляют электромеханической системой, которая перемещает зондирующий пучок по двум координатам вдоль поверхности исследуемого объекта таким образом, что каждый В-скан параллелен предыдущему, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы площади ортогональных проекций видимых граней прямоугольного параллелепипеда, ограничивающего воксельный массив, не отличались более чем в 2 раза, сканирование циклически повторяют параллельно боковой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, в прямом, формируя первое множество изображений, и в обратном, формируя второе множество изображений, направлениях, при сканировании вначале получают прямую ортогональную проекцию первого В-скана - первого элемента первого множества изображений, для чего используют соответствующие весовые коэффициенты и заранее рассчитанную совокупность таблиц, содержащих координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, затем формируют новый элемент первого множества изображений прямым проецированием прямой ортогональной проекции нового В-скана на предыдущий элемент первого множества изображений, нумеруют новый элемент первого множества изображений в порядке возрастания индекса, второе множество изображений формируют аналогично первому множеству изображений, однако во время сканирования в обратном направлении нумерацию элементов второго множества изображений производят в порядке убывания их индексов, при сканировании в прямом направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента первого множества изображений и следующего за ним по индексу элемента второго множества изображений, при сканировании в обратном направлении изображение, выводимое на экран, формируют проецированием друг на друга нового элемента второго множества изображений и предшествующего ему по индексу элемента первого множества изображений.
СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ ВНУТРЕННЕЙ СТРУКТУРЫ ИССЛЕДУЕМОГО ОБЪЕКТА В РЕАЛЬНОМ ВРЕМЕНИ
СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ ВНУТРЕННЕЙ СТРУКТУРЫ ИССЛЕДУЕМОГО ОБЪЕКТА В РЕАЛЬНОМ ВРЕМЕНИ
СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ ВНУТРЕННЕЙ СТРУКТУРЫ ИССЛЕДУЕМОГО ОБЪЕКТА В РЕАЛЬНОМ ВРЕМЕНИ
Источник поступления информации: Роспатент

Показаны записи 1-6 из 6.
27.10.2014
№216.013.016e

Способ формирования эквидистантных по оптической частоте отсчетов при спектральном интерференционном приеме рассеянного назад сверхширокополосного излучения

Способ включает регистрацию оптического спектра суммы интерферирующих волн при различных значениях взаимной задержки, выделение модулирующих функций, соответствующих взаимным задержкам, определение нелинейности распределения их фазы, вычисление корректирующей таблицы, регистрацию оптического...
Тип: Изобретение
Номер охранного документа: 0002531764
Дата охранного документа: 27.10.2014
20.11.2014
№216.013.0676

Способ оптимизации метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива данных. Техническим результатом является повышение скорости вычислений за счет уменьшения объема оперативной памяти, затрачиваемой на построение изображения. Cпособ оптимизации метода проекции...
Тип: Изобретение
Номер охранного документа: 0002533055
Дата охранного документа: 20.11.2014
14.03.2019
№219.016.dfa3

Способ трехмерной визуализации в реальном времени

Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала средств визуализации трехмерного массива. Способ содержит этапы, на которых: осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта; ракурс наблюдения...
Тип: Изобретение
Номер охранного документа: 0002681700
Дата охранного документа: 12.03.2019
29.06.2019
№219.017.9c83

Способ и устройство спектральной рефлектометрии

Изобретение относится к оптической низкокогерентной рефлектометрии со спектральным способом приема и может быть использовано для получения изображения, свободного от когерентных помех, связанных с наличием самоинтерференции рассеянного от объекта исследования излучения и наличием паразитных...
Тип: Изобретение
Номер охранного документа: 0002399029
Дата охранного документа: 10.09.2010
29.06.2019
№219.017.9f5b

Перестраиваемый частотный селектор

Перестраиваемый частотный селектор содержит резонатор Фабри - Перо с переменной оптической длиной между зеркалами. Размер перетяжки моды резонатора Фабри - Перо составляет несколько длин волн излучения. Перед резонатором Фабри - Перо введен волновод с размером моды несколько длин волн. Моды...
Тип: Изобретение
Номер охранного документа: 0002427062
Дата охранного документа: 20.08.2011
29.06.2019
№219.017.a0c2

Оптическое бездисперсионное фазосдвигающее устройство

Изобретение относится к оптической интерферометрии, в частности к спектральной рефлектометрии, и может быть использовано для одновременного наблюдения интерференционных картин с различными фазовыми соотношениями между интерферирующими волнами. Устройство состоит из по крайней мере двух...
Тип: Изобретение
Номер охранного документа: 0002436138
Дата охранного документа: 10.12.2011
Показаны записи 1-6 из 6.
20.11.2014
№216.013.0676

Способ оптимизации метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива данных. Техническим результатом является повышение скорости вычислений за счет уменьшения объема оперативной памяти, затрачиваемой на построение изображения. Cпособ оптимизации метода проекции...
Тип: Изобретение
Номер охранного документа: 0002533055
Дата охранного документа: 20.11.2014
25.08.2017
№217.015.b94f

Устройство для регистрации изображений кросс-поляризационной низкокогерентной оптической интерферометрии

Заявленная группа изобретений относится к устройствам получения и обработки изображений оптической интерферометрии и может быть использовано для прижизненной визуализации и количественной оценки деполяризующих свойств отдельных участков биологических тканей, в том числе человеческих. Заявленное...
Тип: Изобретение
Номер охранного документа: 0002615035
Дата охранного документа: 03.04.2017
26.08.2017
№217.015.e422

Способ визуализации областей объекта, содержащих микродвижения

Изобретение относится к медицине, а именно к медицинской диагностике, и может быть использовано для получения и обработки изображений оптической интерферометрии. Осуществляют регистрацию набора интерферограмм, при этом сканирование зондирующим лучом осуществляют последовательно в главном и...
Тип: Изобретение
Номер охранного документа: 0002626310
Дата охранного документа: 25.07.2017
20.12.2018
№218.016.a92d

Телецентрический сканирующий объектив

Изобретение может быть использовано в окулярах, для рассматривания изображений микромониторов, а также в устройствах оптической когерентной томографии. Телецентрический сканирующий объектив состоит из трех элементов. Первый элемент - одиночная плосковыпуклая линза, второй и третий элементы...
Тип: Изобретение
Номер охранного документа: 0002675488
Дата охранного документа: 19.12.2018
14.03.2019
№219.016.dfa3

Способ трехмерной визуализации в реальном времени

Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала средств визуализации трехмерного массива. Способ содержит этапы, на которых: осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта; ракурс наблюдения...
Тип: Изобретение
Номер охранного документа: 0002681700
Дата охранного документа: 12.03.2019
04.04.2019
№219.016.fb7d

Способ оценки эффективности фотодинамической терапии методом оптической когерентной ангиографии в эксперименте

Изобретение относится к экспериментальной медицине и может быть использовано для оценки эффективности фотодинамической терапии (ФДТ). Проводят исследование методом оптической когерентной ангиографии (ОКА) с визуальной оценкой состояния кровотока в опухоли, трансплантированной мышам на наружной...
Тип: Изобретение
Номер охранного документа: 0002683858
Дата охранного документа: 02.04.2019

Похожие РИД в системе