14.03.2019
219.016.dfa3

СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ В РЕАЛЬНОМ ВРЕМЕНИ

Вид РИД

Изобретение

Юридическая информация Свернуть Развернуть
№ охранного документа
0002681700
Дата охранного документа
12.03.2019
Краткое описание РИД Свернуть Развернуть
Аннотация: Изобретение относится к области вычислительной техники. Технический результат заключается в расширении арсенала средств визуализации трехмерного массива. Способ содержит этапы, на которых: осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта; ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив, был целым числом k больше 0; рассчитывают изображение, соответствующее новому В-скану, для этого используют: предыдущее изображение, увеличенное по вертикали в k раз; проекцию нового В-скана, которую формируют, используя заранее рассчитанную таблицу, содержащую координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения; каждый воксель нового В-скана умножают на соответствующее ему заранее рассчитанное значение первого весового коэффициента; полученное изображение, соответствующее новому В-скану, «сжимают» в k раз по вертикали; значение интенсивности визуализируемого пикселя округляют до целого значения. 2 ил.
Реферат Свернуть Развернуть

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива скалярных данных, и может быть использовано для решения задачи визуализации в реальном времени внутренней структуры «мутных» сред в процессе ручного сканирования.

Известны два основных способа трехмерной визуализации по статье «Some techniques for shading machine renderings of solids», Proceeding AFIPS (Spring) April 30-May 2, 1968, spring joint computer conference, Pages 37-45, автор Arthur Appel. Данные способы принято называть: «rау tracing)) и «rау casting)). Оба этих метода основываются на замерах расстояния до пересечения лучей с визуализируемой поверхностью. Недостатком этих методов для решения предложенной задачи является следующее. Эти методы являются способами трехмерной визуализации векторных объектов, они требуют сложного дополнительного преобразования. Данные методы предназначены для визуализации поверхностей и плохо подходят для визуализации сложной внутренней структуры объекта. Для реализации данных методов в реальном времени требуется большая вычислительная мощность. Чаще всего для реализации данных методов используют специализированное многопроцессорное вычислительное устройство (графический процессор (GPU)).

В качестве прототипа выбран способ трехмерной визуализации, основанный на методе «проекции максимальной интенсивности» (maximum intensity projection (MIP)), известный по патенту RU 2533055 (МПК G06T 15/08, G06T 19/20 от 27.09.2013 г.), который включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива, на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для изображения пиксельного массива. Значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на весовой коэффициент.

Недостатком данного способа является то, что визуализация трехмерного массива возможна лишь после проведения сканирования исследуемого объекта и дальнейшей обработки полученных данных, то есть не обеспечивается интерактивность действий пользователя.

Задачей, на решение которой направлено данное изобретение, является разработка способа трехмерной визуализации в реальном времени, который позволяет получить трехмерное изображение в процессе ручного сканирования исследуемого объекта и предоставляет в реальном времени полную информацию о манипуляциях пользователя, обеспечивая интерактивность его действий. Кроме того, предполагается, что данная задача должна быть решена без привлечения дополнительных вычислительных средств, в то время, когда основная вычислительная мощность системы задействована в реальном времени для синтеза визуализируемых данных.

Технический результат достигается благодаря тому, что разработанный способ трехмерной визуализации в реальном времени так же, как и способ, который является ближайшим аналогом, включает сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для отображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на первый весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на первый весовой коэффициент.

Новым в разработанном способе является то, что осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта в направлении, ортогональном плоскости получаемых В-сканов, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив, был целым числом k больше 0, при этом границы задней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, не визуализируют, вначале визуализируют первый В-скан в виде ортогональной проекции передней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, затем определяют новый В-скан, соответствующий смещению сканирующего зонда, после чего рассчитывают изображение, соответствующее новому В-скану, для этого используют, во-первых, предыдущее изображение, увеличенное по вертикали в k раз и состоящее из вещественных значений, все пиксели которого перемещают на один столбец вправо и на одну строку вверх, и умножают на второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину, и, во-вторых, проекцию нового В-скана, которую формируют, используя заранее рассчитанную таблицу, содержащую координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, к тому же каждый воксель нового В-скана соответствует k пикселям изображения, увеличенного в k раз по вертикали, при этом каждый воксель нового В-скана умножают на соответствующее ему заранее рассчитанное значение первого весового коэффициента, при визуализации полученное изображение, соответствующее новому В-скану, «сжимают» в k раз по вертикали методом определения максимального значения интенсивности среди k вертикальных пикселей, значение интенсивности визуализируемого пикселя округляют до целого значения.

На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.

На фиг. 2 представлено трехмерное изображение исследуемого объекта, полученное с помощью оптической когерентной томографии (ОКТ).

В разработанном способе трехмерное изображение формируют за счет равномерного перемещения сканирующего зонда вдоль исследуемого объекта в направлении, ортогональном плоскости получаемых В-сканов с последующей обработкой информации, полученной методом ОКТ. В результате имеют непрерывный поток двумерных изображений - В-сканов. Вначале фиксируют первый В-скан. Затем по превышению заданного порога коэффициента корреляции между текущим В-сканом (вначале это первый В-скан) и вновь полученным В-сканом из потока В-сканов выделяют новый В-скан, соответствующий смещению сканирующего зонда.

При формировании изображения используют прямую ортогональную проекцию, при этом ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра границы воксельного массива, был целым числом к больше 0.

На фиг. 1 представлена проекция границ визуализируемого массива в заранее выбранном фиксированном ракурсе.

Основной критерий выбора ракурса наблюдения:

ctgγ=k,

где γ - угол между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив,

k - целое число большее 0.

При этом лучи АЕ, BF, CG и DH ограничены справа размерами окна визуализации. Параллелограмм ABCD - это границы ортогональной проекции нового В-скана. Отрезки AD и ВС расположены параллельно вертикальным границам окна визуализации. В данном случае угловые координаты визуализируемого объекта в воображаемом полупространстве за плоскостью окна визуализации удовлетворяют следующим условиям:

где α - координата нутации (по Эйлеру),

β - координата собственного вращения.

- целое число больше k,

Эти ограничения позволяют использовать для визуализации изображения не весь трехмерный массив данных, а двумерный результат визуализации предыдущего изображения и ортогональную проекцию нового В-скана. А это сокращает количество вычислений на несколько порядков. Кроме того, такой ракурс визуализации позволяет избежать артефактов при применении прямой ортогональной проекции.

При вычислении изображения, соответствующего новому В-скану, используют предыдущее изображение и проекцию нового В-скана. При этом используют предыдущее изображение (двумерный массив), размер которого увеличен по вертикали по сравнению с размером окна визуализации в k раз. Это массив вещественных чисел (тип FLOAT). Перед отображением изображения, соответствующего новому В-скану, все пиксели предыдущего изображения перемещают на один столбец вправо и на одну строку вверх и умножают на второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину. Левый столбец и нижнюю строку заполняют нулевыми значениями.

где d - второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину,

Z - количество вокселей от плоскости визуализации до дальней границы визуализируемого объема при выбранном ракурсе наблюдения.

Для формирования проекции нового В-скана используют заранее рассчитанную таблицу соответствия каждого вокселя нового В-скана координатам пикселей окна визуализации внутри параллелограмма ABCD.

Данная таблица содержит координаты пикселей на плоскости визуализации, в которые проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения.

При этом значения интенсивности каждого вокселя нового В-скана умножают на соответствующее им заранее рассчитанное значение первого весового коэффициента, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1:

где di - первый весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1,

zi - количество вокселей от плоскости визуализации до соответствующего вокселя В-скана, повернутого на углы α и β в визуализируемом объеме при выбранном ракурсе наблюдения.

То есть значения di - это, также таблица величин вычисленных заранее.

Каждое полученное значение интенсивности пикселей ортогональной проекции нового В-скана сравнивают с соответствующими значениями интенсивности пикселей предыдущего изображения, смещенного на один столбец вправо и на одну строку вверх и умноженного на второй весовой коэффициент, (то есть значение интенсивности каждого пикселя ортогональной проекции нового В-скана сравнивают со значениями интенсивности k пикселей по вертикали предыдущего изображения). И если новое значение интенсивности больше старого, то его присваивают k пикселям изображения, соответствующего новому В-скану. Таким образом, соблюдают принцип модифицированной MIP (maximum intensity projection).

Для визуализации полученные данные «сжимают» соответственно в k раз по вертикали с соблюдением принципа MIP. То есть из каждых k значений интенсивности по вертикали отображают максимальное.

Таким образом, каждый новый В-скан, соответствующий смещению сканирующего зонда, отображают с левой стороны (ортогональная проекция передней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив), а предыдущее изображение смещают вправо и вверх (рис. 2).

На последнем этапе на полученное изображение накладывают проекцию границ визуализации, также с соблюдением принципов модифицированной MIP (с затемнением в глубину).

Для осуществления описанных манипуляций величина дополнительной загрузки CPU достаточно мала, чтобы не мешать параллельным вычислениям томографических алгоритмов. То есть в предложенном способе трехмерной визуализации в реальном времени была решена задача минимизации дополнительной загрузки центрального процессора ОКТ-системы, непрерывно занятого расчетами ОКТ.

При практическом применении данного способа визуализации были достигнуты следующие результаты. При использовании центрального процессора (CPU) аналогичного Intel Core i3 (-2.8 GHz 4-threads) время расчета, затраченное для визуализации объема с сечением 256×256 точек (В-скан), составило менее 100 микросекунд. Тогда как, при использовании метода принятого в качестве ближайшего аналога, в тех же условиях (за исключением параллельного решения задачи синтеза визуализируемых данных) среднее время расчета составляет 60-70 миллисекунд. При этом для реализации способа - прототипа на все время расчета показатель загрузки CPU приближается к 100%, тогда как в случае использования предложенного метода среднее увеличение показателя загрузки CPU на фоне решения задачи синтеза визуализируемых данных менее 1%.

Разработанный способ может применяться для визуализации результатов ручного сканирования при получении трехмерных изображений с использованием эндоскопической системы оптической когерентной томографии (ОКТ). Кроме того, этот способ может быть применен для визуализации результатов ручного сканирования при ультразвуковых биомедицинских исследованиях или при ультразвуковой технической дефектоскопии и тому подобном.

Таким образом, разработанный способ трехмерной визуализации в реальном времени позволяет получать трехмерное изображение в процессе сканирования исследуемого объекта, то есть предоставляет в реальном времени полную информацию о манипуляциях пользователя и обеспечивает интерактивность его действий.

Способ трехмерной визуализации в реальном времени, включающий сканирование исследуемого объекта, фрагментацию всего объема полученных скалярных данных, необходимых для построения воксельного массива на множество вокселей таким образом, чтобы длина ребра куба вокселя была равна длине стороны квадрата пикселя, из совокупности которых в дальнейшем формируют изображение, возможный диапазон значений интенсивностей вокселей воксельного массива берут равным количеству цветов палитры, используемых для отображения пиксельного массива, значение цвета каждого пикселя изображения определяют как максимальное значение среди вокселей, спроецированных в данный пиксель и умноженных на первый весовой коэффициент, который обратно пропорционален расстоянию от вокселя до плоскости построения изображения, и имеет значение от 0 до 1, границы воксельного массива визуализируют, используя алгоритм Брезенхэма, в виде отрезков толщиной в 1 пиксель, которые являются ортогональной проекцией ребер прямоугольного параллелепипеда, ограничивающего воксельный массив, при этом цвет пикселя этих отрезков определяют как максимально возможное значение интенсивности вокселя, умноженное на первый весовой коэффициент, отличающийся тем, что осуществляют равномерное перемещение сканирующего зонда вдоль исследуемого объекта в направлении, ортогональном плоскости получаемых В-сканов, при формировании изображения используют прямую ортогональную проекцию, а ракурс наблюдения фиксируют таким образом, чтобы котангенс угла между горизонталью и отрезком, являющимся ортогональной проекцией правого нижнего ребра прямоугольного параллелепипеда, ограничивающего воксельный массив, был целым числом k больше 0, при этом границы задней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, не визуализируют, вначале визуализируют первый В-скан в виде ортогональной проекции передней торцевой грани прямоугольного параллелепипеда, ограничивающего воксельный массив, затем определяют новый В-скан, соответствующий смещению сканирующего зонда, после чего рассчитывают изображение, соответствующее новому В-скану, для этого используют, во-первых, предыдущее изображение, увеличенное по вертикали в k раз и состоящее из вещественных значений, все пиксели которого перемещают на один столбец вправо и на одну строку вверх, и умножают на второй весовой коэффициент, меньший единицы и соответствующий «затемнению» при смещении вокселей на один шаг в глубину, и, во-вторых, проекцию нового В-скана, которую формируют, используя заранее рассчитанную таблицу, содержащую координаты пикселей на плоскости визуализации, при этом в упомянутые пиксели проецируют соответствующие воксели нового В-скана при прямой ортогональной проекции с фиксированного ракурса наблюдения, к тому же каждый воксель нового В-скана соответствует k пикселям изображения, увеличенного в k раз по вертикали, при этом каждый воксель нового В-скана умножают на соответствующее ему заранее рассчитанное значение первого весового коэффициента, при визуализации полученное изображение, соответствующее новому В-скану, «сжимают» в k раз по вертикали методом определения максимального значения интенсивности среди k вертикальных пикселей, значение интенсивности визуализируемого пикселя округляют до целого значения.
СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ В РЕАЛЬНОМ ВРЕМЕНИ
СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ В РЕАЛЬНОМ ВРЕМЕНИ
СПОСОБ ТРЕХМЕРНОЙ ВИЗУАЛИЗАЦИИ В РЕАЛЬНОМ ВРЕМЕНИ
Источник поступления информации: Роспатент

Показаны записи 1-6 из 6.
27.10.2014
№216.013.016e

Способ формирования эквидистантных по оптической частоте отсчетов при спектральном интерференционном приеме рассеянного назад сверхширокополосного излучения

Способ включает регистрацию оптического спектра суммы интерферирующих волн при различных значениях взаимной задержки, выделение модулирующих функций, соответствующих взаимным задержкам, определение нелинейности распределения их фазы, вычисление корректирующей таблицы, регистрацию оптического...
Тип: Изобретение
Номер охранного документа: 0002531764
Дата охранного документа: 27.10.2014
20.11.2014
№216.013.0676

Способ оптимизации метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива данных. Техническим результатом является повышение скорости вычислений за счет уменьшения объема оперативной памяти, затрачиваемой на построение изображения. Cпособ оптимизации метода проекции...
Тип: Изобретение
Номер охранного документа: 0002533055
Дата охранного документа: 20.11.2014
08.03.2019
№219.016.d3b7

Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени

Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени. Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени включает сканирование исследуемого...
Тип: Изобретение
Номер охранного документа: 0002681348
Дата охранного документа: 06.03.2019
29.06.2019
№219.017.9c83

Способ и устройство спектральной рефлектометрии

Изобретение относится к оптической низкокогерентной рефлектометрии со спектральным способом приема и может быть использовано для получения изображения, свободного от когерентных помех, связанных с наличием самоинтерференции рассеянного от объекта исследования излучения и наличием паразитных...
Тип: Изобретение
Номер охранного документа: 0002399029
Дата охранного документа: 10.09.2010
29.06.2019
№219.017.9f5b

Перестраиваемый частотный селектор

Перестраиваемый частотный селектор содержит резонатор Фабри - Перо с переменной оптической длиной между зеркалами. Размер перетяжки моды резонатора Фабри - Перо составляет несколько длин волн излучения. Перед резонатором Фабри - Перо введен волновод с размером моды несколько длин волн. Моды...
Тип: Изобретение
Номер охранного документа: 0002427062
Дата охранного документа: 20.08.2011
29.06.2019
№219.017.a0c2

Оптическое бездисперсионное фазосдвигающее устройство

Изобретение относится к оптической интерферометрии, в частности к спектральной рефлектометрии, и может быть использовано для одновременного наблюдения интерференционных картин с различными фазовыми соотношениями между интерферирующими волнами. Устройство состоит из по крайней мере двух...
Тип: Изобретение
Номер охранного документа: 0002436138
Дата охранного документа: 10.12.2011
Показаны записи 1-6 из 6.
20.11.2014
№216.013.0676

Способ оптимизации метода проекции максимальной интенсивности для визуализации скалярных трехмерных данных в статическом режиме, в интерактивном режиме и в реальном времени

Изобретение относится к обработке данных изображения, а именно к визуализации трехмерного массива данных. Техническим результатом является повышение скорости вычислений за счет уменьшения объема оперативной памяти, затрачиваемой на построение изображения. Cпособ оптимизации метода проекции...
Тип: Изобретение
Номер охранного документа: 0002533055
Дата охранного документа: 20.11.2014
25.08.2017
№217.015.b94f

Устройство для регистрации изображений кросс-поляризационной низкокогерентной оптической интерферометрии

Заявленная группа изобретений относится к устройствам получения и обработки изображений оптической интерферометрии и может быть использовано для прижизненной визуализации и количественной оценки деполяризующих свойств отдельных участков биологических тканей, в том числе человеческих. Заявленное...
Тип: Изобретение
Номер охранного документа: 0002615035
Дата охранного документа: 03.04.2017
26.08.2017
№217.015.e422

Способ визуализации областей объекта, содержащих микродвижения

Изобретение относится к медицине, а именно к медицинской диагностике, и может быть использовано для получения и обработки изображений оптической интерферометрии. Осуществляют регистрацию набора интерферограмм, при этом сканирование зондирующим лучом осуществляют последовательно в главном и...
Тип: Изобретение
Номер охранного документа: 0002626310
Дата охранного документа: 25.07.2017
20.12.2018
№218.016.a92d

Телецентрический сканирующий объектив

Изобретение может быть использовано в окулярах, для рассматривания изображений микромониторов, а также в устройствах оптической когерентной томографии. Телецентрический сканирующий объектив состоит из трех элементов. Первый элемент - одиночная плосковыпуклая линза, второй и третий элементы...
Тип: Изобретение
Номер охранного документа: 0002675488
Дата охранного документа: 19.12.2018
08.03.2019
№219.016.d3b7

Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени

Изобретение относится к области обработки изображения. Технический результат – обеспечение визуализации внутренней структуры исследуемого объекта в реальном времени. Способ трехмерной визуализации внутренней структуры исследуемого объекта в реальном времени включает сканирование исследуемого...
Тип: Изобретение
Номер охранного документа: 0002681348
Дата охранного документа: 06.03.2019
04.04.2019
№219.016.fb7d

Способ оценки эффективности фотодинамической терапии методом оптической когерентной ангиографии в эксперименте

Изобретение относится к экспериментальной медицине и может быть использовано для оценки эффективности фотодинамической терапии (ФДТ). Проводят исследование методом оптической когерентной ангиографии (ОКА) с визуальной оценкой состояния кровотока в опухоли, трансплантированной мышам на наружной...
Тип: Изобретение
Номер охранного документа: 0002683858
Дата охранного документа: 02.04.2019

Похожие РИД в системе