Результат интеллектуальной деятельности: УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЯ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к устройству и способу для создания наложенного представления первого входного изображения и второго входного изображения в выходном изображении.

УРОВЕНЬ ТЕХНИКИ

В областях техники, связанных с просмотром изображения и отображением изображения, может быть желательным объединять несколько изображений в одно выходное изображение. Это может выполняться посредством создания наложенного представления нескольких изображений, содержащего визуальную информацию каждого из изображений. Например, несколько изображений Магнитного Резонанса (MR), каждое из которых соответствует разному типу сбора данных, могут объединяться в одно выходное изображение, чтобы позволить врачу без затруднений просмотреть изображения совместно. По аналогии, несколько изображений исследуемой зоны, каждое из которых получено удаленным устройством считывания, отличным от другого, могут быть объединены в одно выходное изображение, чтобы позволить наблюдателю получить всю существенную информацию исследуемой зоны из одного выходного изображения.

Известно объединение нескольких изображений в одно выходное изображение посредством использования наложения цвета. Например, US 2009/0257638 описывает способ наглядного представления наложенного представления рентгеновских изображений. Способ содержит этапы, на которых: добавляют выбранный цвет к первому изображению, добавляют дополнительный цвет ко второму изображению, и накладывают оба изображения. В результате, отклонения в наложении остаются идентифицируемыми с помощью одного из добавленных цветов, тогда как идентичные наложенные части изображения идентифицируются в наложенном представлении с помощью уровня серого.

Проблема способа US 2009/0257638 состоит в том, что наложенное представление первого изображения и второго изображения недостаточно интуитивно (понятно) для зрителя.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Было бы выгодно иметь улучшенное устройство или способ для создания наложенного представления первого изображения и второго изображения.

Для более эффективного решения данной проблемы, первый аспект изобретения предоставляет устройство обработки изображения для создания наложенного представления первого входного изображения и второго входного изображения в выходном изображении, при этом первое входное изображение содержит входные значения, выходное изображение содержит векторы выходных значений, векторы выходных значений представляют собой цвета выходного изображения, и устройство, содержащее средство ввода для получения первого входного изображения и второго входного изображения, модуль визуализации, выполненный с возможностью визуализации первого входного изображения в выходном изображении посредством использования первой функции отображения для представления входных значений в векторах выходных значений, предиктор, выполненный с возможностью предсказания второго входного изображения из первого входного изображения для получения предсказанного второго входного изображения, калькулятор остатка, выполненный с возможностью вычисления остаточного изображения из второго входного изображения и предсказанного второго входного изображения, причем остаточное изображение содержит остаточные значения, представляющие собой ошибки предсказания предсказанного второго входного изображения, и модуль визуализации, дополнительно выполненный с возможностью визуализации остаточного изображения в выходном изображении посредством использования второй функции отображения для представления остаточных значений в векторах выходных значений, причем вторая функция отображения отличается от первой функции отображения, чтобы различать остаточное изображение и первое входное изображение.

Устройство обработки изображения принимает первое и второе входное изображение, и генерирует выходное изображение, которое содержит композицию обоих входных изображений. Первое и второе входное изображение могут быть связаны, например, посредством того, что содержат один и тот же или родственный объект. Первое входное изображение содержит входные значения. Выходное изображение содержит векторы выходных значений, причем каждый вектор выходных значений представляет собой цвет участка выходного изображения, т.е., относящиеся к восприятию света с некоторой яркостью и цветностью. Устройство принимает первое входное изображение и второе входное изображения, при помощи средства ввода. Затем модуль визуализации осуществляет отображение первого входного изображения в выходном изображении посредством модификации или генерирования векторов выходных значений в зависимости от входных значений и первой функции отображения. Таким образом, первая функция отображения определяет то, каким образом первое входное изображение представляется в выходном изображении.

Кроме того, устройство использует предиктор для предсказания второго входного изображения из первого входного изображения, используя методику предсказания, основанную, например, на модели статистического предсказания, или обучаемый алгоритм для преобразования значений первого входного изображения в соответствующие значения второго входного изображения. Это приводит к предсказанному второму входному изображению, которое в зависимости от предсказуемости второго входного изображения, совпадает со вторым входным изображением до некоторой степени. Калькулятор остатка определяет, до какой степени второе входное изображение совпадает с предсказанным вторым входным изображением посредством вычисления остаточного изображения. Остаточное изображение содержит остаточные значения, которые показывают ошибку предсказания и таким образом показывают предсказуемость второго входного изображения, с учетом первого входного изображения. Модуль визуализации затем осуществляет отображение остаточного изображения в выходном изображении посредством модификации или генерирования векторов выходных значений в зависимости от остаточных значений и второй функции отображения. Вторая функция отображения, таким образом, определяет то, каким образом остаточное изображение представляется цветами выходного изображения. Поскольку как первая, так и вторая функции отображения разные, то остаточное изображение представляется в выходном изображении по-другому, нежели первое входное изображение. Таким образом, остаточное изображение визуально отличается от первого входного изображения в выходном изображении.

Изобретение частично основано на признании того, что, в общем, наложенное представление нескольких входных изображений в выходном изображении может ввести в заблуждение зрителя выходного изображения. Причина этого заключается в том, что каждое входное изображение содержит визуальную информацию. Посредством объединения визуальной информации нескольких входных изображения в одно выходное изображение, объединенная визуальная информация в выходном изображении может быть относительно большой. К сожалению, зритель может быть введен в заблуждение, будучи относительно перегруженным визуальной информацией.

Более того, наложенное представление нескольких входных изображений, в котором отличия между несколькими входными изображениями выделены по отношению к сходствам между несколькими входными изображениями, может по прежнему вводить в заблуждение зрителя. Причина этого заключается в том, что не все отличия между несколькими входными изображениями могут быть существенными для зрителя. В частности, предсказуемые отличия между несколькими входными изображениями могут не быть существенными, поскольку предсказуемые отличия лишь добавляют визуальную информацию, которая предсказуема и, следовательно, ожидается зрителем. Следовательно, вместо выделения всех отличий между несколькими входными изображениями, желательно выделять лишь отличия, которые относительно непредсказуемые.

Вышеуказанные меры первого аспекта изобретения производят эффект, который состоит в том, что первое входное изображение и остаточное изображение визуализируются в выходном изображении. Остаточное изображение представляет собой ошибку предсказания предсказанного второго входного изображения, и, таким образом, указывает на то, насколько хорошо может быть предсказано второе входное изображение из первого входного изображения. Остаточное изображение, вследствие этого, указывает относительно непредсказуемую информацию во втором входном изображении. Следовательно, вместо визуализации всего второго входного изображения, или всех отличий между обоими входными изображениями, второе входное изображение визуализируется в виде остаточного изображения, указывающего относительно непредсказуемую информацию во втором входном изображении. Кроме того, первое входное изображение и остаточное изображение визуализируются, используя разные функции отображения. Следовательно, остаточное изображение визуально различимо с первым входным изображением в выходном изображении. Вышеуказанные меры приводят к более интуитивному наложенному представлению первого входного изображения и второго входного изображения в выходном изображении. Преимущественно, зритель может быть менее перегружен визуальной информацией в выходном изображении. Преимущественно, зритель может легче разглядеть существенную информацию, содержащуюся в выходном изображении.

Необязательно, первое входное изображение и второе входное изображение являются одноцветными изображениями, и первая функция отображения содержит отображение входных значений на первые части соответствующих векторов выходных значений, при этом первые части содержат, по меньшей мере, яркости векторов выходных значений, и вторая функция отображения содержит отображение остаточных значений на вторые части соответствующих векторов выходных значений, причем вторые части содержат по меньшей мере одно из следующего: оттенки, насыщенности, цветности, и прозрачности векторов выходных значений, и вторые части отличаются от первых частей.

Первое входное изображение представляется, по меньшей мере, яркостями цветов выходного изображения, а остаточное изображение представляется по меньшей мере одним из следующего: оттенками, насыщенностями, цветностями, и прозрачностями цветов выходного изображения. Преимущественно, остаточное изображение лучше различимо с первым входным изображением в выходном изображении.

Необязательно, остаточные значения содержат остаточные значения с положительным знаком и остаточные значения с отрицательным знаком для представления соответствующих знаков ошибок предсказания, и модуль визуализации выполнен с возможностью использования второй функции отображения для представления остаточных значений с положительным знаком в векторах выходных значений, и использования альтернативной второй функции отображения для представления остаточных значений с отрицательным знаком в векторах выходных значений, причем альтернативная вторая функция отображения отличается от второй функции отображения, чтобы различать остаточные значения с положительным знаком и остаточные значения с отрицательным знаком.

Отрицательные участки остаточного изображения представляются в цветах выходного изображения по-другому, нежели положительные участки остаточного изображения. Отрицательные участки могут соответствовать так называемым участком с отклонением вниз от номинала, а положительные участки могут соответствовать так называемым участком с отклонением вверх от номинала. Преимущественно, участки с отклонением вверх от номинала лучше различимы с участками с отклонением вниз от номинала в выходном изображении.

Необязательно, второе входное изображение содержит дополнительные входные значения, предиктор выполнен с возможностью предсказания второго входного изображения из первого входного изображения посредством использования модели статистического предсказания, и модель статистического предсказания содержит входные значения в качестве независимых переменных, а дополнительные входные значения в качестве зависимых переменных. Модель статистического предсказания хорошо подходит для предсказания второго входного изображения из первого входного изображения.

Необязательно, использование модели статистического предсказания содержит выполнение регрессионного анализа. Регрессионный анализ хорошо подходит для предсказания второго входного изображения из первого входного изображения.

Необязательно, входные значения являются поднабором всех входных значений входного изображения, и вторые входные значения являются дополнительным поднабором всех дополнительных входных значений второго входного изображения. Посредством использования поднабора всех входных значений и всех дополнительных входных значений, в модели статистического предсказания используется меньше входных значений и дополнительных входных значений. Следовательно, сложность вычислений предсказания второго входного изображения из первого входного изображения сокращается. Преимущественно, устройство обработки изображения работает быстрее.

Необязательно, первое входное изображение соответствует первому типу изображения, второе входное изображение соответствует второму типу изображения, и предиктор содержит приобретенные при обучении данные, указывающие статистическую зависимость между первым типом изображения и вторым типом изображения для предсказания второго выходного изображения из первого входного изображения.

Когда первое входное изображение соответствует некоторому типу изображения, а второе входное изображение соответствует другому типу изображения, то второе входное изображение может быть предсказано из первого входного изображения посредством использования ранее полученных приобретенных при обучении данных, которые указывают статистическую зависимость между первым типом изображения и вторым типом изображения. Таким образом, предсказание второго входного изображения основано на приобретенных при обучении данных в процессе обучения. Преимущественно, процесс обучения может использовать относительно большой набор обучающих данных для достижения улучшенного предсказания. Преимущественно, процесс обучения может быть разработан для отражения процесса предсказания человеком для получения предсказания второго входного изображения, которое отражает одного из зрителей.

Необязательно, средство ввода выполнено с возможностью получения третьего входного изображения, и предиктор выполнен с возможностью предсказания второго входного изображения из первого входного изображения и из третьего входного изображения для получения предсказанного второго входного изображения.

Преимущественно, основывая предсказание также на третьем входном изображении в дополнение к первому входному изображению, может быть достигнуто улучшенное предсказание.

Необязательно, предиктор дополнительно выполнен с возможностью предсказания третьего входного изображения из первого входного изображения и второго входного изображения для получения предсказанного третьего входного изображения, калькулятор остатка дополнительно выполнен с возможностью вычисления дополнительного остаточного изображения из третьего входного изображения и предсказанного третьего входного изображения, причем дополнительное остаточное изображение содержит дополнительные остаточные значения, представляющие собой дополнительные ошибки предсказания предсказанного третьего входного изображения, и модуль визуализации дополнительно выполнен с возможностью визуализации дополнительного остаточного изображения в выходном изображении посредством использования третьей функции отображения для представления дополнительных остаточных значений в векторах выходных значений, причем третья функция отображения отличается от первой функции отображения и второй функции отображения, чтобы различать дополнительное остаточное изображение и первое входное изображение и остаточное изображение.

Дополнительное остаточное изображение представляет собой ошибку предсказания предсказанного третьего входного изображения, и, таким образом, указывает на то, насколько хорошо третье входное изображение может быть предсказано из первого входного изображения и второго входного изображения. Следовательно, вместо визуализации всего третьего входного изображения, или всех отличий третьего входного изображения по отношению к первому входному изображению и второму входному изображению, третье входное изображение визуализируется в виде дополнительного остаточного изображения, указывающего относительно непредсказуемую информацию в третьем входном изображении. Кроме того, дополнительное остаточное изображение визуализируется, используя функцию отображения отличную от той, что используется в первом выходном изображении и остаточном изображении. Следовательно, дополнительное остаточное изображение визуально различимо с первым входным изображением и остаточным изображением в выходном изображении. Вышеуказанные меры приводят к более интуитивному наложенному представлению первого входного изображения, второго входного изображения и третьего входного изображения в выходном изображении. Преимущественно, зритель может быть менее перегружен визуальной информацией в выходном изображении. Преимущественно, зритель может легче рассмотреть существенную информацию в выходном изображении.

Необязательно, рабочая станция содержит обеспеченное устройство обработки изображения.

Необязательно, рабочая станция дополнительно содержит пользовательское средство ввода, чтобы разрешить пользователю интерактивно выбирать первую функцию отображения и/или вторую функцию отображения из множества функций отображения.

Преимущественно, пользователь может интерактивно выбирать функцию отображения, которая позволяет оптимальным образом различать остаточное изображение и первое входное изображение в выходном изображении.

Необязательно, рабочая станция дополнительно содержит пользовательское средство ввода, чтобы разрешить пользователю интерактивно выбирать первое входное изображение и/или второе входное изображение из множества входных изображений.

Преимущественно, пользователь может интерактивно выбирать входное изображение в качестве первого входного изображения и/или второго входного изображения, которое имеет особое значение для пользователя. Преимущественно, пользователь может интерактивно выбирать, которое из входных изображений показывается в выходном изображении в виде остаточного изображения.

Необязательно, устройство генерирования изображения содержит обеспеченное устройство обработки изображения.

Необязательно, обеспечивается способ создания наложенного представления первого входного изображения и второго входного изображения в выходном изображении, при этом первое входное изображение содержит входные значения, выходное изображение содержит векторы выходных значений, векторы выходных значений представляют собой цвета выходного изображения, при этом способ содержит этапы, на которых: получают первое входное изображение и второе входное изображение, визуализируют первое входное изображение в выходном изображении посредством использования первой функции отображения для представления входных значений в векторах выходных значений, предсказывают второе входное изображение из первого входного изображения для получения предсказанного второго входного изображения, вычисляют остаточное изображение из второго входного изображения и предсказанного второго входного изображения, причем остаточное изображение содержит остаточные значения, представляющие собой ошибки предсказания остаточного изображения, и визуализируют остаточное изображение в выходном изображении посредством использования второй функции отображения для представления остаточных значений в векторах выходных значений, при этом вторая функция отображения отличается от первой функции отображения, чтобы различать остаточное изображение и первое входное изображение.

Необязательно, компьютерный программный продукт содержит инструкции, предписывающие процессорной системе выполнить обеспеченный способ.

Специалисту в соответствующей области следует иметь в виду, что два или более из вышеупомянутых вариантов осуществления, реализаций, и/или аспектов изобретения могут быть объединены любым образом, который считается полезным.

Модификации и вариации устройства обработки изображении, рабочей станции, устройства генерирования изображения, способа, и/или компьютерного программного продукта, которые соответствуют описанным модификациям и вариациям устройства обработки изображения, могут быть выполнены специалистом в соответствующей области на основании настоящего описания.

Специалист в соответствующей области должен иметь в виду, что способ может применяться к данным многомерного изображения, например, двумерным (2-D), трехмерным (3-D) или четырехмерным (4-D) изображениям, собранным посредством различных модальностей для сбора данных таких как, но без ограничения, стандартная Рентгенография, Компьютерная Томография (CT), Формирование Изображения Методом Ядерного Магнитного Резонанса (MRI), Ультразвук (US), Позитронно-Эмиссионная Томография (PET), Однофотонная Эмиссионная Компьютерная Томография (SPECT), и Ядерная Медицина (NM). Измерение данных многомерного изображения может относиться к времени. Например, трехмерное изображение может содержать серии двумерных изображений во временной области.

Изобретение определено в независимых пунктах формулы изобретения. Преимущественные варианты осуществления определены в зависимых пунктах формулы изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и прочие аспекты изобретения очевидны из и будут объясняться со ссылкой на описываемые здесь варианты осуществления, где:

Фиг. 1 показывает устройство обработки изображения для создания наложенного представления первого входного изображения и второго входного изображения в выходном изображении;

Фиг. 2 показывает устройство обработки изображения для создания наложенного представления первого, второго и третьего входного изображения в выходном изображении;

Фиг. 3 показывает рабочую станцию, содержащую устройство обработки изображения и пользовательское средство ввода;

Фиг. 4 показывает способ создания наложенного представления первого входного изображения и второго входного изображения в выходном изображении.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 показывает устройство 100 обработки изображения, впредь именуемое как устройство 100, для создания наложенного представления первого входного изображения 101 и второго входного изображения 102 в выходном изображении 108. Устройство 100 содержит средство 110 ввода для получения первого входного изображения 101 и второго входного изображения 102. Устройство 100 дополнительно содержит предиктор 120, который показан соединенным со средством 110 ввода для получения первого входного изображения 101 и второго входного изображения 102. Предиктор 120 генерирует предсказанное второе входное изображение 104. Устройство 100 дополнительно содержит калькулятор 130 остатка, который показан соединенным с предсказателем 120 для получения предсказанного второго входного изображения 104 и со средством 110 ввода для получения второго входного изображения 102. Калькулятор 130 остатка генерирует остаточное изображение 106. Устройство 100 дополнительно содержит модуль 140 визуализации, который показан соединенным со средством 110 ввода для получения первого входного изображения 101 и с калькулятором 130 остатка для получения остаточного изображения 106. Модуль 140 визуализации генерирует выходное изображение 108.

Во время работы устройства 100, первое входное изображение 101 и второе входное изображение 102 получают посредством средства 110 ввода. Модуль 140 визуализации визуализирует первое входное изображение 101 в выходном изображении 108 посредством использования первой функции отображения. Предиктор 120 предсказывает второе выходное изображение 102 из первого входного изображения 101 для получения предсказанного второго входного изображения 104. Калькулятор 130 остатка вычисляет остаточное изображение 106 из второго входного изображения 102 и предсказанного второго входного изображения 104. Модуль 140 визуализации затем визуализирует остаточное изображение 106 в выходном изображении 108 посредством использования второй функции отображения, причем вторая функция отображения отличается от первой функции отображения, чтобы различать остаточное изображение 106 и первое входное изображение 101.

Следует отметить, что понятие изображение относится к многомерному изображению, такому как двумерное изображение или трехмерное изображение. Трехмерное изображение может быть объемным изображением, т.е. обладающим тремя пространственными измерениями. Изображение состоит из элементов изображения. Элементы изображения могут быть так называемыми элементами картинки, т.е. пикселями, когда изображение является двумерным изображение. Элементы изображения также могут быть так называемыми элементами объемной картинки, т.е вокселами, когда изображение является трехмерным объемным изображением.

Понятие значение относится к отображаемому свойству, которое назначено элементу изображения. Например, входные значения первого входного изображения 101 могут относиться к значениям плотности, которые могут отображаться светом с некоторой яркостью и/или цветностью. Аналогичным образом, входное значение может также непосредственно представлять собой значение яркости, например, которое было ранее получено камерой. Входное значение может быть связано с одноцветным отображением. Это может быть случаем, когда входное значение, как правило, представляется в качестве значения яркости с цветностью, которая соответствует серому или белому. Кроме того, элементы изображения выходного изображения 108 имеют несколько выходных значений, назначенных каждому из них. Несколько выходных значений вместе, т.е. при рассмотрении нескольких выходных значений в качестве вектора, представляют цвет элемента изображения в конкретном цветовом пространстве.

Понятие цвет относится к восприятию света с некоторой яркостью и цветностью. Следует отметить, что цветность цвета может быть такой, что цвет элемента изображения кажется оттенком серого. Точный цвет, который представлен вектором выходных значений, может быть определен посредством рассмотрения вектора выходных значений в рамках цветового пространства, которое связано с вектором выходных значений. Вектор выходных значений может быть связан с любым известным цветовым пространством из областей техники, связанных с наукой о цвете или технологией отображения. Например, цветовое пространство может быть цветовым пространством HSL. В данном случае, каждый вектор может быть образован тремя выходными значениями, первое из которых относится к оттенку цвета, второе к насыщенности цвета, и последнее к яркости цвета. Более того, одно из выходных значений может относиться к прозрачности цвета. Например, цветовое пространство может быть цветовым пространством RGBA. В данном случае, каждый вектор может быть образован четырьмя выходными значениями, первое из которых относится к яркости красного цвета, второе к яркости зеленого цвета, третье к яркости синего цвета, а четвертое к значению прозрачности, т.е. так называемое значение альфа-канала, цвета. Вследствие этого, цвет, воспринимаемый зрителем, может зависеть от цвета конкретного элемента изображения, и от цветов элементов изображения, расположенных за конкретным элементом изображения.

Первое входное изображение 101, как полученное средством 110 ввода устройства 100, может быть трехмерным объемным изображением, полученным посредством методики формирования изображения с помощью Магнитного Резонанса (MR). Первое входное изображение 101 также может быть конкретного типа сбора данных, например, связанного с конкретным протоколом или контрастностью. Например, первое входное изображение 101 может быть так называемым собственным T1-взвешенным изображением, изображением с улучшенным динамическим диапазоном контраста (T1-DCE), T2-взвешенным изображением, или диффузионно-взвешенным изображением (DWI) с конкретным b-значением. Тем не менее, первое входное изображение 101 также может быть из не медицинской области.

Модуль 140 визуализации выполнен с возможностью визуализации первого входного изображения 101 в выходном изображении 108 посредством использования первой функции отображения для представления входных значений в векторах выходных значений. Вследствие этого, первая функция отображения указывает то, каким образом входное значение конкретного элемента изображения первого входного изображений 101 представляется в векторе выходных значений связанного элемента изображения выходного изображений 108. Упомянутая связь может быть пространственной связью, т.е. расположенной в одном и том же пространственном местоположении в каждом изображении, или ссылающейся на один и тот же объект или часть объекта в каждом изображении.

Представление входных значений в векторах выходных значений может содержать отображение входных значений на конкретное одно из соответствующих выходных значений. Например, когда вектор выходных значений связан с цветовым пространством HSL, первая функция отображения может отображать входное значение на третье выходное значение вектора, например, просто замещая существующее значение третьего выходного значения входным значением, или посредством объединения существующего значения третьего выходного значения с входным значением. Как следствие, первое входное изображение 101 может быть наглядно представлено в выходном изображении 108, используя значения яркости. Упомянутое объединение может быть альфа-сопряжением. Объединение может учитывать параметр прозрачности, который связан с первой отображающей функцией.

Представление входных значений в векторах выходных значений может также содержать отображение входных значений на более чем одно конкретное выходное значение. Например, вектор выходных значений может быть связан с цветовым пространством RGB. Первая функция отображения может представлять входное значение в качестве значения серого в векторе выходных значений, т.е. в векторе RGB. Это может быть выполнено посредством отображения входного значения на каждое из R, G, и B выходных значений для получения представления значения серого входного значения. В частности, входные значения могут отображаться на первые части векторов выходных значений. Первые части могут соответствовать яркости цвета каждого соответствующего вектора выходных значений. Например, когда вектор выходных значений связан с так называемым цветовым пространством Lab, то первая часть может относиться к первому выходному значению. Аналогичным образом, когда вектор выходных значений связан с цветовым пространством HSL, то первая часть может относиться к третьему выходному значению.

Понятие часть может также относиться к набору комбинаций выходных значений, которые имеют сходство, например, относятся к яркости, оттенку, насыщенности, цветности или прозрачности цвета. Например, когда вектор выходных значений связан с цветовым пространством RGB, первая часть может относиться ко всем комбинациям выходных значений, которые относятся к некоторому диапазону оттенков, например, всем сочетаниям R, G, и B, которые дают оттенок оранжевого цвета.

Первая функция отображения может содержать так называемую матрицу преобразования цвета, т.е. матрицу, которая может использоваться для отображения значения на цвет. Первая функция отображения также может быть программным обеспечением или аппаратным обеспечением, которое функционирует в качестве матрицы преобразования цвета.

Предиктор 120 выполнен с возможностью предсказания второго входного изображения 102 из первого входного изображения 102 для получения предсказанного второго входного изображения 104. Второе входное изображение 102 также может быть трехмерным объемным изображением, полученным посредством методики формирования изображения с помощью Магнитного Резонанса. В частности, второе входное изображение 102 может быть типа сбора данных отличного от первого входного изображения 101.

Для предсказания второго входного изображения 102 из первого входного изображения 101, предиктор 120 может выполнять регрессионный анализ. Следует иметь в виду, что регрессионный анализ является известной методикой из области статистики, и, следовательно, множество вариантов методики известно и могут использоваться для предсказания второго входного изображения 102 из первого входного изображения 102. Например, предиктор 120 может выполнять линейный регрессионный анализ, где входные значения первого входного изображения 101 используются в качестве так называемых независимых переменных, а связанные дополнительные входные значения второго входного изображения 102 используются в качестве так называемых зависимых переменных. Упомянутая связь может быть пространственной связью, т.е. находящейся в одном и том же пространственном местоположении в каждом изображении, или ссылающейся на один и тот же объект или часть объекта в каждом изображении. В результате регрессионного анализа может быть получено предсказанное второе входное изображение 104, например, посредством явного генерирования предсказанного второго входного изображения 104. Следует иметь в виду, что также может использоваться любая другая приемлемая модель статистического предсказания или методика статистического предсказания такая как, например, полиномиальная регрессия, регрессия опорных векторов (SVR) или регрессия k-ближайших соседей (KNN).

Калькулятор 130 остатка выполнен с возможностью вычисления остаточного изображения 106 из второго входного изображения 102 и предсказанного второго входного изображения 104. Как следствие, остаточное изображение 106 содержит остаточные значения, представляющие собой ошибки предсказания предсказанного второго входного изображения 104. Вычисление остаточного изображения 106 может содержать вычисление разности между вторым входным изображением 102 и предсказанным вторым входным изображением 104, например, посредством вычитания предсказанных значений предсказанного второго входного изображения 104 из связанных дополнительных входных значений второго входного изображения 102. Как следствие, остаточные значения могут содержать значения со знаком, например положительные значения, когда предсказанное значение меньше дополнительного входного значения, или отрицательное значение, когда предсказанное значение больше дополнительного входного значения. Вычисление остаточного изображения 106 также может содержать вычисление отношения между вторым входным изображением 102 и предсказанным вторым входным изображением 106, например, посредством деления предсказанного значения предсказанного второго входного изображения 104 на связанное дополнительное входное значение второго входного изображения 102. Следовательно, остаточные значения представляют собой относительную ошибку предсказания предсказанного второго входного изображения 104. Более того, дополнительная функция может применяться к отношению или разности, например, чтобы подчеркнуть особенно большие ошибки предсказания, или чтобы не подчеркивать особенно небольшие ошибки предсказания.

Калькулятор 130 остатка может быть частью предиктора 120. Например, предиктор 120 может быть выполнен с возможностью непосредственного вычисления остаточного изображения 106, не формируя явным образом предсказанное второе входное изображение 104. Например, остаточное изображение 106 может быть получено посредством внутренне вычисленной разности между значением зависимой переменной, предсказанной посредством модели статистического предсказания, и истинным значением зависимой переменной, т.е. дополнительным входным значением второго входного изображения 102.

Модуль 140 визуализации дополнительно выполнен с возможностью визуализации остаточного изображения 106 в выходном изображении 108 посредством использования второй функции отображения для представления остаточных значений в векторах выходных значений. Аналогично первой функции отображения, вторая функция отображения указывает на то, каким образом остаточное значение конкретного элемента изображения остаточного изображения 106 отображено на векторе выходных значений связанного элемента изображения выходного изображения 108. Следует иметь в виду, что все вышеупомянутые аспекты первой функции отображения также применимы ко второй функции отображения, за исключением того, что вторая функция отображения отличается от первой функции отображения способом отображения, и вследствие этого, остаточные значения представляются по-другому в векторах выходных значений, нежели входные значения. В частности, вторая функция отображения отличается от первой функции отображения, чтобы визуально различать остаточное изображение 106 и первое входное изображение 101 в выходном изображении 108.

В общем, различие между остаточным изображением 106 и первым входным изображением 101 может быть проведено посредством отображения входных изображений на первые части соответствующих векторов выходных значений, причем первые части содержат, по меньшей мере, яркости векторов выходных значений, и отображения остаточных значений на вторые части соответствующих векторов выходных значений, причем вторые части содержат по меньшей мере одно из следующего: оттенки, насыщенности, цветности, и прозрачности векторов выходных значений, и вторые части отличаются от первых частей. Например, входные значения могут быть представлены яркостями векторов выходных значений, а остаточные значения могут быть представлены в качестве насыщенностей конкретного оттенка в векторах выходных значений. Вследствие этого, насыщенность первого входного изображения 101 в выходном изображении 108 меняется в зависимости от ошибки предсказания предсказанного второго изображения 104. Аналогичным образом, входные значения могут быть представлены яркостями с цветностью, которая связана с серым цветом, а остаточные значения могут быть представлены яркостями с цветностью, которая связана с не серым цветом.

Модуль 140 визуализации может быть выполнен с возможностью создания различия остаточных значений с положительным знаком с остаточными значениями с отрицательным знаком, когда остаточные значения являются значениями со знаком. Как следствие, отклонения вверх от номинала и отклонения вниз от номинала по отношению к предсказанному второму входному изображению 104 наглядно представляются по-разному, и, следовательно, различаются в выходном изображении 108. Для этих целей модуль 140 визуализации может использовать альтернативную вторую функцию отображения для представления остаточных значений с отрицательным знаком, а вторая функция отображения может использоваться для представления остаточных значений с положительным знаком, или наоборот.

Предиктор 120 может быть выполнен с возможностью использования модели статистического предсказания, при этом модель статистического предсказания содержит поднабор из всех входных значений входного изображения 101 в качестве независимых переменных, и дополнительный поднабор из всех дополнительных входных значений второго входного изображения 102 в качестве зависимых переменных. Поднабор и дополнительный поднабор могут быть связаны, например, посредством пространственной связи, т.е. находясь в одном и том же пространственном местоположении в каждом изображении, или ссылаясь на один и тот же объект или часть объекта в каждом изображении. В результате, выполняется подвыборка входных значений и дополнительных входных значений. При выборе поднабора и дополнительного поднабора, т.е. выполняя подвыборку, могут учитываться конкретные существенные участки изображений посредством выбора большего количества входных значений и дополнительных входных значений из упомянутых участков. Тем не менее, подвыборка может также использовать постоянную сетку подвыборки.

Предиктор 120 также может содержать приобретенные при обучении данные, указывающие статистическую зависимость между первым типом изображения и вторым типом изображения для предсказания второго входного изображения 102 из первого входного изображения 101. Например, первое входное изображение 101 может принадлежать к типу изображения отличному о того, к которому принадлежит второе входное изображение 102. Здесь, понятие тип изображения может относиться к изображению, полученному посредством некоторого типа генерирования изображения, например, модальности генерирования изображения, или к некоторой настройке, используемой во время получения. Например, первое входное изображение 101 могло быть получено посредством генерирования изображения с помощью Магнитного Резонанса (MR), и следовательно, принадлежит к типу MR-изображения. Второе входное изображение 102 могло быть получено посредством Компьютерной Томографии (CT), и таким образом принадлежит к типу CT-изображения. Приобретенные при обучении данные могут содержать информацию о том, каким образом некоторое входное значение, полученное с помощью MR, относится к дополнительному входному значению, полученному с помощью CT. Вследствие этого, приобретенные при обучении данные могут использоваться для генерирования предсказанного второго входного изображения, принадлежащего к типу CT-изображения, из первого входного изображения 101, принадлежащему к типу MR-изображения. Аналогичным образом, тип изображения может указывать на то, является ли изображение собственным T1-взвешенным изображением, изображением с улучшенным динамическим диапазоном контраста (T1-DCE), T2-взвешенным изображением, или диффузно взвешенным изображением (DWI) с конкретным b-значением. Следовательно, предиктор 120 может содержать приобретенные при обучении данные для предсказания одного из вышеуказанных типов изображения по другому одному из вышеуказанных типов изображения. Следует иметь в виду, что не требуется, чтобы приобретенные при обучении данные генерировались устройством 100, а наоборот, могут быть исходно сгенерированными, используя методику обучения из области техники машинного обучения, и могут быть уже получены или включены в устройство 100.

Следует иметь в виду, что предиктор 120 может использовать конкретное входное значение из первого входного изображения 101 для предсказания предсказанного значения из предсказанного второго входного изображения 104, тем самым генерируя предсказанное второе входное изображение 104. Это может быть обусловлено статистической зависимостью между входными значениями первого входного изображения 101 и дополнительными входными значениями второго входного изображения 102. Тем не менее, предиктор 120 также может учитывать одно или более входные значения в окрестности конкретного входного значения для предсказания предсказанного значения. Это может позволить предиктору 120 основывать свое предсказание не только на конкретном входном значении, но также на его окрестностях в первом входном изображении 101, и, следовательно, информации, такой как локальная структура, текстура или ориентация в или вокруг конкретного входного значения. Например, это может позволить предиктору 120 предсказывать предсказанное CT-входное значение из MR-входного значения и локальной текстуры в или вокруг MR-входного значения.

Фиг. 2 показывает устройство 200, которое, по существу, идентично тому, что представлено на Фиг. 1, за исключением следующего. Средство 210 ввода устройства 200 выполнено с возможностью получения третьего входного изображения 103, а предиктор 220 выполнен с возможностью предсказания второго входного изображения 102 из первого входного изображения 101 и из третьего входного изображения 103 для получения предсказанного второго входного изображения 104. Следовательно, предиктор 220 может основывать свое предсказание не только на входных значениях первого входного изображения 101, но также на тех, что присутствуют в третьем входном изображении 103. Следует иметь в виду, что в общем, при наличии n разных входных изображений, предиктор 220 может основывать свое предсказание одного из входных изображений на оставшихся n-1 входных изображениях. Также, использование большего количества входных изображений, как правило, приводит к улучшенному предсказанию.

Устройство 200 дополнительно отличается от устройства 100 на Фиг. 1 тем, что устройство 200 с Фиг. 2 выполнено с возможностью также включения третьего входного изображения 103 в наложенное представление первого входного изображения 101 и второго входного изображения 102 в выходном изображении 109. Для этих целей, предиктор 220 дополнительно выполнен с возможностью предсказания третьего входного изображения 103 из первого входного изображения 101 и второго входного изображения 102 для получения предсказанного третьего входного изображения 105. Также, калькулятор 230 остатка дополнительно выполнен с возможностью вычисления дополнительного остаточного изображения 107 из третьего входного изображения 103 и предсказанного третьего входного изображения 105, при этом дополнительное остаточное изображение 107 содержит дополнительные остаточные значения, представляющие дополнительные ошибки предсказания предсказанного третьего входного изображения 105. Следует иметь в виду, что вышеуказанное предсказание третьего входного изображения 103 может быть аналогичным или идентичным тому, что используется для второго входного изображения 102, и что вышеуказанное вычисление дополнительного остаточного изображения 107 может быть аналогично или идентично тому, что используется для остаточного изображения 106.

Модуль 240 визуализации дополнительно выполнен с возможностью визуализации дополнительного остаточного изображения 107 в выходном изображении 109 посредством использования третьей функции отображения для представления дополнительных остаточных значений в векторах выходных значений, причем третья функция отображения отличается от первой функции отображения и второй функции отображения, чтобы различать дополнительное остаточное изображение 107 и входное изображение 101 и остаточное изображение 106. Следует иметь в виду, что все вышеупомянутые аспекты первой и второй функции отображения также применимы к третьей функции отображения, за исключением того, что третья функция отображения отличается от первой функции отображения и второй функции отображения по способу отображения, и вследствие этого, дополнительные остаточные значения представляются по-другому в векторах выходных значений, нежели входные значения и остаточные значения.

Следует иметь в виду, что устройство 200 с Фиг. 2 также может использоваться для создания наложенного представления более трех входных изображений в выходном изображении, и что специалист в соответствующей области может выполнить необходимые модификации устройства в соответствии с описанными выше модификациями для включения дополнительного входного изображения в выходное изображение.

Фиг. 3 показывает рабочую станцию 300, содержащую устройство 100 с Фиг. 1. Рабочая станция дополнительно содержит пользовательское средство 310 ввода, чтобы разрешить пользователю интерактивно выбирать первую функцию отображения и/или вторую функцию отображения из множества функций отображения. Для этих целей, рабочая станция 300 может дополнительно содержать (не показано): процессор, средство хранения или порт связи. Процессор может быть выполнен для исполнения инструкций, которые являются частью программы обработки изображения. Программа обработки изображения может содержать инструкции для выполнения функции, по меньшей мере, части средства 110 ввода, предиктора 120, калькулятора 130 остатка и/или модуля 140 визуализации. Средство хранения может содержать RAM, ROM, жесткий диск, съемные носители информации, такие как CD и DVD. Средство хранения может использоваться для хранения компьютерных инструкций и/или для хранения входных и/или выходных изображений. Порт связи может использоваться для осуществления связи с другой компьютерной системой, например, сервером. Порт связи может быть выполнен с возможностью подключения к сети, такой как локальная или глобальная сеть и/или Интернет. Доступ к другой компьютерной системе может быть получен по сети, например, для извлечения входных изображений.

Пользователь может использовать пользовательское средство 310 ввода для интерактивного выбора, например, в меню отображаемом на устройстве отображения рабочей станции 300, первой функции отображения и/или второй функции отображения из множества функций отображения. Дополнительно или в качестве альтернативы, пользовательское средство 310 ввода может разрешать пользователю интерактивно выбирать первое входное изображение 101 и/или второе входное изображение 102 из множества входных изображений. Упомянутый выбор может быть выполнен посредством установки или снятия флажков, связанных с каждым соответствующим входным изображением, при этом кнопка-флажок с установленным флажком представляет собой выбор входного изображения. Кроме того, пользовательское средство 310 ввода может разрешать пользователю, определять, какое из входных изображений является первым входным изображением 101, и какое является вторым входным изображением 102.

Следует иметь в виду, что настоящее изобретение может использоваться для объединения нескольких объемов изображения в значениях серого в единый объем изображения в коде цвета. Более того, настоящее изобретение может использоваться при формировании наложения, т.е. слияния, нескольких типов сбора данных MR. При использовании известной технологии наложения, это может привести к перегруженному внешнему виду. Настоящее изобретение может использовать слияние, т.е. создание наложенного представления, где каждый добавочный объем изображения сначала предсказан по предыдущим объемам изображения, что приводит в предсказанному объему изображения, и только отклонение, т.е. остаточный объем изображения, затем добавляется в качестве наложения цвета ко всему объединенному объему изображения в кодах цвета. Упомянутое слияние может быть интерактивным, разрешая пользователю выбирать цвет наложения цвета. Таким образом, наложение цвета показывает только отклонение вверх от номинала и отклонение вниз от номинала по отношению к предсказанным значениям, и сокращает визуальную перегрузку, при этом сохраняя цветовые метки.

Следует иметь в виду, что предиктор и калькулятор остатка вместе могут функционировать в качестве средства для сокращения избыточности или декорреляции, поскольку предиктор может отражать корреляцию между, например, первым входным изображением и вторым входным изображением, в предсказанном втором входном изображении. Поскольку только ошибка предсказания предсказанного второго входного изображения накладывается в выходном изображении, поэтому только декоррелированная или не избыточная информация второго входного изображения накладывается в выходном изображении. Соответственно, первое входное изображение может быть полностью наложено, тогда как второе входное изображение накладывается в виде не избыточной информации второго входного изображения для сокращения визуальной нагрузки.

Фиг. 4 показывает способ создания наложенного представления первого входного изображения и второго входного изображения в выходном изображении, при этом первое входное изображение содержит входные значения, выходное изображение содержит векторы выходных значений, векторы выходных значений представляют цвета выходного изображения, и способ содержащий этапы, на которых: получают 410 первое входное изображение и второе входное изображение, визуализируют 420 первое входное изображение в выходном изображении посредством использования первой функции отображения для представления входных значений в векторах выходных значений, предсказывают 430 второе входное изображение из первого входного изображения для получения предсказанного второго входного изображения, вычисляют 440 остаточное изображение из второго входного изображения и предсказанного второго входного изображения, при этом остаточное изображение содержит остаточные значения, представляющие собой ошибки предсказания остаточного изображения, и визуализируют 450 остаточное изображение в выходном изображении посредством использования второй функции отображения для представления остаточных значений в векторах выходных значений, при этом вторая функция отображения отличается от первой функции отображения, чтобы различать остаточное изображение и первое входное изображение.

Следует иметь в виду, что изобретение также применяется к компьютерным программам, в частности компьютерным программам на или в носителе, адаптированном для воплощения изобретения на практике. Программа может быть реализована в виде исходного кода, объектного кода, промежуточного кода между исходным и объектным кодом, таком как в частично скомпилированном виде, или в любом другом виде приемлемом для использования при реализации способа в соответствии с изобретением. Следует иметь в виду, что такая программа может иметь много разных архитектурных исполнений. Например, программный код, реализующий функциональность способа или системы в соответствии с изобретением может быть дополнительно разделен на одну или более подпрограммы. Специалисту в соответствующей области будет очевидно много разных способов распределения функциональности между этими подпрограммами. Подпрограммы могут храниться вместе в одном исполняемом файле, чтобы образовывать независимую программу. Такой исполняемый файл может содержать исполняемые компьютером инструкции, например, инструкции процессора и/или инструкции интерпретатора (например, инструкции интерпретатора Java). В качестве альтернативы, одна или более или все из подпрограмм могут храниться, по меньшей мере, в одном внешнем файле библиотеки и подключаться к основной программе либо статически, либо динамически, например, во время исполнения. Основная программа содержит, по меньшей мере, один вызов, по меньшей мере, одной подпрограммы. Подпрограммы также могут содержать вызовы функции друг к другу. Вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому этапу обработки, по меньшей мере, одного из сформулированных здесь способов. Эти инструкции могут быть дополнительно разделены на подпрограммы и/или храниться в одном или более файлах, которые могут подключаться статически или динамически. Другой вариант осуществления, относящийся к компьютерному программному продукту, содержит исполняемые компьютером инструкции, соответствующие каждому средству, по меньшей мере, одной из сформулированных здесь систем или продуктов. Эти инструкции могут быть дополнительно разделены на подпрограммы и/или храниться в одном или более файлах, которые могут подключаться статически или динамически.

Носителем компьютерной программы может быть любой объект или устройство, выполненное с возможностью транспортировки программы. Например, носитель может включать в себя носитель данных, такой как ROM, например CD ROM или полупроводниковое ROM, или магнитный носитель записи, например жесткий диск. Кроме того, носитель может быть передающимся носителем, таким как электрический или оптический сигнал, который может передаваться через электрический или оптический кабель или по радио или другим средством. Когда программа воплощена в таком сигнале, то носитель может состоять из такого кабеля или другого устройства или средства. В качестве альтернативы, носитель может быть интегральной микросхемой, в которую встроена программа, при этом интегральная микросхема приспособлена для выполнения, или для использования при исполнении, соответствующего способа.

Следует отметить, что упомянутые выше варианты осуществления иллюстрируют, а не ограничивают изобретение, и что специалист в соответствующей области будет способен разработать много альтернативных вариантов осуществления, не отступая от объема прилагаемой формулы изобретения. В формуле изобретения, любые ссылочные обозначения, заключенные внутри скобок, не должны толковаться как ограничивающие пункт формулы изобретения. Использование глагола «содержать» и его спряжений не исключает наличия элементов или этапов, отличных от тех, что зафиксированы в пункте формулы изобретения. Артикли единственного числа не исключают наличия множества таких элементов. Изобретение может быть реализовано посредством аппаратного обеспечения, содержащего несколько отдельных элементов, и посредством приемлемым образом запрограммированного компьютера. В пункте формулы изобретения, который относится к устройству, который перечисляет несколько средств, некоторые из этих средств могут быть воплощены посредством одного и того же элемента аппаратного обеспечения. Тот лишь факт, что некоторые меры изложены во взаимно разных зависимых пунктах формулы изобретения не указывает на то, что для получения преимущества не может использоваться сочетание этих мер.