УСТРОЙСТВО ОБРАБОТКИ ИЗОБРАЖЕНИЙ И СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ ОБРАБОТКИ ИЗОБРАЖЕНИЙ

Предпосылки изобретения

Область техники, к которой относится изобретение

[0001] Настоящее изобретение относится к устройству обработки изображений, используемому в диагностике и лечении глазных болезней, и к способу управления устройством обработки изображений.

Описание уровня техники

[0002] Исследование глаза широко осуществляется для ранней диагностики и лечения болезней, связанных с образом жизни и болезней, которые являются основной причиной потери зрения. Сканирующий лазерный офтальмоскоп (SLO), который является офтальмологическим устройством, где применяется принцип конфокальной лазерной сканирующей микроскопии, осуществляет растровое сканирование глазного дна лазерным излучением, который является измерительным светом, и получает планарное изображение высокого разрешения из интенсивности возвращающегося света с высокой скоростью. Устройство, визуализирующее такое планарное изображение далее будет именоваться устройством SLO, а планарное изображение - SLO-изображением.

[0003] В последние годы, увеличенный диаметр пучка измерительного света в устройствах SLO позволил получить SLO-изображений сетчатки с повышенным горизонтальным разрешением. Однако увеличенный диаметр пучка измерительного света привел к проблеме снижения отношения S/N и разрешения SLO-изображения при получении SLO-изображений сетчатки, вследствие аберрации исследуемого глаза. Для решения этой проблемы было разработано адаптивное оптическое устройство SLO. Адаптивное оптическое устройство SLO имеет адаптивную оптическую систему, которая измеряет аберрация исследуемого глаза в реальном времени с использованием датчика волнового фронта и корректирует аберрацию, возникающую в исследуемом глазу в отношении измерительного света и возвращающегося оттуда света, с использованием устройства коррекции волнового фронта. Это позволяет получать SLO-изображения с высоким горизонтальным разрешением (изображение большого увеличения).

[0004] Такие изображения большого увеличения можно получать как движущиеся изображения и использовать для неинвазивного наблюдения гемодинамических состояний. Кровеносные сосуды сетчатки выделяются из каждого кадра, и измеряется скорость перемещения клеток крови по капиллярам и т.д. Обнаруживаются фоторецепторы P и распределение плотности и измеряется массив фоторецепторов P, для оценивания соотношения с функциями зрения, с использованием изображений большого увеличения. Пример изображения большого увеличения показан на Фиг. 6B. Можно наблюдать фоторецепторы P, область Q низкой яркости, соответствующая позиции капилляров, и область W высокой яркости, соответствующая позиции лейкоцита.

[0005] В случае наблюдения фоторецепторов P или измерения распределения фоторецепторов P с использованием изображения большого увеличения, позиция фокуса устанавливается вблизи внешнего слоя сетчатки (B5 на фиг. 6A) для формирования изображения большого увеличения, например на фиг. 6B. С другой стороны, существуют кровеносные сосуды сетчатки и капилляры, которые разветвляются, проходя через внутренние слои сетчатки (B2-B4 на фиг. 6B). В случаях фотографирования исследуемого глаза, область изображения, подлежащая визуализации, может быть больше угла обзора изображения большого увеличения. К таким случаям относятся случаи формирования изображения областей широко распространенных дефектов фоторецепторов, случаи формирования изображения парафовеальной области, которая является областью предрасположенности к поражениям капилляров на ранней стадии, и т.д. Соответственно, в выложенной японской патентной заявке № 2012-213513 раскрыта технология составления и отображения множественных изображений большого увеличения, полученных посредством съемки в разных позициях съемки.

[0006] Кроме того, в выложенной японской патентной заявке № 2013-169309 раскрыта технология, в которой отображаются исключительные кадры, где определяются эффекты глазного микротремора в движущемся изображении большого увеличения в определенной позиции съемки, и просто кадры, отличные от исключительных кадров, определенные в движущемся изображении большого увеличения.

Сущность изобретения

[0007] Устройство обработки изображений генерирует одно изображение путем использования, по меньшей мере, одного кадра каждого из множества движущихся изображений, полученных путем формирования движущихся изображений множества разных областей глаза в разные моменты времени. Устройство включает в себя блок принятия решения, выполненный с возможностью принятия решения в отношении, по меньшей мере, одного кадра в каждом из множества движущихся изображений, таким образом, чтобы фактически заснятые области были включены во множество движущихся изображений во множестве областей; и модуль генерации изображения, выполненный с возможностью генерации одного изображения путем использования, по меньшей мере, одного из кадров, в отношении которого принято решение, из каждого из множества движущихся изображений.

[0008] Кроме того, особенности настоящего изобретения явствуют из нижеследующего описания иллюстративных вариантов осуществления со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

[0009] Фиг. 1 - блок-схема, демонстрирующая пример функциональной конфигурации устройства обработки изображений согласно первому варианту осуществления настоящего изобретения.

[0010] Фиг. 2A-2C - блок-схемы, демонстрирующие примеры конфигурации системы, включающей в себя устройство обработки изображений согласно варианту осуществления настоящего изобретения.

[0011] Фиг. 3 - схема, описывающая общую конфигурацию устройства формирования SLO-изображений согласно варианту осуществления настоящего изобретения.

[0012] Фиг. 4 - блок-схема, демонстрирующая пример аппаратной конфигурации компьютера, оборудование которого эквивалентно блоку хранения и блоку обработки изображений и содержит другие блоки в виде выполняющегося программного обеспечения.

[0013] Фиг. 5 - блок-схема операций обработки, которую выполняет устройство обработки изображений согласно варианту осуществления настоящего изобретения.

[0014] Фиг. 6A-6J - схемы, демонстрирующие, что осуществляется при обработке изображений согласно первому варианту осуществления настоящего изобретения.

[0015] фиг. 7A и 7B - блок-схемы операций, демонстрирующие детали обработки, выполняемые на этапах S530 и S540 согласно первому варианту осуществления настоящего изобретения.

[0016] Фиг. 8 - блок-схема, демонстрирующая пример функциональной конфигурации устройства обработки изображений согласно второму варианту осуществления настоящего изобретения.

[0017] Фиг. 9A-9E - схемы, демонстрирующие, что осуществляется при обработке изображений согласно второму варианту осуществления настоящего изобретения.

[0018] Фиг. 10A и 10B - блок-схема операций, демонстрирующая детали обработки, выполняемые на этапах S530 и S540 согласно второму варианту осуществления настоящего изобретения.

[0019] Фиг. 11 - схема, описывающая общую конфигурацию устройства формирования томографических изображений согласно третьему варианту осуществления настоящего изобретения.

[0020] Фиг. 12A-12D - схемы, демонстрирующие, что осуществляется при обработке изображений согласно третьему варианту осуществления настоящего изобретения.

[0021] Фиг. 13 - блок-схема, демонстрирующая пример функциональной конфигурации устройства обработки изображений согласно четвертому варианту осуществления настоящего изобретения.

[0022] Фиг. 14A-14C - схемы, демонстрирующие, что осуществляется при обработке изображений согласно другому варианту осуществления настоящего изобретения.

Описание вариантов осуществления

[0023] Теперь рассмотрим случай, когда определенный кадр выбирается из каждого из множественных движущихся изображений большого увеличения, полученных посредством съемки в разных позициях съемки, и выбранные кадры являются составными (смонтированными). Несколько кадров, в целом, выбирается из кадров множественных движущихся изображений большого увеличения, и выбранные кадры используются для получения репрезентативного изображения. Полученные репрезентативные изображения являются составными, таким образом, генерируя широкодиапазонное изображение. Были случаи, когда продолжительность в соседних репрезентативных изображениях не была хорошей в отношении позиции съемки, свойств яркости, свойств изображения и т.д., когда соседние репрезентативные изображения сравнивались друг с другом. Были случаи, когда возникали неанализируемые области, невозможно выделить области для анализа и т.д., при измерении распределения групп клеток, тканей и их поражений (дефектов фоторецепторов, микроаневризм), распределенных по широкой области, с использованием таких широкодиапазонных изображений.

[0024] Была определена необходимость выбора изображения при получении репрезентативных изображений из каждого из множественных движущихся изображений большого увеличения, полученных посредством съемки в разных позициях съемки, для улучшения непрерывности репрезентативных изображений.

[0025] Устройство обработки изображений согласно настоящему варианту осуществления имеет блок выбора (например, блок 134 выбора на фиг. 1), который выбирает изображения из каждого из множественных движущихся изображений, сформированных в разных позициях глаза, на основании непрерывности свойств множественных изображений (группы изображений), составленных из изображений (репрезентативных изображений), полученных путем выбора из каждого из множественных движущихся изображений. Соответственно, при получении репрезентативных изображений из каждого из множественных движущихся изображений большого увеличения, сформированных в разных позициях съемки, изображения можно выбирать таким образом, чтобы непрерывность среди репрезентативных изображений улучшалась.

[0026] Теперь свойствами множественных изображений (группы изображений) являются, например, по меньшей мере, одно из относительной позиции, свойств яркости и свойств изображения, множественных изображений. Каждое изображение (изображение, полученное путем выбора из движущегося изображения) из множественных изображений (группы изображений) является репрезентативным изображением, полученным из движущегося изображения, и может быть одним изображением, выбранным из движущегося изображения, или может быть множественными изображениями с относительно малым шумом, артефактами и т.д., которые выбраны и наложены. В случае использования наложенных изображений, количество наложенных изображений, предпочтительно, мало, благодаря чему непрерывность среди свойств множественных изображений будет высокой. Кроме того, предпочтительно, дополнительно обеспечен блок определения, для определения значения, указывающего непрерывность, что позволяет выбирать изображение из движущегося изображения таким образом, чтобы определенное значение удовлетворяло заранее определенным условиям. Случай, когда определенное значение удовлетворяет заранее определенным условиям, здесь является, например, случаем, когда определенное значение превышает пороговое значение или максимальна. Значение, указывающее непрерывность, предпочтительно, определяется с использованием составного изображения, где множественные изображения были составными. Например, производится определение на основании, по меньшей мере, одного из площади составного изображения и длины границы аваскулярной области, что будет подробно описан в вариантах осуществления. Предпочтительные варианты осуществления устройства обработки изображений согласно настоящему изобретению и способ его эксплуатации будет описано подробно ниже со ссылкой на прилагаемые чертежи. Заметим однако, что настоящее изобретение этим не ограничивается.

[0027] Кроме того, трудно получить изображения без искажения изображения в любом из изображений при последовательной съемке во множественных позициях съемки. Соответственно, в целом, съемка движущегося изображения большого увеличения осуществляется в определенной позиции съемки глаза. Далее, в выложенной японской патентной заявке № 2012-213513 раскрыто, что съемка может осуществляться несколько раз в одной и той же позиции, и что изображения, используемые для конфигурирования панорамного изображения, можно выбирать таким образом, чтобы выбирались изображения с наилучшей корреляцией с соседними изображениями. Далее, возникают проблемы незавершенных изображений в панорамном изображении, если из множественных изображений выбираются просто изображения, оптимальные для конфигурирования панорамного изображения. Соответственно, устройство обработки изображений согласно другому варианту осуществления выбирает множественные кадры из движущихся изображений, таким образом, чтобы минимизировать незавершенные изображения в панорамном изображении. Соответственно, можно сокращать незавершенные изображения в панорамном изображении.

[0028] Предпочтительные варианты осуществления устройства обработки изображений согласно настоящему изобретению и способ его эксплуатации будет описано подробно ниже со ссылкой на прилагаемые чертежи. Заметим, однако, что настоящее изобретение этим не ограничивается.

Первый вариант осуществления: непрерывность относительной позиции или свойств яркости множественных изображений разных позиций

[0029] Устройство обработки изображений согласно первому варианту осуществления определяет пригодность группы изображений на основании непрерывности, по меньшей мере, одного из относительной позиции и свойств яркости множественных изображений (группы изображений) в разных позициях. Эта конфигурация создана таким образом, что область фотографии можно наблюдать в целом, в одних и тех же условиях, путем выбора, составления и отображения кадров или изображений с наивысшей пригодностью.

[0030] В частности, описание будет сделано в отношении случая, когда группа изображений составлена из девяти изображений большого увеличения, например, представленных на фиг. 6G, наложенное изображение генерируется с использованием кадров, выбранных блоком выбора с приращениями позиций съемки, наложенные изображения являются составными, и пригодность определяется в качестве группы изображений.

Общая конфигурация

[0031] На фиг. 2A показана схема конфигурации системы, включающей в себя устройство 10 обработки изображений согласно настоящему варианту осуществления. Устройство 10 обработки изображений подключено к устройству 20 формирования SLO-изображений и серверу 40 данных через локальную сеть (LAN) 30, включающую в себя оптическое волокно, универсальную последовательную шину (USB), IEEE 1394 и т.п., как показано на фиг. 2. Соединения с этими устройствами могут быть сконфигурированы через внешнюю сеть, например, интернет, или могут быть сконфигурированы в виде непосредственного подключения устройства 10 обработки изображений к устройству 20 формирования SLO-изображений.

[0032] Прежде всего, устройство 20 формирования SLO-изображений является устройством для формирования широкоугольных изображений D1 и изображений Dh большого увеличения глаза. Устройство 20 формирования SLO-изображений передает широкоугольные изображения D1, изображения Dh большого увеличения, и информацию позиций F1 и Fh цели фиксации, используемых для съемки, на устройство 10 обработки изображений и сервер 40 данных. В случае, когда изображения при каждом увеличения получаются в разных позициях съемки, это выражается как D1I, Dhj. Таким образом, i и j являются переменными, указывающими номера позиций съемки, где i=1, 2, …, imax, и j=1, 2, …, jmax. В случае получения изображений большого увеличения с разными увеличениями, это выражается как D1j, D2k, …, в порядке от изображения наибольшего увеличения, где D1j обозначает изображение большого увеличения, и D2k обозначает изображение среднего увеличения.

[0033] На сервере 40 данных хранятся широкоугольные изображения D1 и изображения Dh большого увеличения глаза, данные условий съемки, например, позиции F1 и Fh цели фиксации, используемые для съемки, особенности изображения глаза, нормальные значения, относящиеся к распределению особенностей изображения глаза, и т.д. В настоящем изобретении, особенности изображения, относящиеся к фоторецепторам P, капиллярам Q, клеткам W крови, кровеносным сосудам сетчатки и границе слоя сетчатки, обрабатываются как особенности изображения глаза. Широкоугольные изображения D1, изображения Dh большого увеличения, выводимые из устройства 20 формирования SLO-изображений, позиции F1 и Fh цели фиксации, используемые для съемки, и особенности изображения глаза, выводимые из устройства 10 обработки изображений, сохраняются на сервере. Кроме того, широкоугольные изображения D1, изображения Dh большого увеличения, особенности изображения глаза, и данные нормального значения особенностей изображения глаза, передаются на устройство 10 обработки изображений в ответ на запросы от устройства 10 обработки изображений.

[0034] Далее, функциональная конфигурация устройства 10 обработки изображений согласно настоящему варианту осуществления будет описана со ссылкой на фиг. 1. На Фиг. 1 показана блок-схема, демонстрирующая функциональную конфигурацию устройства 10 обработки изображений. Устройство 10 обработки изображений включает в себя блок 110 получения данных, блок 120 хранения, блок 130 обработки изображений и блок 140 получения инструкции. Блок 110 получения данных включает в себя блок 111 получения изображения. Блок 130 обработки изображений включает в себя блок 131 позиционирования, блок 132 определения индивидуального изображения, блок 133 определения группы изображений, блок 134 выбора и блок 135 управления отображением. Кроме того, блок 133 определения группы изображений включает в себя блок 1331 определения позиции и блок 1332 определения яркости.

Устройство формирования SLO-изображений, имеющее адаптивную оптическую систему

[0035] Далее, конфигурация устройства 20 формирования SLO-изображений, которое имеет адаптивную оптическую систему, будет описана со ссылкой на фиг. 3. Прежде всего, 201 обозначает источник света, для которого использовался источник света в виде сверхлюминесцентного диода (SLD). Хотя источник света совместно используется между формированием изображения глазного дна и измерение волнового фронта в настоящем варианте осуществления, возможна конфигурация, где они являются отдельными источниками света, которые попутно мультиплексируются. Свет, излучаемый из источника 201 света, проходит через одномодовое оптическое волокно 202 и излучается как параллельный измерительный свет 205 из коллиматора 203. Излучаемый измерительный свет 205 проходит через светоделительный блок 204, выполненный в виде делителя пучка, и направляется в оптическую систему адаптивной оптической системы.

[0036] Адаптивная оптическая система состоит из светоделительного блока 206, датчика 215 волнового фронта, устройства 208 коррекции волнового фронта и отражающих зеркал 207-1-207-4 для направления света на него. Отражающие зеркала 207-1-207-4 установлены таким образом, что, по меньшей мере, зрачок глаза, датчик 215 волнового фронта и устройство 208 коррекции волнового фронта оптически сопряжены. Делитель пучка используется в настоящем варианте осуществления в качестве светоделительного блока 206. Кроме того, в настоящем варианте осуществления в качестве устройства 208 коррекции волнового фронта используется модулятор пространственной фазы на основе жидкокристаллического устройства. Заметим, что в качестве устройства коррекции волнового фронта можно использовать зеркало изменяемой формы. Свет, прошедший через адаптивную оптическую систему, совершает сканирование в одном измерении или в двух измерениях под действием сканирующей оптической системы 209. В качестве сканирующей оптической системы 209, два гальваносканера использовались в настоящем варианте осуществления главного направления сканирования (в горизонтальном направлении глазного дна) и дополнительного направления сканирования (в вертикальном направлении глазного дна). Резонансный сканер можно использовать для стороны главного направления сканирования сканирующей оптической системы 209 для более высокой скорости съемки. Сканирующая оптическая система 209 сканирует глаз 211 измерительным светом 205 через окулярные линзы 210-1 и 210-2. Измерительный свет 205, которым облучается глаз 211, отражается или рассеивается на глазном дне. Оптимальное облучение для видимости глаза 211 через окуляр, можно реализовать путем регулировки позиции окулярных линз 210-1 и 210-2. Хотя здесь используются окулярные линзы, для конфигурации можно использовать сферические зеркала и т.п.

[0037] Часть отраженного/рассеянного света (возвращающегося света), отраженная от или рассеянная на сетчатке глаза 211, распространяется по тому же пути, по которому он пришел при вводе, но в противоположном направлении, и отражается на датчике 215 волнового фронта светоделительным блоком 206, что позволяет использовать его для измерения волнового фронта пучка. Датчик 215 волнового фронта также подключен к адаптивному оптическому блоку 216 управления и сообщает адаптивному оптическому блоку 216 управления о принятом волновом фронте. Устройство 208 коррекции волнового фронта также подключен к адаптивному оптическому блоку 216 управления и осуществляет модуляцию по команде адаптивного оптического блока 216 управления. Адаптивный оптический блок 216 управления вычисляет глубину модуляции (величину коррекции) для коррекции волнового фронта без аберрации, на основании волнового фронта, полученного из результатов измерения датчиком 215 волнового фронта, и предписывает устройству 208 коррекции волнового фронта для осуществления такой модуляции. Заметим, что измерение волнового фронта и предписание устройству 208 коррекции волнового фронта осуществляется повторно, при этом управление с обратной связью осуществляется для постоянного обеспечения оптимального волнового фронта.

[0038] Часть отраженного/рассеянного света, пропущенная через светоделительный блок 206, отражается светоделительным блоком 204, проходит через коллиматор 212 и оптическое волокно 213 и направляется к датчику 214 интенсивности света. Датчик 214 интенсивности света преобразует свет в электрические сигналы, на основании которых блок 217 управления формирует изображение в качестве изображения глаза, которое отображается на дисплее 218. Благодаря увеличению угла развертки сканирующей оптической системы в конфигурации, представленной на фиг. 3, и благодаря тому, что адаптивный оптический блок 216 управления предписывает не осуществлять коррекцию аберрации, устройство 20 формирования SLO-изображений также может работать как обычное устройство SLO, и может формировать широкоугольные SLO-изображения (широкоугольное изображение D1).

Аппаратная конфигурация и процедуры, выполняемые устройством 10 обработки изображений

[0039] Далее, аппаратная конфигурация устройства 10 обработки изображений будет описано со ссылкой на фиг. 4. На фиг. 4, 301 обозначает центральный процессор (CPU), 302 - память (оперативная память (RAM)), 303 - управляющую память (постоянную память (ROM)), 304 - внешнее запоминающее устройство, 305 - монитор, 306 - клавиатуру, 307 - мышь, и 308 - интерфейс. Программы управления для реализации функций обработки изображений согласно настоящему варианту осуществления, и данные, используемые во время выполнения программ управления, хранятся во внешнем запоминающем устройстве 304. Программы управления и данные при необходимости загружаются в RAM 302 через шину 309 под управлением CPU 301, выполняются CPU 301 и функционируют как описанные ниже блоки. Функции блоков, составляющих устройство 10 обработки изображений, будут коррелировать с конкретными процедурами, выполняемыми устройством 10 обработки изображений, проиллюстрированным в блок-схеме операций на фиг. 5.

Этап 510: получение изображения

[0040] Блок 111 получения изображения запрашивает устройство 20 формирования SLO-изображений получить широкоугольные изображения D1, изображения Dhj большого увеличения и соответствующие позиции F1 и Fh цели фиксации. В настоящем варианте осуществления, позиции F1 и Fh цели фиксации устанавливаются на центральной ямке сетчатки, и получаются широкоугольные изображения D1 и изображения Dhj большого увеличения. Заметим, что способ установления позиций съемки этим не ограничивается, и возможно установление в любой позиции.

[0041] Устройство 20 формирования SLO-изображений получает и передает широкоугольные изображения D1 и изображения Dhj большого увеличения, и соответствующие позиции F1 и Fh цели фиксации, в соответствии с запросом на получение. Блок 111 получения изображения принимает широкоугольные изображения D1, изображения Dhj большого увеличения и позиции F1 и Fh цели фиксации, от устройства 20 формирования SLO-изображений через LAN 30 и сохраняет их в блоке 120 хранения. Заметим, что широкоугольное изображение D1 и изображение Dhj большого увеличения в настоящем варианте осуществления являются движущимися изображениями, межкадровое позиционирование которых уже произведено.

Этап 520: позиционирование

[0042] Блок 131 позиционирования осуществляет позиционирование широкоугольных изображений D1 и изображений Dhj большого увеличения, и получает относительную позицию изображений Dhj большого увеличения на широкоугольном изображении D1. В случае наличия области перекрывания среди изображений Dhj большого увеличения, сходство между изображениями вычисляется также в отношении этой области перекрывания и позиций изображений Dhj большого увеличения друг с другом в позиции, где сходство между изображениями максимально.

[0043] Далее, в случае, когда на этапе S510 получены изображения разного увеличения, позиционирование осуществляется из изображений более малого увеличения. Например, в случае, когда получены изображение D1j большого увеличения и изображение D2k среднего увеличения, прежде всего, позиционирование осуществляется между широкоугольным изображением D1 и изображением D2k среднего увеличения, и далее осуществляется позиционирование между изображением D2k среднего увеличения и изображением D1j большого увеличения. В случае, когда существуют только изображения большого увеличения, очевидно, что позиционирование осуществляется только между широкоугольным изображением D1 и изображением D1j большого увеличения.

[0044] Заметим, что блок 131 позиционирования получает позицию Fh цели фиксации, используемую для формирования изображения Dhj большого увеличения от блока 120 хранения и использует ее для установления начальной точки поиска параметра позиционирования при позиционировании между широкоугольным изображением D1 и изображением Dhj большого увеличения. Для определения сходства между изображениями можно использовать любой известный метод или методы преобразования координат. В настоящем варианте осуществления, для определения сходства между изображениями используется коэффициент корреляции, и в качестве метода преобразования координат для осуществления позиционирования используется аффинное преобразование.

Этап 530: обработка для определения пригодности каждого движущегося изображения

[0045] Блок 132 определения индивидуального изображения осуществляет обработку определения на пригодность на основании значений яркости кадров и величины межкадрового перемещения. Кроме того, блок 134 выбора осуществляет обработку выбора на основании результатов определения пригодности и формирует индивидуальные изображения. Индивидуальным изображением здесь может быть изображение, где наложены все кадры движущегося изображения, или может представлять собой один выбранный кадр. Можно использовать изображение, где выбраны множественные изображения с относительно малым шумом и т.д. и выбранные изображения наложены. Обработка на этом этапе будет подробно описана ниже со ссылкой на блок-схему операций, показанную на фиг. 7A.

Этап 540: обработка для определения пригодности в качестве группы изображений

[0046] На основании индивидуальных изображений, сформированных на этапе S530, блок 133 определения группы изображений определяет пригодность группы изображений (множественных изображений соседних разных позиций) на основании относительной позиции и относительной яркости между ними, блок 134 выбора выбирает композицию изображений с наивысшей пригодностью, и составляет их для формирования изображения. В настоящем варианте осуществления, блок 134 выбора выбирает кадровый интервал композиции в отношении которой блок 133 определения группы изображений определил, что пригодность является наивысшей в каждой позиции получения, осуществляет наложение для генерации изображения и формирует составное изображение. Обработка на этом этапе будет подробно описана ниже со ссылкой на блок-схему операций, показанную на фиг. 7B.

Этап 550: отображение

[0047] Блок 135 управления отображением отображает изображения Dhj большого увеличения на широкоугольном изображении D1, на основании значения параметра позиционирования, полученного на этапе S520, или на основании области, кадра или изображения, выбранного на этапе S540. Блок 135 управления отображением может корректировать различие в концентрации среди изображений большого увеличения для отображения, в случае получения множественных изображений Dhj большого увеличения. Можно использовать любой известный способ коррекции яркости. В настоящем варианте осуществления, гистограмма Hj генерируется для каждого изображения Dhj большого увеличения, и линейное преобразование значений яркости изображений Dhj большого увеличения осуществляется таким образом, чтобы математическое ожидание и дисперсия гистограмм Hj были общими значениями среди изображений Dhj большого увеличения, таким образом, корректируя различие в концентрации. Заметим, что способ коррекции яркости среди изображений большого увеличения этим не ограничивается, и можно использовать любой известный способ коррекции яркости. Кроме того, в отношении увеличения при отображении, изображение большого увеличения, указанное оператором через блок 140 получения инструкции, увеличивается и отображается на мониторе 305.

Этап 560: инструкция, сохранять ли результаты

[0048] Блок 140 получения инструкции получает извне инструкцию в отношении того, сохранять ли на сервере 40 данных широкоугольные изображения D1, изображения Dhj большого увеличения, выбранные блоком 134 выбора, позиции F1 и Fh цели фиксации и значения параметра позиционирования, полученные на этапе S520. Эта инструкция вводится оператором, например, посредством клавиатуры 306 или мыши 307. В случае, когда предписано сохранение, последовательность обработки переходит к этапу S570, и в случае, когда сохранение не предписано, последовательность обработки переходит к этапу S580.

Этап 570: сохранение результатов

[0049] Блок 130 обработки изображений коррелирует дату и время исследования, информацию идентифицирующую исследуемый глаз, широкоугольные изображения D1, изображения Dhj большого увеличения, выбранные блоком 134 выбора, и позиции F1 и Fh цели фиксации, и значения параметра позиционирования, и передает на сервер 40 данных.

Этап 580: инструкция, заканчивать ли обработку

[0050] Блок 140 получения инструкции получает извне инструкцию в отношении того, заканчивать ли обработку устройством 10 обработки изображений в отношении широкоугольных изображений D1 и изображений Dhj большого увеличения. Эта инструкция вводится оператором, например, посредством клавиатуры 306 или мыши 307. В случае получения инструкции окончания обработки, обработка заканчивается. С другой стороны, в случае получения инструкции продолжать обработку, последовательность обработки возвращается к этапу S510, и обработка осуществляется на следующем глазу, подлежащем исследованию (или обработка осуществляется повторно в отношении того же глаза для исследования).

Обработка в отношении определения пригодности для каждого движущегося изображения

[0051] Далее, обработка, выполняемая на этапе S530, будет подробно описана со ссылкой на блок-схему операций, показанную на фиг. 7A.

Этап 710: получение стандарта определения пригодности

[0052] Блок 132 определения индивидуального изображения получает стандарт определения пригодности посредством блока 140 получения инструкции. В качестве стандартов определения пригодности здесь перечислены следующие элементы a) - d):

a) значение яркости изображения находится в надлежащем диапазоне,

b) диапазон надлежащих значений качества изображения (отношение S/N и т.д.),

c) величина перемещения относительно опорного кадра находится в надлежащем диапазоне, и

d) позиция фокуса находится в надлежащем диапазоне,

где, a) получается как пригодность в настоящем варианте осуществления. Это необходимо для исключения кадров низкой яркости, которые возникают вследствие того, что измерительный свет не достигает глазного дна, в результате моргания или помеченного отклонения позиции фиксации.

Этап 720: определение пригодности

[0053] Блок 132 определения индивидуального изображения определяет пригодность для каждого кадра SLO-изображения Dhj большого увеличения, согласно стандарту, полученному на этапе S710. В настоящем варианте осуществления присваивается значение 1, если каждый a) находится в надлежащем диапазоне, и присваивается значение -1 при отклонении от надлежащего диапазона.

Этап 730: выбор изображения

[0054] Блок 134 выбора выбирает изображения (кадры в случае движущихся изображений) для использования при отображении, с приращениями позиций съемки, на основании пригодности, определенной на этапе S720, и формирует изображение. В настоящем варианте осуществления, изображение большого увеличения является движущимся изображением, где фоторецепторы изображены как показано на фиг. 6C, и наложенное изображение формируется из движущегося изображения. Следующие элементы (i) и (ii) можно перечислить здесь как принципы формирования индивидуальных изображений, с целью

(i) максимизировать количество наложенных (приоритет отдается качеству изображения), и

(ii) максимизировать площадь наложенного изображения (приоритет отдается предотвращению незавершенных изображений).

[0055] В случае (i), все кадры, выбранные на этапе S720, используются для наложения. Например, в случае, когда позиция каждого кадра в индивидуальном движущемся изображении большого увеличения коррелирует (Nf: № кадра), как показано на фиг. 6(c), результаты наложения показаны на фиг. 6D. В этом примере, ведущий кадр является опорным кадром. Области, не используемые для наложения (незавершенных изображений), указаны черным на фиг. 6D. Хотя изображения высокого качества, области с кадрами, на имеющими пиксельных значений в результате межкадрового позиционирования, не используются при наложении, поэтому легко возникают незавершенные изображения. В случае (ii), кадры, выбранные на этапе S720, которые имеют даже незначительное позиционное отклонение, исключаются. Например, в случае фиг. 6C, исключаются кадры №№ 2-4. Хотя незавершенные изображения не возникают, количество наложенных изображений меньше, поэтому качество изображения имеет тенденцию к понижению относительно случая (i). Теперь, в случае настоящего варианта осуществления, выбираются кадры с пригодностью 1, вычисленной на этапе S720, и наложенное изображение формируется согласно принципу (i), который утверждает, что используются только области, где пиксельные значения положительны во всех выбранных кадрах.

Обработка для определения пригодности в качестве группы изображений

[0056] Далее, обработка, выполняемая на этапе S540 будет подробно описана со ссылкой на блок-схему операций, показанную на фиг. 7B.

Этап 740: определение пригодности

[0057] Блок 133 определения группы изображений составляет группу изображений, сформированную на этапе S730 согласно параметру позиционирования, используемому на этапе S520, и определяет пригодность группы изображений на основании относительной позиции и свойств яркости группы изображений. В настоящем варианте осуществления предполагается, что группа изображений составлена из девяти наложенных изображений, например, представленных на фиг. 6G, и что № j изображения увеличивается в порядке растрового сканирования (зигзагообразного сканирования) от верхнего левого угла. Принципы определения, относящиеся к пригодности составных изображений (группы изображений), перечислены ниже в порядке приоритета, согласно которым,

1. области незавершенного изображения не генерируются в составном изображении,

2. качество изображения не изменяется согласно позиции съемки, и

3. накладывается как можно больше изображений.

[0058] Из них, 1 и 2 являются условиями, установленными для обеспечения возможности наблюдения составного изображения в одних и тех же условиях, причем блок 1331 определения позиции определяет условие 1, и блок 1332 определения яркости определяет условие 2. Относительную позицию и свойства яркости группы изображений не следует одновременно устанавливать в качестве условий; достаточно установить в качестве условия любое из них.

[0059] Теперь, в случае, когда пригодность в качестве группы изображений не определена, т.е. в случае, когда составное изображение генерируется согласно принципу (ii) на этапе S730 для каждой позиции съемки, возможны случаи, когда вышеозначенное условие 2 не выполняется. Кроме того, в случае, когда составное изображение генерируется согласно принципу (ii) таким образом, что вышеозначенное условие 2 выполняется, качество изображения ниже, чем в случае, когда пригодность группы изображений определена, и изображения выбраны, поскольку количество наложенных изображений должно быть таким же, как изображения с наименьшим количеством наложенных изображений. Соответственно, осуществление определения пригодности с учетом непрерывности и комплементации данных на краевых и перекрывающихся участках соседних изображений позволяет получить составное изображение более высокого качества (наложение осуществляется с более высоким количеством изображений), в то же время, удовлетворяя условиям 1 и 2.

[0060] В настоящем варианте осуществления существуют избыточные области между двумя соседними изображениями, например, указанные серыми областями на фиг. 6F, и избыточные области между четырьмя соседними изображениями, например, указанные черными областями на фиг. 6F. В частности, пригодность группы изображений определяется посредством следующих процедур.

[0061] (1) Индивидуальные изображения, сгенерированные на этапе S730 (приоритет отдается качеству изображения), составляются согласно параметрам позиционирования, полученным на этапе S520.

(2) Проверяется, существуют ли незавершенные изображения в составном изображении, сгенерированном в (1), и

вычисляется (площадь составного изображения - площадь незавершенных изображений)/(площадь составного изображения).

Этап 750: выбор изображения

[0062] Блок 134 выбора осуществляет выбор изображения в каждом изображении большого увеличения таким образом, чтобы пригодность была наивысшей, на основании пригодности, определенной на этапе S740, и осуществляет обработку формирования группы изображений на основании выбранных изображений. В частности, выбор изображения (выбор кадра или области) осуществляется согласно следующим процедурам, и осуществляется обработка формирования группы изображений.

[0063] (3) В отсутствие незавершенных изображений, составное изображение формируется, как есть, и обработка заканчивается.

[0064] (4) При наличии незавершенных изображений, получается позиция области незавершенного изображения.

[0065] (5) Проверка наличия или отсутствия комплементарных (подстановочных) данных в избыточной области изображения, включающей в себя область незавершенного изображения или имеющей сторону, соседствующую с областью незавершенного изображения. Например, на фиг. 6G существуют незавершенные изображения в изображении 6 и изображении 9, поэтому проверяется, существуют ли комплементарные данные в изображении 6 и на левом краю изображения 5 и изображения 9.

[0066] (6) При наличии комплементарных (подстановочных) данных, область незавершенного изображения заменяется комплементарными данными, имеющими наилучшее качество изображения (количество наложенных изображений максимально) комплементарных данных, и выполняется (8) (эквивалентно обработке выбора области в изображении блоком 134 выбора).

[0067] (7) В отсутствие комплементарных (подстановочных) данных, выбранные кадры изображений, имеющих изображения, включающие в себя области незавершенного изображения или сторону, соседствующую с областью, изменяются таким образом, что область незавершенного изображения разрешается. При наличии множественных способов выбора кадра для разрешения области незавершенного изображения, выбирается способ выбора кадра, где количество наложенных изображений максимально.

[0068] (8) Количество ANmin наложенных изображений которое является наименьшим количеством наложенных изображений из группы наложенных изображений, полученной в (7), устанавливается как количество наложенных изображений составного изображения, количество наложенных изображений в каждой позиции съемки изменяется до ANmin, и повторно генерируется наложенное изображение.

[0069] (9) Наложенное изображение, сгенерированное в (8) используется для генерации составного изображения. Незавершенных изображений больше не существует, как показано на фиг. 6H, и генерируется составное изображение, где количества наложенных изображений одинаковы и максимальны.

[0070] Заметим, что в случае, когда движущиеся изображения получены Nt раз (Nt≥2) в одной и той же позиции съемки в одном и том же исследовании, движущееся изображение с наивысшей пригодностью (с первого по Nt-й раз) выбирается на этапе S730, существуют подстановочные данные в отношении области незавершенного изображения в разное время съемки проверяется при выборе изображения (5) на этапе S750, и производится замещение подстановочными данными, имеющими наивысшее качество изображения из всех подстановочных данных. Если все еще остается область незавершенного изображения, можно проверять, имеются ли подстановочные данные в избыточной области соседнего изображения.

[0071] Заметим, что, хотя составное изображение, сформированное на основании определения пригодности в качестве группы изображений, описано как неподвижное изображение (наложенное изображение) в настоящем варианте осуществления, настоящее изобретение этим не ограничивается. Например, определение пригодности может осуществляться с учетом комплементации данных на краевых и перекрывающихся участках соседних движущихся изображений, и движущееся изображение может быть составным и отображаться на нем, как показано на фиг. 6J.

[0072] Последовательность операций для базовой обработки в случае составного отображения движущихся изображений такая же, как в случае составного отображения неподвижных изображений, но следующие моменты отличаются следующим образом.

(i) Устройство 50 получения данных временной фазы, например, представленное на фиг. 2B, подключено к устройству 10 обработки изображений, и данные временной фазы получается одновременно с движущимся изображением. Данные временной фазы являются данными биосигнала, полученными, например, с помощью сфигмографа. Обращение к данным временной фазы дает сердечный цикл каждого движущегося изображения, т.е., какой цикл нужно воспроизводить. Цикл воспроизведения выравнивается, чтобы быть одинаковым среди движущихся изображений посредством обработки интерполяции кадров движущихся изображений.

(ii) Самый длинный непрерывный участок кадров, из которого удалены кадры с аномальной яркостью, выбирается при обработке формирования изображения с приращениями позиции съемки на этапе S730.

(iii) Определение пригодности осуществляется при обработке определения пригодности в качестве группы изображений на этапе S740 согласно следующим принципам, в соответствии с которыми

в составном изображении не генерируются области незавершенного изображения,

отсутствует дисперсия в количестве кадров воспроизведения от одной позиции съемки к другой, и

составляют и отображают движущиеся изображения как можно большего количества кадров (циклов).

(iv) Кадры, выбранные в (6), (7), (8) обработки формирования изображения в качестве группы изображений на этапе S750, устанавливаются как непрерывный участок кадров.

[0073] соответственно, незавершенные изображения устраняются из составного отображения движущегося изображения, и формируется составное движущееся изображение с самой длинной последовательностью кадров, имеющей то же количество кадров воспроизведения. В случае, когда данные временной фазы не получены, составное отображение можно производить как движущееся изображение, не регулируя тактовое время воспроизведения.

[0074] Согласно вышеописанной конфигурации, при отображении составного изображения из адаптивных оптических SLO-изображений в разных позициях съемки, устройство 10 обработки изображений определяет пригодность группы изображений в случае сравнения с областью, подлежащей съемке, т.е. определяет пригодность на основании того, насколько мала ненаблюдаемая область. Области или кадры или изображения выбираются из изображений на основании непрерывности и комплементации данных в краевых или перекрывающихся областях соседних изображений, таким образом, чтобы пригодность была наибольшей, и являются составными и отображаемыми. Соответственно, в случае, когда клетки и ткань, подлежащие наблюдению, и их поражения, существуют во множественных изображениях большого увеличения, может генерироваться составное изображение, которое можно наблюдать в целом, в одних и тех же условиях.

Второй вариант осуществления: непрерывность особенностей изображения множественных изображений в разных позициях

[0075] Устройство обработки изображений согласно второму варианту осуществления выполнено с возможностью определения пригодности группы изображений на основании непрерывности особенностей изображения, выделенных из соседних изображений большого увеличения, а не определения пригодности группы изображений на основании непрерывности относительной позиции и свойств яркости соседних изображений большого увеличения, как в первом варианте осуществления. В частности, пригодность группы изображений определяется на основании непрерывности капиллярных парафовеальных областей, выделенных из SLO-изображений большого увеличения.

[0076] Конфигурация устройств, соединенных с устройством 10 обработки изображений согласно настоящему варианту осуществления, такая же, как в первом варианте осуществления. На сервере 40 данных хранятся, помимо широкоугольных изображений D1 и изображений Dh большого увеличения обследуемого глаза, и условий получения, например, позиции F1 и Fh цели фиксации, используемые для их получения, особенности изображения глаза и нормальные значения, относящиеся к распределению особенностей изображения глаза. Хотя могут храниться любые особенности изображения глаза, в настоящем варианте осуществления используются особенности изображения, относящиеся к кровеносным сосудам сетчатки, капиллярам Q и клеткам W крови. Особенности изображения глаза, выводимые из устройства 10 обработки изображений, сохраняются на сервере 40 данных. Кроме того, особенности изображения глаза и данные нормального значения, относящиеся к распределению особенностей изображения глаза, передаются на устройство 10 обработки изображений по запросу из устройства 10 обработки изображений. Фиг. 8 демонстрирует функциональные блоки устройства 10 обработки изображений согласно настоящему варианту осуществления. Отличие от случая первого варианта осуществления состоит в том, что блок 130 обработки изображений снабжен блоком 136 получения особенности изображения. Последовательность операций обработки изображений согласно настоящему варианту осуществления такая же, как на фиг. 5, причем S510, S520, S560, S570 и S580 такие же, как в первом варианте осуществления. Соответственно, в настоящем варианте осуществления будет описана только обработка, выполняемая на этапах S530, S540 и S550.

Этап 530: обработка для определения пригодности каждого движущегося изображения

[0077] Блок 132 определения индивидуального изображения осуществляет обработку определения на пригодность на основании значений яркости кадров и величины межкадрового перемещения. Кроме того, блок 134 выбора осуществляет обработку выбора на основании результатов определения пригодности и формирует индивидуальные изображения. Обработка на этом этапе будет подробно описана ниже со ссылкой на блок-схему операций, показанную на фиг. 10A.

Этап 540: обработка для определения пригодности в качестве группы изображений

[0078] На основании индивидуальных изображений, сформированных на этапе S530, блок 133 определения группы изображений определяет пригодность на основании непрерывности особенностей изображения между изображениями, блок 134 выбора выбирает композицию изображений с наивысшей пригодностью, и составляет их для формирования изображения. Обработка на этом этапе будет подробно описана ниже со ссылкой на блок-схему операций, показанную на фиг. 10B.

Этап 550: отображение

[0079] Блок 135 управления отображением отображает составное изображение, сформированное на этапе S540, с использованием параметров позиционирования, полученных на этапе S520. В настоящем варианте осуществления осуществляется отображение составных изображений, где выделены капилляры, например, представленные на фиг. 9B.

Обработка для определения пригодности для каждого движущегося изображения

[0080] Далее, обработка, выполняемая на этапе S530, будет подробно описана со ссылкой на блок-схему операций, показанную на представленной фиг. 10A. Заметим, что S1010 и S1020 идентичны S710 и S720 в первом варианте осуществления, поэтому их описание будет опущено.

Этап 1030: выбор изображения

[0081] Блок 134 выбора выбирает изображения (кадры в случае движущихся изображений) для использования при отображении, с приращениями позиций съемки, на основании пригодности, определенной на этапе S1020, и формирует изображение. В настоящем варианте осуществления, изображение большого увеличения является движущимся изображением, где изображена капиллярная область, и формируется изображение, где капилляры выделены из движущегося изображения (далее именуемое "капиллярным изображением").

[0082] Следующие элементы (i) и (ii) можно перечислить как принципы формирования индивидуальных изображений, согласно которым,

(i) максимизируется количество кадров, используемых для формирования капиллярного изображения (приоритет отдается качеству изображения), и

(ii) максимизируется площадь капиллярной области (приоритет отдается предотвращению незавершенных изображений).

[0083] В случае (i), все кадры, выбранные на этапе S1020, используются для выделения капилляров. В случае (ii), кадры, выбранные на этапе S1020, которые имеют даже незначительное позиционное отклонение, исключаются. Например, в случае фиг. 6C, исключаются кадры №№ 2-4. Хотя незавершенные изображения не возникают, количество кадров, используемых для выделения капилляров меньше, поэтому качество изображения имеет тенденцию к понижению относительно случая (i). Теперь, в случае настоящего варианта осуществления, кадры с пригодностью 1, вычисленной на этапе S1020 выбираются, и капиллярные области выделяются согласно принципу (i), который утверждает, что используются только области, где пиксельные значения положительны во всех выбранных кадрах.

Этап 1040: выделение особенностей изображения

[0084] Блок 136 получения особенности изображения выявляет капилляры из изображений Dhj большого увеличения, и выявляет границу аваскулярной области из выявленных капиллярных областей. В настоящем варианте осуществления, прежде всего, капилляры идентифицируются из изображений Dhj большого увеличения как диапазоны перемещения компонента клеток крови, согласно следующим процедурам, в соответствии с которыми

(a) осуществляется разностная обработка среди соседних кадров изображений Dhj большого увеличения, в отношении которых завершены межкадровые позиции (генерируется разностное движущееся изображение),

(b) вычисляются статистические параметры (дисперсия) яркости в направлении кадра в каждой позиции x-y разностного движущегося изображения, сгенерированного в (a), и

(c) область, где дисперсия яркости в каждой позиции x-y разностного движущегося изображения, превышает пороговое значение Tv, идентифицируется как область, где клетки крови перемещаются, т.е. капиллярная область.

[0085] Заметим, что способ выявления капилляров этим не ограничивается; можно использовать любой известный способ. Например, кровеносные сосуды можно выявлять путем применения фильтр, который распространяет линейные структуры на конкретный кадр изображений Dhj большого увеличения.

[0086] Далее, блок 136 получения особенности изображения выявляет границу аваскулярной области из полученных капиллярных областей. Существует область, где отсутствуют кровеносные сосуды сетчатки (аваскулярная область) вблизи ямки сетчатки (например, Dh5 на фиг. 6I). На ранней стадии поражения кровеносных сосудов сетчатки легко возникают вокруг границы аваскулярной области, и также аваскулярная область расширяется с развитием поражений, например, ретинопатии у диабетиков. Соответственно, граница аваскулярной области является важным объектом наблюдения и анализа.

[0087] В настоящем варианте осуществления, круглая деформируемая модель располагается в изображении Dh5 большого увеличения, находящемся в центре группы изображений большого увеличения, и эта деформируемая модель деформируется для согласования с границей аваскулярной области, таким образом, идентифицируя границу аваскулярной области. Позиция деформируемой модели, деформация которой завершена, используется в качестве позиции-кандидата границы аваскулярной области. Заметим, что способ идентификации границы аваскулярной области этим не ограничивается; можно использовать любой известный метод.

Обработка для определения пригодности в качестве группы изображений

[0088] Далее, обработка, выполняемая на этапе S540, будет подробно описана со ссылкой на блок-схему операций, показанную на фиг. 10B.

Этап 1050: определение пригодности

[0089] Блок 133 определения группы изображений вычисляет следующий индекс, относящийся к особенностям изображения (капиллярной области), полученный из изображений Dhj большого увеличения, и определяет пригодность группы изображений на основании этого индекса.

(суммарная длина фактически полученной границы аваскулярной области)/(суммарная длина границы аваскулярной области для последовательности точек-кандидатов, установленной на этапе S1040)

этап 1060: выбор изображения и обновление особенностей изображения

[0090] Блок 134 выбора выбирает изображения в изображениях большого увеличения для обеспечения наибольшей пригодности, на основании пригодности, определенной на этапе S1050, и осуществляет обработку формирования группы изображений на основании выбранных изображений. В частности, выбор изображения осуществляется согласно следующим процедурам, и осуществляется обработка формирования группы изображений.

[0091] (3') В отсутствие особенностей незавершенного изображения, составное изображение формируется, как есть, и обработка заканчивается.

[0092] (4') В отсутствие особенностей незавершенного изображения, получается позиция области особенностей незавершенного изображения.

[0093] (5') Проверка наличия или отсутствия комплементарных (подстановочных) данных в избыточной области изображения, включающей в себя область особенностей незавершенного изображения или имеющей сторону, соседствующую с областью особенностей незавершенного изображения. Например, на фиг. 9A, существуют особенности незавершенного изображения в изображении 6, поэтому проверяется, существуют ли комплементарные данные в изображении 6 и на левом краю изображения 5.

[0094] (6') В случае, когда существуют комплементарные (подстановочные) данные, область особенностей незавершенного изображения заменяется комплементарными данными, имеющими наилучшее качество изображения комплементарных данных (количество кадров, используемых для выделения капилляров велико), и выполняется (8').

[0095] (7') В отсутствие комплементарных (подстановочных) данных, выбранные кадры изображений, имеющих изображения, включающие в себя области незавершенных признаков изображения или сторону, соседствующую с областью, изменяются таким образом, чтобы можно было разрешать область особенностей незавершенного изображения. При наличии множественных способов выбора кадра для разрешения области особенностей незавершенного изображения, выбирается способ выбора кадра, где количество выбранных кадров максимально.

[0096] (8') Количество ANmin' кадров, используемых для генерации капиллярного изображения, которое является наименьшим количеством кадров, используемых для генерации капиллярного изображения, из группы капиллярных изображений, полученных в (7'), устанавливается как количество кадров, используемых в каждом капиллярном изображении. Количество кадров, используемых для выделения капилляров в каждой позиции съемки, изменяется до ANmin', и капиллярное изображение повторно генерируется.

[0097] (9') Капиллярное изображение, сгенерированное в (8'), используется для генерации составного изображения. Больше не существует особенностей незавершенного изображения, как показано на фиг. 6H, и генерируется составное изображение, где количества кадров, используемых для выделения капилляров, одинаковы и максимальны.

[0098] Заметим, что особенности изображения, используемые для вычисления пригодности для группы изображений, не ограничиваются границей аваскулярной области; можно использовать любые особенности изображения. Например, в случае определения пригодности группы изображений из четырех изображений большого увеличения диска зрительного нерва, как показано на фиг. 9C, чашевидный участок можно выявлять путем обработки порогового значения, и пригодность группы изображений, определенная на основании непрерывности позиции границы чашевидного участка. В частности, сумма края границы чашевидного участка используется как пригодность группы изображений. Конечно, пригодность группы изображений этим не ограничивается, и может быть площадью чашевидной области, выявленной, например, пороговой обработкой.

[0099] Способ выбора изображения, где пригодность группы изображений максимальна, в основном, такой же, как S750 в первом варианте осуществления. В этом состоит отличие от случая первого варианта осуществления, за исключением того, что выделение особенностей (обнаружение границы чашевидного участка) осуществляется в отношении наложенного изображения, сгенерированного после выбора кадра, пригодность для группы изображений определяется с использованием непрерывности особенностей изображения, и изображения, подвергнутые выделению особенностей, являются составными. Благодаря такого рода обработке определения пригодности группы изображений и обработке формирования группы изображений, составное изображение с разрывными участками в особенностях изображения, как в изображении Dh3 большого увеличения в нижнем правом углу фиг. 9D, может иметь разрывные участки, разрешаемые как на фиг. 9E, и ткань, подлежащая анализу, можно анализировать, в целом, в одних и тех же условиях.

[00100] Согласно вышеописанной конфигурации, устройство 10 обработки изображений определяет пригодность группы изображений на основании непрерывности особенностей изображения, выделенных из соседних изображений большого увеличения. Соответственно, в случае, когда клетки и ткань, подлежащие анализу, и их поражения, существуют во множественных изображениях большого увеличения, может генерироваться составное изображение, которое можно анализировать, в целом, в одних и тех же условиях. Заметим, что помимо особенностей изображения, по меньшей мере, одно условие относительной позиции и свойства яркости группы изображений, которые являются условиями первого варианта осуществления, например, может добавляться в качестве условия для определения пригодности группы изображений.

Третий вариант осуществления: устройство формирования томографических изображений, имеющих адаптивная оптическая система

[00101] При составлении и отображении томографических изображений большого увеличения адаптивной оптической OCT, сделанных в разных позициях съемки, устройство обработки изображений согласно третьему варианту осуществления определяет пригодность группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область по сравнению с областью съемки (анализа). В частности, описание будет сделано в отношении случая получения и составления множественных (3×3×3=27) изображений большого увеличения вблизи ямки посредством обработки позиционирования и определения пригодности группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область по сравнению с областью, подлежащей визуализации (анализу).

[00102] Фиг. 2C демонстрирует конфигурацию устройств, подключенных к устройству 10 обработки изображений согласно настоящему варианту осуществления. Настоящий вариант осуществления отличается от первого варианта осуществления в отношении точки, где производится соединение с устройством 60 формирования томографических изображений, имеющим адаптивную оптическую систему. Устройство 60 формирования томографических изображений является устройством, которое формирует томографические изображения глаза и выполнено в виде устройства оптической когерентной томографии в спектральной области (SD-OCT). Устройство 60 формирования томографических изображений глаз визуализирует трехмерные изображения томографические изображения исследуемого глаза, в соответствии с действиями оператора, который не показан. Визуализируемые томографические изображения передаются на устройство 10 обработки изображений.

[00103] Далее, функциональные блоки устройства 10 обработки изображений согласно настоящему варианту осуществления такие же, как в случае первого варианта осуществления, поэтому описание будет опущено. На сервере 40 данных хранятся данные нормального значения, относящиеся к особенностям изображения глаза и распределению особенностей изображения глаза, и, в настоящем варианте осуществления, содержат данные нормального значения, относящиеся к границе слоя сетчатки и ее форме и толщине.

[00104] Далее, конфигурация устройства 60 формирования томографических изображений, которое имеет адаптивную оптическую систему, будет описана со ссылкой на фиг. 11. На фиг. 11, 201 обозначает источник света, для которого в настоящем варианте осуществления используется источник света на основе SLD, имеющий длину волны 840 нм. Компоновка с низкой помехой достаточна для источника 201 света, и предпочтительно использовать источник света на основе SLD, имеющий интервал длины волны 30 нм или более. Кроме того, в качестве источника света также можно использовать лазер сверхкоротких импульсов, например титан-сапфировый лазер. Свет, излучаемый из источника 201 света, проходит через одномодовое оптическое волокно 202 и направляется в волоконный разветвитель 520. Волоконный разветвитель 520 разделяет этот свет на путь 521 измерительного света и путь 522 опорного света. Используется волоконный разветвитель, имеющий отношение деления 10:90, в связи с чем, 10% количества входного света направляется по пути 521 измерительного света. Свет, прошедший через путь 521 измерительного света, излучается как параллельный измерительный свет из коллиматора 203. Конфигурация после коллиматора 203 такая же, как в первом варианте осуществления, где глаз 211 облучается через адаптивную оптическую систему и сканирующую оптическую систему, и отраженный и рассеянный свет из глаза 211 возвращается тем же путем для направления в оптическое волокно 521 и достигает волоконного разветвителя 520. С другой стороны, опорный свет, прошедший через путь 522 опорного света, излучается на коллиматоре 523, отражается на блоке 524 переменной длины оптического пути и снова возвращается в волоконный разветвитель 520. Измерительный свет, достигший волоконного разветвителя 520, мультиплексируется с опорным светом и проходит через оптическое волокно 525 для направления в светоделительный блок 526. Томографическое изображение глаза конфигурируется блоком 217 управления на основании информации света интерференции, разделенного светоделительным блоком 526. Блок 217 управления может управлять блоком 524 переменной длины оптического пути для получения изображения желаемой позиции глубины. Заметим, что благодаря увеличению угла развертки сканирующей оптической системы в конфигурации, представленной на фиг. 11 и благодаря тому, что адаптивный оптический блок 216 управления предписывает не осуществлять коррекцию аберрации, устройство 60 формирования томографических изображений может работать как обычное устройство формирования томографических изображений, и может формировать широкоугольные томографические изображения (широкоугольное изображение D1).

[00105] Кроме того, хотя устройство 60 формирования томографических изображений, имеющее адаптивную оптическую систему описано в настоящем варианте осуществления как SD-OCT, SD-OCT не является существенным. Например, оно может быть сконфигурировано как OCT во временной области или SS-OCT (оптическая когерентная томография со сканированием источника). В случае SS-OCT, используется источник света, где в разные моменты времени генерируется свет разной длины волны, и спектральные элементы для получения спектральной информации становятся ненужными. Кроме того, SS-OCT может получать изображения очень большой глубины, включающие в себя не только сетчатку, но и сосудистую оболочку.

[00106] Фиг. 5 демонстрирует последовательность операций обработки изображений устройства 10 обработки изображений согласно настоящему варианту осуществления. Она такая же, как в случае первого варианта осуществления за исключением S510, S520, S530, S540 и S550, поэтому будет описана только обработка, выполняемая на этапах S510, S520, S530, S540 и S550.

Этап 510: получение изображения

[00107] Блок 111 получения изображения запрашивает устройство 60 формирования изображений для получения широкоугольных изображений D1, изображений Dhj большого увеличения и соответствующих позиций F1 и Fh цели фиксации. В настоящем варианте осуществления, позиции F1 и Fh цели фиксации устанавливаются на центральной ямке сетчатки, и получаются широкоугольные изображения D1 и изображения Dhj большого увеличения. Изображения Dhj большого увеличения повторно формируются Np раз (в настоящем варианте осуществления Np = 3), и изображение большого увеличения, созданное в n-й раз в одной и той же позиции съемки, записывается в настоящем варианте осуществления, например, как Dhj_n. Заметим, что способ установления позиций съемки этим не ограничивается, и возможно установление в любой позиции.

[00108] Устройство 60 формирования томографических изображений получает и передает широкоугольные изображения D1 и изображения Dhj_n большого увеличения, и соответствующие позиции F1 и Fh цели фиксации, в соответствии с запросом на получение. Блок 111 получения изображения принимает широкоугольные изображения D1, изображения Dhj_n большого увеличения и позиции F1 и Fh цели фиксации, из устройства 60 формирования томографических изображений через LAN 30 и сохраняет их в блоке 120 хранения. Заметим, что широкоугольное изображение D1 и изображение Dhj_n большого увеличения в настоящем варианте осуществления являются трехмерными изображениями, в отношении которых ранее произведено межсрезовое позиционирование.

Этап 520: позиционирование

[00109] Блок 131 позиционирования осуществляет позиционирование широкоугольных изображений D1 и изображений Dhj_n большого увеличения, и принимает решение по позиции изображений Dhj_n большого увеличения на широкоугольном изображении D1. Прежде всего, блок 133 определения группы изображений получает позицию Fh цели фиксации, используемую при формировании изображения Dhj_n большого увеличения от блока 120 хранения, и устанавливает начальную точку поиска параметра позиционирования для позиционирования широкоугольного изображения D1 и изображений Dhj_n большого увеличения, на основании относительной позиции от позиции цели фиксации. В случае наличия области перекрывания среди изображений Dhj_n большого увеличения, сходство между изображениями вычисляется также в отношении этой области перекрывания, и изображения Dhj_n большого увеличения позиционируются рядом друг с другом в позиции, где сходство между изображениями максимально.

[00110] Далее, в случае, когда изображения разного увеличения получены на этапе S530, позиционирование осуществляется из изображений более малого увеличения. В настоящем варианте осуществления, существуют только изображения большого увеличения, поэтому позиционирование осуществляется только между широкоугольным изображением D1 и изображениями D1j_n большого увеличения. Для определения сходства между изображениями можно использовать любой известный метод или методы преобразования координат, и в настоящем варианте осуществления, для определения сходства между изображениями используется (трехмерный) коэффициент корреляции, и трехмерное аффинное преобразование используется в качестве метода преобразования координат для осуществления позиционирования.

Этап 530: обработка для определения пригодности каждого движущегося изображения

[00111] Блок 132 определения индивидуального изображения осуществляет обработку определения на пригодность на основании значений яркости кадров и величины межкадрового перемещения. Кроме того, блок 134 выбора осуществляет обработку выбора на основании результатов определения пригодности и формирует индивидуальные изображения. Способы получения стандарта определения и определения сходства идентичны S710 и S720 в первом варианте осуществления, поэтому описание будет опущено здесь. Далее, блок 134 выбора выбирает изображения, подлежащие использованию для отображения с приращениями позиций съемки, на основании определенного сходства и формирует изображение. Изображения большого увеличения в настоящем варианте осуществления являются трехмерными томографическими изображениями, например, представленными на фиг. 12(a). Перекрывание изображений большого увеличения здесь не показано, для облегчения понимания позиции съемки.

[00112] Нижеследующее можно рассматривать как принципы формирования индивидуального изображения с целью

(i) максимизировать отношение S/N (приоритет отдается качеству изображения), и

(ii) максимизировать суммарное количество пикселей в трехмерном томографическом изображении (приоритет отдается предотвращению незавершенных изображений),

причем, в отношении (i), из томографических изображений, полученных в одной и той же позиции съемки на этапе S510, выбирается изображение с наивысшим отношением S/N, и пиксельное значение для области, включающей в себя срез без пиксельного значения (краевой участок изображение), устанавливается равным 0. Качество изображения высоко, но легко возникают незавершенные изображения. В отношении (ii), трехмерное томографическое изображение в отношении которого обработка наполнения краев изображения нулями минимальна, выбирается из трехмерных томографических изображений (всего трех), полученных на этапе S510. Хотя незавершенные изображения не возникают, отношение S/N не обязательно является высоким, поэтому качество изображения имеет тенденцию к понижению относительно случая (i). В настоящем варианте осуществления, выбирается срез с пригодностью 1, и значение яркости в срезе с пригодностью -1 является значением, полученным посредством обработки интерполяции пиксельными значениями в предыдущих и следующих срезах. Здесь, индивидуальные изображения высокого качества формируются согласно принципу (i), т.е. с использованием трехмерного томографического изображения с максимальным отношением S/N.

Этап 540: обработка для определения пригодности в качестве группы изображений

[00113] На основании индивидуальных изображений, сформированных на этапе S530, блок 133 определения группы изображений определяет пригодность группы изображений, и блок 134 выбора выбирает композицию изображений с наивысшей пригодностью и составляет их для формирования изображения. В настоящем варианте осуществления, изображение № j увеличивается в порядке растрового сканирования (зигзагообразного сканирования) от верхнего левого угла. Принципы определения, относящиеся к составным изображениям (группе изображений), перечислены ниже в порядке приоритета, согласно которым

1. области незавершенного изображения не генерируются в составном изображении, и

2. составное изображение имеет максимально возможное качество.

[00114] Из них 1 является установленным условием наблюдаемости составного изображения в одних и тех же условиях. Теперь, в случае, когда пригодность в качестве группы изображений не определена, кадры необходимо выбирать так, чтобы ни в одной позиции съемки не было областей незавершенного изображения, например, составное изображение с более низким качеством изображения формируется в связи с вышеописанным условием 2, по сравнению со случаем генерации составного изображения на основании определения пригодности группы изображений. Соответственно, осуществление определения пригодности с учетом непрерывности и комплементации данных на краевых и перекрывающихся участках соседних трехмерных томографических изображений позволяет получить составное изображение более высокого качества, в то же время, удовлетворяя условию 1.

[00115] В настоящем варианте осуществления, среди двух соседних изображений существуют избыточные области, указанные серыми областями на фиг. 12B, среди четырех соседних изображений - избыточные области, указанные черными области на фиг. 12B, и среди восьми соседних изображений - избыточные области, указанные белыми точками решетки на фиг. 12C. В частности, пригодность группы изображений определяется посредством следующих процедур.

[00116] (1) Индивидуальные изображения, сгенерированные на этапе S530 (приоритет отдается качеству изображения) составляются согласно параметрам позиционирования, полученным на этапе S520.

[00117] (2) Проверяется, существуют ли незавершенные изображения в составном изображении, сгенерированном в (1), и

(объем (количество пикселей) составного трехмерного изображения - объем (количество пикселей) незавершенных изображений)/(объем (количество пикселей) составного трехмерного изображения)

вычисляется как пригодность группы изображений.

[00118] Заметим, что группа изображений пригодность этим не ограничивается, и что проекционные изображения индивидуальных изображений могут быть составлены на проекционном изображении широкоугольного изображения на основании параметров позиционирования, полученных на этапе S520, и

можно определять (площадь составного двухмерного изображения - площадь незавершенных изображений)/(площадь составного двухмерного изображения).

[00119] На основании определенной выше пригодности группы изображений, блок 134 выбора осуществляет выбор изображения таким образом, чтобы пригодность была наивысшей в каждой позиции съемки, и группа изображений формируется на основании выбранного изображения. В частности, выбор изображения осуществляется согласно следующим процедурам, и осуществляется обработка формирования группы изображений.

[00120] (3) В отсутствие незавершенных изображений, составное изображение формируется, как есть, и обработка заканчивается.

[00121] (4) При наличии незавершенных изображений, получается позиция области незавершенного изображения.

[00122] (5) Проверка, существуют ли подстановочные данные в избыточной области изображения, включающей в себя область незавершенного изображения или имеющей сторону, соседствующую с областью незавершенного изображения. Например, на фиг. 12D существуют незавершенные изображения в изображениях Dh3 большого и Dh7 увеличения, поэтому проверяется, существуют ли комплементарные (подстановочные) данные в Dh3 и на дальнем краю Dh4 и Dh7 и на верхнем краю Dh12.

[00123] (6) При наличии комплементарных (подстановочных) данных, область незавершенного изображения заменяется комплементарными данными, имеющими наилучшее качество изображения (наивысшее отношение S/N) комплементарных данных, и осуществляется обработка составления изображения.

[00124] (7) В отсутствие комплементарных (подстановочных) данных, обработка обрезки (наполнение нулями) на краю изображения отменяется, в результате чего, область незавершенного изображения оказывается минимальной, принимается решение отношении пиксельных значений для оставшейся области незавершенного изображения посредством обработки интерполяции из окрестности пикселей, и затем осуществляется обработка составления изображения. Таким образом, формируется составное изображение, где отсутствуют незавершенные изображения и качество изображения максимально. Заметим, что принципы определения пригодности группы изображений не ограничиваются вышеописанными, и что можно устанавливать любую пригодность. Например, длина границы аваскулярной области, которая является примером особенностей изображения, может добавляться к условиям пригодности помимо области и т.д.

Этап 550: отображение

[00125] Блок 133 определения группы изображений составное изображение, сформированное на этапе S540 на мониторе 305. Широкоугольное изображение D1 и изображения Dhj_n большого увеличения являются трехмерными томографическими изображениями в настоящем варианте осуществления, поэтому осуществляются следующие два типа отображения.

[00126] i) проекционные изображения широкоугольного изображения D1 и изображений Dhj_n большого увеличения генерируются относительно направления оси z, и проекционное изображение изображения Dhj_n большого увеличения с составляется и отображается на проекционном изображении широкоугольного изображения D1.

[00127] ii) Генерируется широкоугольное трехмерное томографическое изображение D1", отображаемое согласно пиксельным значениям широкоугольного трехмерного томографического изображения D1 в позициях, где получено только широкоугольное трехмерное томографическое изображение D1, и согласно значениям пикселей трехмерного томографического изображения Dhj_n большого увеличения в позициях, где получены широкоугольное трехмерное томографическое изображение D1 и трехмерное томографическое изображение Dhj_n большого увеличения. Кроме того, конкретная позиция сканирования на широкоугольном трехмерном томографическом изображении D1" указана на наложенном изображении в i) стрелкой, и двухмерное томографическое изображение широкоугольного трехмерного томографического изображения D1", определяемого позицией стрелки, отображается совместно с наложенным изображением, например, в i). В этом отображении, не только двухмерное томографическое изображение широкоугольного трехмерного томографического изображения D1, но и двухмерное томографическое изображение трехмерного томографического изображения Dhj_n большого увеличения отображается с наложением.

[00128] Кроме того, при отображении ii), стрелка, указывающая позицию отображения широкоугольного томографического изображения D1" может (вертикально или горизонтально) перемещаться оператором с использованием блока 140 получения инструкции, поэтому отображаемый срез широкоугольного изображения D1 и изображения Dhj_n большого увеличения, заданный (отображаемый) совместно с этой операцией, также изменяется.

[00129] Заметим, что способ генерации проекционных изображений не ограничивается проекцией средней интенсивности; можно использовать любой способ проекция. Кроме того, изображения Dhj_n большого увеличения не ограничиваются неподвижными изображениями, и могут быть движущимися изображениями. Хотя пригодность группы томографических изображений описана в настоящем варианте осуществления как определяемая на основании того, насколько мала ненаблюдаемая область по сравнению с областью съемки, настоящее изобретение этим не ограничивается. Возможна компоновка, где, как и в случае второго варианта осуществления, устройство 10 обработки изображений имеет блок 136 получения особенности изображения, и пригодность группы томографических изображений определяется на основании непрерывности между соседними изображениями, в особенностях изображения, выделенных из изображений большого увеличения. Например, блок 136 получения особенности изображения извлекает границы слоя как особенности изображения, посредством следующих процедур. Таким образом, блок 136 получения особенности изображения извлекает позиции границы внутренней ограничительной мембраны B1, границы B2 слоя нервного волокна, границы B4 внутреннего сетевидного слоя, внутренней/внешней границы B5 фоторецептора и границы B6 пигментного эпителия сетчатки, как особенности изображения из широкоугольного изображения D1 хранящегося в блоке 120 хранения, т.е. из трехмерного томографического изображения глаза. Затем выделенные особенности изображения сохраняются в блоке 120 хранения.

[00130] Теперь подробно опишем процедуры выделения особенностей из широкоугольного изображения D1. Прежде всего, опишем процедуры выделения для извлечения границ слоя. Трехмерное томографическое изображение подлежащий обработке рассматривается здесь как набор двухмерных томографических изображений (изображений B-сканирования) и на двухмерных томографических изображениях осуществляется следующая обработка. Прежде всего, двухмерное томографическое изображение представляющий интерес, подвергается обработке сглаживания, и шумовые компоненты удаляются. Далее, краевые компоненты обнаруживаются из двухмерного томографического изображения, и несколько линейных сегментов выделяются как кандидаты в границу слоя на основании ее непрерывности. Из выделенных кандидатов, самый верхний линейный сегмент выделяется как внутренняя ограничительная мембрана B1, второй сверху линейный сегмент выделяется как граница B2 слоя нервного волокна, и третий линейный сегмент выделяется как граница B4 внутреннего сетевидного слоя. Линейный сегмент с наибольшей контрастностью на внешней стороне сетчатки от внутренней ограничительной мембраны B1 (размер, при котором координата z велика на фиг. 6A) выделяется как внутренняя/внешняя граница B5 фоторецептора. Кроме того, нижний линейный сегмент группы кандидатов в границы слоя выделяется как граница B6 пигментного эпителия сетчатки. Деформируемая модель, например, змеи или наборы уровней и т.п. может применяться для начальных значений линейных сегментов, для более точного выделения. Для выделения границ слоя можно использовать разрезы графа. Выделение границы с использованием деформируемых моделей и разрезов графа может осуществляться в трех измерениях на трехмерном томографическом изображении или может осуществляться в двух измерениях на двухмерных томографических изображениях. Для выделения границ слоя можно использовать любой способ, позволяющий выделять границы слоя из томографического изображения глаза.

[00131] Кроме того, выделение границы слоя из изображений Dhj_n большого увеличения может выполняться на основании относительных позиций широкоугольного изображения D1 и изображений Dhj_n большого увеличения и позиций границы слоя выявленный из широкоугольного изображения D1. Таким образом, слои обнаруживаются из широкоугольного изображения D1, коррелированного с изображениями Dhj_n большого увеличения, и границу соответствующих слоев в изображениях Dhj_n большого увеличения можно выявлять вблизи позиции границ слоя, выявленных в широкоугольном изображении D1.

[00132] Согласно вышеописанной конфигурации, при составлении и отображении томографических изображений большого увеличения адаптивного оптического OCT, сформированных в разных позициях съемки, устройство 10 обработки изображений определяет пригодность группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область в составном изображении по сравнению с областью съемки (анализа). Соответственно, в случае, когда клетки и ткань, подлежащие анализу, и их поражения, существуют во множественных изображениях большого увеличения, может генерироваться составное изображение, которое можно анализировать, в целом, в одних и тех же условиях.

Четвертый вариант осуществления: сравнение составного изображения и области съемки (анализа) в другом исследовании

[00133] Устройство обработки изображений согласно четвертому варианту осуществления определяет пригодность группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область во время составления и отображения адаптивные оптические SLO-изображения большого увеличения разных позиций съемки, в случае сравнения области съемки (анализа) в другом исследовании. В частности, описание будет сделано в отношении случая определения пригодности группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область в составном изображении, по сравнению с группой Dhjf изображений (f=1, 2, …, n-1), сформированной в более раннем исследовании.

[00134] Конфигурация устройств, соединенных с устройством 10 обработки изображений согласно настоящему варианту осуществления, такая же, как в первом варианте осуществления. Далее, фиг. 13 демонстрирует функциональные блоки устройства 10 обработки изображений согласно настоящему варианту осуществления. Отличие от случая первого варианта осуществления состоит в том, что блок 133 определения группы изображений снабжен блоком 1333 сравнения по времени. Последовательность операций обработки изображений согласно настоящему варианту осуществления такая же, как на фиг. 5, где S530, S560, S570 и S580 такие же, как в первом варианте осуществления. Соответственно, будет описана только обработка, выполняемая на этапах S510, S520, S540 и S550. Заметим, что каждая из Dsjf и Fsf представляет случаи получения SLO-изображения и цели фиксации с разными увеличениями, разными позициями съемки или разными датами исследования, где s - переменная, представляющая увеличение, j - переменная, представляющая № позиции съемки, и f - переменная, представляющая дату исследования, выражаемые в виде s=1, 2, …, smax, j=1, 2, …, jmax, и f=1, 2, …, fmax. Чем меньше s, тем больше увеличение при съемке (тем уже угол обзора). Чем меньше f, тем старше дата исследования. Позиция съемки для получения изображения наименьшего увеличения (широкоугольного изображение) в настоящем варианте осуществления равна единице, и для простоты № позиции съемки будет сокращенным.

Этап 510: получение изображения

[00135] Блок 111 получения изображения запрашивает сервер 40 данных передавать прошлые SLO-изображения Dsjf (f=1, 2, …, n-1), позиции Fsf цели фиксации и значения параметра позиционирования, соответствующие SLO-изображениям Dsjf. Сервер 40 данных передает данные, соответствующие этому запросу, на устройство 10 обработки изображений и сохраняет их в блоке 120 хранения. В настоящем варианте осуществления, n=4.

[00136] Далее, блок 111 получения изображения запрашивает устройство 20 формирования SLO-изображений получить изображения последнего исследования и позиции цели фиксации, SLO-изображения Dsjn и позиции Fsn цели фиксации. В настоящем варианте осуществления, позиции F2n и F1n цели фиксации устанавливаются на центральной ямке сетчатки, и устройство 20 формирования SLO-изображений выдает SLO-изображение D2n малого увеличения и изображения D1jn большого увеличения.

Этап 520: позиционирование

[00137] Блок 131 позиционирования осуществляет позиционирование широкоугольного изображения D2f (f=1, 2, …, n) и изображений D1jf большого увеличения, и получает относительную позицию изображений D1jf большого увеличения на широкоугольном изображении D2f, таким образом, генерируя составное изображение широкоугольных изображений D1jf большого увеличения.

[00138] В случае наличия области перекрывания среди изображений D1jf большого увеличения из исследований, проведенных в один и тот же день, сходство между изображениями вычисляется в отношении этой области перекрывания и позиций изображений D1jf большого увеличения друг с другом в позиции, где сходство между изображениями максимально. В случае получения изображений с тремя или более разными увеличениями, позиционирование осуществляется из изображений более малого увеличения. Например, в случае получения изображения D3f, изображения D2kf и изображения D1jf, прежде всего, осуществляется позиционирование между изображением D3f и изображением D2kf, и затем осуществляется позиционирование между изображением D2kf и изображением D1jf. Кроме того, блок 131 позиционирования получает позицию F1f цели фиксации, используемую для формирования изображения D1jf, от блока 120 хранения и использует ее для установления начальной точки поиска параметра позиционирования при позиционировании между изображением D2f и изображением D1jf. Для определения сходства между изображениями можно использовать любой известный метод или методы преобразования координат. В настоящем варианте осуществления, для определения сходства между изображениями используется коэффициент корреляции, и в качестве метода преобразования координат для осуществления позиционирования используется аффинное преобразование.

[00139] Далее, позиционируются широкоугольное изображение D2n из последнего исследования и широкоугольное изображение D2f (f=1, 2, …, n-1) из прошлого исследования. Кроме того, относительная позиция изображения D1jf большого увеличения из прошлого исследования относительно изображения D1jn большого увеличения в последнем исследовании получается с использованием относительной позиции широкоугольного изображения D2n относительно изображения D1jn большого увеличения, относительной позиции широкоугольного изображения D2f относительно D2n и относительной позиции изображения D1jf большого увеличения относительно D2f. Заметим, что позиционирование можно осуществлять непосредственно между изображением D1jn большого увеличения в последнем исследовании и изображением D1jf большого увеличения из прошлого исследования. Блок 131 позиционирования получает позиции цели фиксации изображений от блока 120 хранения. Блок 131 позиционирования, с использованием этих позиций цели фиксации, устанавливает начальную точку поиска для позиционирования изображения D1jn большого увеличения из последнего исследования и широкоугольного изображения D2n из последнего исследования, D2n и широкоугольного изображения D2f из прошлого исследования, и D2f и изображения D1jf большого увеличения из прошлого исследования.

[00140] В качестве метода позиционирования можно использовать любой метод. В настоящем варианте осуществления, аффинное преобразование используется для позиционирования, прежде всего, для осуществления общего позиционирования. Далее, осуществляется точное позиционирование с использованием бездеформационного (FFD) метода, то есть метода нежесткого позиционирования. При любом позиционировании, для определения сходства между изображениями используется коэффициент корреляции. Конечно, можно без ограничения использовать любое известное сходство между изображениями. Таким образом, пиксели изображения из последнего исследования (широкоугольного изображения D2n или изображения D1jf большого увеличения) и пиксели изображения из прошлого исследования (широкоугольного изображения D2f или изображения D1jf большого увеличения) коррелируют.

[00141] Настоящее изобретение не ограничивается позиционированием на основании сходства пиксельных значений. Например, устройство 10 обработки изображений может быть снабжено блоком 136 получения особенности изображения таким же образом, как во втором варианте осуществления, блоком 136 получения особенности изображения, идентифицирующим капиллярные области, что позволяет осуществлять позиционирование на основании особенностей с использованием идентифицированной области кровеносных сосудов.

Этап 540: обработка для определения пригодности в качестве группы изображений

[00142] Блок 133 определения группы изображений определяет пригодность группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область по сравнению с областью съемки (анализа) в другом исследовании, блок 134 выбора выбирает композицию изображений с наивысшей пригодностью и формирует составное изображение. В настоящем варианте осуществления предполагается, что группа изображений составлена из девяти наложенных изображений, например, представленных на фиг. 6G, и что № j изображения увеличивается в порядке растрового сканирования (зигзагообразного сканирования) от верхнего левого угла. Принципы определения, относящиеся к составным изображениям (группе изображений), перечислены ниже в порядке приоритета, согласно которым

1. области незавершенного изображения не генерируются в составном изображении,

2. качество изображения не изменяется согласно позиции съемки, и

3. ненаблюдаемые (неанализируемые) области не возникают столь легко, как область съемки (анализа) в другом исследовании.

[00143] Из них, 1 и 2 являются условиями, установленными для обеспечения возможности наблюдения составного изображения в одних и тех же условиях. Теперь, в случае, когда пригодность в качестве группы изображений не определена, например,

(i) в случае, когда составное изображение генерируется согласно принципу (ii) на этапе S730 для каждой позиции съемки, возможны случаи, когда вышеозначенное условие 2 не выполняется. Кроме того,

(ii) в случае, когда (i) выполняется, и также выполняется условие 2, качество изображения ниже, чем в случае, когда пригодность группы изображений определена, и изображения выбраны, поскольку количество наложенных изображений должно быть таким же, как изображения с наименьшим количеством наложенных изображений. Соответственно, осуществление определения пригодности с учетом непрерывности и комплементации данных на краевых и перекрывающихся участках соседних изображений позволяет получить составное изображение более высокого качества (наложение осуществляется с более высоким количеством изображений), в то же время, удовлетворяя условиям 1-3.

[00144] В настоящем варианте осуществления существуют избыточные области между двумя соседними изображениями, например, указанные серыми областями на фиг. 6F, и избыточные области между четырьмя соседними изображениями, например, указанные черными областями на фиг. 6F. В частности, пригодность группы изображений определяется посредством следующих процедур.

[00145] (1) Индивидуальные изображения, сгенерированные на этапе S530 (приоритет отдается качеству изображения), составляются согласно параметрам позиционирования, полученным на этапе S520.

[00146] (2) Блок 1333 сравнения по времени проверяет, существуют ли области незавершенного изображения в случае сравнения составного изображения, сгенерированного в (1), с составными изображениями, сгенерированными в прошлых исследованиях.

[00147] В частности, логическая дизъюнкция (∩_f(∪_jD1jf) дает область сравнения для составления группы изображений D1jf каждого исследования, т.е. относительно логической дизъюнкции (∪_jD1jf) для D1jf. В настоящем варианте осуществления существует три группы изображений выступающих в роли объектов сравнения (разных исследований), поэтому в случае, когда область сравнения является логической дизъюнкцией (∪_jD1j1) ∩ (∪_jD1j2) ∩ (∪_jD1j3), для составления группы изображений D1jf каждого исследования, т.е. для ∪_jD1jf, проверяется, существуют ли области незавершенного изображения.

[00148] Соответственно,

(площадь составного изображения, сгенерированное в (1)- площадь незавершенных изображений)/(площадь составного изображения, сгенерированное в (1))

вычисляется как пригодность группы изображений. Заметим, что способ установления области для сравнения этим не ограничивается; можно устанавливать любую область сравнения. Область для сравнения также можно устанавливать вручную. Блок 134 выбора осуществляет выбор изображения в изображениях большого увеличения таким образом, чтобы пригодность была наивысшей, на основании пригодности группы изображений, и осуществляет обработку формирования группы изображений на основании выбранных изображений. В частности, выбор изображения осуществляется согласно следующим процедурам, и осуществляется обработка формирования группы изображений.

[00149] (3) В отсутствии незавершенных изображений, составное изображение формируется, как есть, и обработка заканчивается.

[00150] (4) При наличии незавершенных изображений, получается позиция области незавершенного изображения.

[00151] (5) Проверка наличия или отсутствия комплементарных (подстановочных) данных в избыточной области изображения, включающей в себя область незавершенного изображения или имеющей сторону, соседствующую с областью незавершенного изображения. Например, на фиг. 6G существуют незавершенные изображения в изображении 6 и изображении 9, поэтому проверяется, существуют ли комплементарные данные в изображении 6 и на левом краю изображения 5 и изображения 9.

[00152] (6) При наличии комплементарных (подстановочных) данных, область незавершенного изображения заменяется комплементарными данными, имеющими наилучшее качество изображения (количество наложенных изображений максимально) комплементарных данных, и выполняется (8).

[00153] (7) В отсутствие комплементарных (подстановочных) данных, выбранные кадры изображений, имеющих изображения, включающие в себя области незавершенного изображения или сторону, соседствующую с областью, изменяются таким образом, что область незавершенного изображения разрешается. При наличии множественных способов выбора кадра для разрешения области незавершенного изображения, выбирается способ выбора кадра, где количество наложенных изображений максимально.

[00154] (8) Количество ANmin наложенных изображений, которое является наименьшим количеством наложенных изображений из группы наложенных изображений, полученной в (7), устанавливается как количество наложенных изображений составного изображения, количество наложенных изображений в каждой позиции съемки изменяется до ANmin, и повторно генерируется наложенное изображение.

[00155] (9) Наложенное изображение, сгенерированное в (8) используется для генерации составного изображения. Незавершенных изображений больше не существует, как показано на фиг. 6H, и генерируется составное изображение, где количества наложенных изображений одинаковы и максимальны. Заметим, что формирование осуществляется в настоящем варианте осуществления на основании определения пригодности группы изображений.

[00156] Хотя составное изображение, сформированное на основании определения пригодности в качестве группы изображений, описано как неподвижное изображение (наложенное изображение) в настоящем варианте осуществления, настоящее изобретение этим не ограничивается. Например, определение пригодности может осуществляться с учетом комплементации данных на краевых и перекрывающихся участках соседних движущихся изображений, и движущееся изображение может быть составным и отображаться на нем, как показано на фиг. 6J. Последовательность обработки для базовой обработки в случае составного отображения движущихся изображений такая же, как в случае составного отображения неподвижных изображений, но следующие моменты отличаются.

[00157] (i) Устройство 50 получения данных временной фазы, например, представленное на фиг. 2B, подключено к устройству 10 обработки изображений, и данные временной фазы получается одновременно с движущимся изображением. Данные временной фазы являются данными биосигнала, полученными, например, с помощью сфигмографа. Обращение к данным временной фазы дает цикл воспроизведения каждого движущегося изображения. Цикл воспроизведения выравнивается среди движущихся изображений посредством обработки интерполяции кадров движущихся изображений (между позициями съемки или между исследованиями или между теми и другими).

[00158] (ii) Самый длинный непрерывный участок кадров, из которого удалены кадры с аномальной яркостью, выбирается при обработке формирования изображения с приращениями позиции съемки.

[00159] (iii) Определение пригодности осуществляется при обработке определения пригодности для группы изображений согласно следующему принципу, то есть для составления и отображения движущихся изображений с максимально возможным количеством кадров (циклов импульсов), где количество кадров воспроизведения (циклов импульсов), в которых количество кадров воспроизведения (циклов импульсов), где области незавершенного изображения не возникают в составном изображении, в целом, одинаково для каждой позиции съемки, в целом, одинаково для разных исследований.

[00160] (iv) Кадры, выбранные в (6), (7), (8) обработки формирования изображения в качестве группы изображений, устанавливаются как непрерывный участок кадров.

[00161] Соответственно, незавершенные изображения устраняются из составного отображения движущегося изображения, и формируется составное движущееся изображение с самой длинной последовательностью кадров, имеющей то же количество кадров воспроизведения. В случае, когда данные временной фазы не получены, составное отображение можно производить как движущееся изображение, не регулируя тактовое время воспроизведения. Хотя в настоящем варианте осуществления вышеописанные условия 1 - 3 использовались в качестве пригодности для группы изображений (группы неподвижных изображений и группы движущихся изображений), настоящее изобретение этим не ограничивается; можно устанавливать любую пригодность.

Этап 550: отображение

[00162] Блок 135 управления отображением использует параметры позиционирования, полученные на этапе S520, и группу изображений, сформированную на этапе S540 для составления и отображения изображений D1jn большого увеличения на широкоугольном изображении D2n. Согласно вышеописанной конфигурации, при составлении и отображении адаптивных оптических SLO-изображений большого увеличения, сформированных в разных позициях съемки, устройство 10 обработки изображений определяет пригодность группы изображений на основании того, насколько мала ненаблюдаемая (неанализируемая) область, в случае сравнения области съемки (анализа) в другом исследовании. Соответственно, в случае, когда клетки и ткань, подлежащие наблюдению или анализу, и их поражения, существуют во множественных изображениях большого увеличения, может генерироваться составное изображение, которое можно наблюдать или анализировать, в целом, в одних и тех же условиях.

Другие варианты осуществления

[00163] Хотя в вышеприведенных вариантах осуществления описан случай формирования одной группы изображений и определения пригодности, варианты осуществления настоящего изобретения этим не ограничиваются. Таким образом, в случае, когда множественные группы изображений формируются в одном исследовании, как показано на фиг. 14A и 14B, изображения в группах изображений можно предварительно выбирать таким же образом, как в вышеприведенных вариантах осуществления, после чего пригодность определяется среди групп изображений, и изображения выбираются на основании пригодности среди групп изображений.

[00164] Например, в случае получения адаптивных оптических SLO-изображений с разными увеличениями в каждой позиции съемки и генерации составного изображения, как показано на фиг. 14A, пригодность для группы изображений определяется для каждого увеличения, и изображения предварительно выбираются. После этого, определение пригодности можно производить среди увеличений (площадь логической дизъюнкции группы изображений D1j большого увеличения, которая не выходит за пределы области формирования группы изображений D2k малого увеличения / площадь логической дизъюнкции группы изображений D1j большого увеличения), и изображения можно выбирать на основании пригодности среди групп изображений.

[00165] Кроме того, в случае наличия множественных групп изображений MnDhj (тип множественного размещения), как показано на фиг. 14B, прежде всего, пригодность определяется в каждой группе изображений, как в вышеописанных вариантах осуществления, и изображения предварительно выбираются. После этого, пригодность среди групп изображений определяется на основании пригодности, относящейся к свойствам яркости (например, сходства средней яркость или отношения S/N в группе изображений) среди групп изображений (например, среди соседних групп изображений), и изображения можно выбирать на основании пригодности среди групп изображений. В типе множественного размещения, группы изображений могут быть удалены друг от друга, могут соседствовать или могут перекрываться. Случаи, когда размер группы изображений (например, количество полученных позиций изображений, составляющих группу изображений) различается среди группы изображений, также включены в настоящее изобретение.

[00166] Кроме того, в случае получения группы изображений типа множественного размещения при множественных увеличениях, как показано на фиг. 14C, любой случай первоначального получения пригодности среди групп изображений с разными увеличениями и пригодности среди групп изображений с разными позициями получения включен в настоящее изобретение.

[00167] Кроме того, хотя изображения, подлежащие позиционированию в вышеописанных вариантах осуществления, реализованы как SLO-изображения или томографические изображения глаза, варианты осуществления настоящего изобретения не ограничиваются ими. Например, широкоугольное изображение D1 может быть реализовано как изображение, полученное фундус-камерой, и изображение Dh большого увеличения может быть реализовано как изображение, полученное адаптивной оптической фундус-камерой. Кроме того, изображения могут быть реализованы как изображения с разными режимами, например, широкоугольное изображение D1 может быть широкоугольным SLO-изображением, и изображение Dh большого увеличения может быть проекционным изображением томографического изображения, полученного адаптивной оптической системой, или широкоугольное изображение D1 может быть томографическим изображением, полученным адаптивной оптической системой, и изображение большого увеличения может быть изображением адаптивного оптического SLO. Это также может быть реализовано как конфигурация, где сложный аппарат адаптивного оптического устройства 20 формирования SLO-изображений и устройства 60 формирования томографических изображений непосредственно подключен к устройству 10 обработки изображений.

[00168] Кроме того, хотя настоящее изобретение реализовано как устройство обработки изображений в вышеописанных вариантах осуществления, варианты осуществления настоящего изобретения не ограничиваются только устройством обработки изображений. Например, настоящее изобретение может быть реализовано как программное обеспечение, выполняемое CPU компьютера. Очевидно, что носитель данных, на котором хранится это программное обеспечение, также составляет настоящее изобретение.

[00169] При выборе изображений из движущихся изображений предпочтительно использовать, по меньшей мере, один из краевых и перекрывающихся участков множественных изображений. Предпочтительно, дополнительно обеспечен блок сравнения для сравнения составного изображения и широкоугольного изображения, которое имеет более широкий угол обзора, чем каждое из множественных движущихся изображений (например, блок 133 определения группы изображений на фиг. 1). Таким образом, блок определения может определять значения, указывающие непрерывность, на основании результатов сравнения блоком сравнения. Предпочтительно, дополнительно обеспечен блок управления отображением (например, блок 135 управления отображением на фиг. 1) для отображения составного изображения, где были составлены выбранные изображения, на блоке отображения. Кроме того, кровеносные сосуды, предпочтительно, автоматически (или по команде пользователя или полуавтоматически) выделяются из составного изображения, причем измеряется скорость перемещения и т.д. клеток крови в выделенных кровеносных сосудах. Заметим, что множественные изображения не обязаны быть составными; каждое из множественных изображений может отображаться на блоке отображения, или может переключаться по одному и отображаться на блоке отображения.

[00170] Настоящее изобретение также реализуется путем выполнения следующей обработки. Таким образом, обработка, где программное обеспечение (программа), которая реализует функции вышеописанных вариантов осуществления, поступает в систему или устройство через сеть или различные типы носителей данных, и компьютер (или CPU или микропроцессорный блок (MPU) и т.п.) системы или устройства, считывающего и выполняющего программу.

[00171] Варианты осуществления настоящего изобретения также можно реализовать посредством компьютера системы или устройства, который считывает и выполняет компьютерно-исполнимые инструкции, записанные на носителе данных (например, нетранзиторный компьютерно-считываемый носитель данных) для осуществления функций одного или более из вышеописанных вариантов осуществления настоящего изобретения, и посредством способа, осуществляемого компьютером системы или устройства, например, путем считывания и выполнения компьютерно-исполнимых инструкций с носителя данных для осуществления функций одного или более из вышеописанных вариантов осуществления. Компьютер может содержать один или более из центрального процессора (CPU), микропроцессора (MPU) или другой схемы, и может включать в себя сеть отдельных компьютеров или отдельных компьютерных процессоров. Компьютерно-исполнимые инструкции могут поступать на компьютер, например, из сети или носителя данных. Носитель данных может включать в себя, например, один или более из жесткого диска, оперативной памяти (RAM), постоянной памяти (ROM), хранилища распределенных вычислительных систем, оптического диска (например, компакт-диска (CD), цифрового универсального диска (DVD) или диска Blu-ray (BD)™), устройства флэш-памяти, карты памяти и пр.

[00172] Хотя настоящее изобретение описано со ссылкой на иллюстративные варианты осуществления, следует понимать, что изобретение не ограничивается раскрытыми иллюстративными вариантами осуществления. Объем нижеследующей формулы изобретения должен соответствовать самый широкой интерпретации, чтобы охватывать все подобные модификации и эквивалентные структуры и функции.