СИСТЕМА ОСВЕЩЕНИЯ ДЛЯ УСИЛЕНИЯ ВНЕШНЕГО ВИДА ОБЪЕКТА И СПОСОБ УСИЛЕНИЯ

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к системе освещения, содержащей устройство регистрации света для создания данных зарегистрированного изображения объекта, осветительное устройство и процессор для формирования данных усиливающего освещения из данных зарегистрированного изображения, причем данные усиливающего освещения предоставляют осветительному устройству для освещения объекта усиливающим освещением, чтобы усилить внешний вид объекта.

УРОВЕНЬ ТЕХНИКИ

Публикация WO 98/2683 раскрывает устройство для проецирования изображения объекта на объект. Проецируемое изображение объекта перекрывает объект так, что наблюдатель усиливающегося объекта воспринимает яркие элементы более яркими и темные элементы остаются такими же. Устройство имеет источник света, который освещает объект, средство формирования видео, которое создает видеосигнал, представляющий изображение объекта, и видеопроектор, который принимает видеосигнал от средства формирования видео, и проецирует визуальное изображение объекта. Фильтр предотвращает свет от видеопроектора от попадания на средство формирования видео, обуславливая устранение положительной обратной связи.

Системы освещения становятся все более сложными. Мы являемся свидетелями развития систем освещения, причем яркость и/или цвета освещения стали адаптируемыми.

Система, которая описана во вступительном абзаце, известна из статьи "Real World Dynamic Appearance enhancement with Procam Feedback" под авторством Toshiyuki Amano и Hirokazu Kato, семинар Procams 2008, Marina del Rey, California, 10 августа 2008 г. Эта известная система содержит фотокамеру, чтобы обеспечить обратную связь от освещенной сцены. Такая обратная связь может использоваться для подчеркивания определенных объектов или сцен в интерьере, а также для выполнения повышения качества изображения предметов искусства, например картин. Система повышает реалистичность и предоставляет более чистое и четкое изображение. В рамках идеи изобретения объект является любым освещаемым объектом. Примерами таких объектов являются экспозиции, изображения, картины, люди, деревья, отдельно или в группе, как целое или часть человека, дерева и т.д.

Главной проблемой системы освещения для повышения реалистичности является получение устойчивого результата. Контур обратной связи между устройством регистрации света и осветительным устройством приводит к неустойчивой системе. Для облегчения понимания, а не в качестве ограничения, устройство регистрации света далее иногда будет также называться фотокамерой, а осветительное устройство проектором.

Изображение, проецируемое проектором на объект, изменяет внешний вид объекта, который виден фотокамерой, что приводит к дальнейшему усилению в следующем проецируемом изображении на объекте, что приводит к еще большему усилению внешнего вида объекта, который виден через фотокамеру, и т.д. Это может привести к эффекту стремительного роста, при котором степень усиления продолжает возрастать.

Amano и др. предлагают решение, которое они называют «частичной обратной связью». Коэффициент усиления обратной связи значительно снижается. Снижение коэффициента усиления обратной связи сдерживает эффект стремительного роста. Хотя это, несомненно, приводит к довольно устойчивой системе для статических сцен, это вносит значительную задержку системы усиления, что делает систему менее пригодной для динамических сцен (операционная, фары автомобиля и т.д.). Также известная система нервно реагирует на изменения общего освещения из-за движущихся объектов в окружении и имеет проблемы с границами объектов на изображении.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задача изобретения состоит в создании системы освещения и способа освещения, в которых уменьшена одна или более вышеупомянутых проблем.

Согласно первому аспекту предложена система освещения, содержащая:

- процессор для формирования данных (4) усиливающего освещения для усиления внешнего вида объекта;

- средство опорного сигнала для предоставления данных опорного освещения,

- смеситель для смешивания данных опорного освещения и данных усиливающего освещения,

- общее осветительное устройство для освещения объекта смесью из опорного освещения и усиливающего освещения,

- устройство регистрации света для создания данных зарегистрированного изображения объекта, и

- фильтр для выделения из данных зарегистрированного изображения данных опорного изображения отраженного объекта, сформированных с помощью опорного освещения, как отраженного объектом, причем данные опорного изображения отраженного объекта являются входными данными в процессор для формирования данных усиливающего освещения.

Согласно второму аспекту изобретения предложен способ освещения объекта, в котором:

- обеспечивают смешивание данных опорного освещения и данных усиливающего освещения для общего осветительного устройства для освещения объекта смесью опорного освещения и усиливающего освещения,

- регистрируют изображение объекта для создания данных зарегистрированного изображения объекта;

- фильтруют данные зарегистрированного изображения объекта для выделения данных опорного изображения отраженного объекта, сформированных с помощью опорного освещения, как отраженного объектом,

причем данные опорного изображения отраженного объекта используют для формирования данных усиливающего освещения.

Очень важно, чтобы система освещения могла отличать исходную сцену, то есть объект под опорным освещением без контура обратной связи, от сцены с усиленным освещением, когда объект освещается усиливающим освещением. Информация об объекте под опорным освещением используется для обеспечения усиливающего освещения.

Освещение объекта смесью опорного освещения и усиливающего освещения в сочетании с фильтрацией отражения из отраженного света вследствие опорного освещения и к тому же использование данных опорного освещения для формирования усиливающего освещения устраняет эффекты стремительного роста в контуре обратной связи. Усиливающее освещение основывается на данных для опорного освещения объекта.

Система освещения содержит средство опорного сигнала для предоставления данных опорного освещения и смеситель для смешивания данных опорного освещения с данными усиливающего освещения, причем смесь из данных опорного освещения и данных усиливающего освещения предоставляется общему осветительному устройству. Использование общего осветительного устройства для формирования опорного и усиливающего освещения снижает сложность системы. Система содержит фильтр для фильтрации данных опорного изображения отраженного объекта из данных зарегистрированного изображения, причем данные опорного изображения отраженного объекта являются входными данными в процессор для формирования данных усиливающего освещения.

Во всех вариантах осуществления можно избежать или по меньшей мере сдержать эффекты стремительного роста в контуре обратной связи, по-прежнему имея возможность обеспечивать усиление освещения, которое имеет особую важность в динамических сценах. В рамках идеи изобретения смешивание содержит все способы для смешивания сигналов в электрической области, то есть путем смешивания электрических сигналов перед их отправкой в общее осветительное устройство. Такие способы смешивания включают в себя временную и пространственную модуляцию, добавление чередующихся сигналов, а также временное мультиплексирование сигналов. Такие способы позволяют применять фильтр на регистрирующей стороне, будь это фильтр на основе периода времени, временной частоты или пространственной частоты, в электрической или электронной области, чтобы фильтровать опорное освещение из смеси опорного и усиливающего освещения.

В варианте осуществления смеситель содержит мультиплексор для временного мультиплексирования усиливающего освещения с опорным освещением, а фильтр содержит демультиплексор для временного демультиплексирования данных зарегистрированного изображения.

Демультиплексирование эквивалентно применению временного фильтра к данным зарегистрированного изображения. Для некоторых временных интервалов записанные данные соответствуют опорному освещению объекта, а для других временных интервалов - усиливающему освещению.

В качестве альтернативы смеситель содержит модулятор для модулирования усиливающего освещения во временной области с опорным освещением, а фильтр содержит временной демодулятор для временной демодуляции данных зарегистрированного изображения для предоставления данных опорного изображения отраженного объекта. Это позволяет определить опорное освещение объекта, например, из разности нечетных и четных кадров, если модуляция выполняется путем сложения и вычитания контрольных данных из нечетных и четных кадров соответственно, или наоборот. Временная демодуляция является видом фильтрации.

В другой реализации смеситель содержит модулятор для пространственного модулирования усиливающего освещения с опорным освещением, а фильтр содержит демодулятор для пространственной демодуляции изображения подчеркнутой сцены, чтобы предоставить данные опорного изображения отраженного объекта.

Пространственная демодуляция является видом фильтрации.

Опорное освещение предпочтительно является равномерным освещением.

Проекцию изображения можно сделать способом, в котором одновременно проецируется полное изображение, или способом сканирования, в котором развертывают пиксели или развертывают строки изображения.

Также возможны сочетания вариантов осуществления.

В предпочтительных вариантах осуществления система освещения выполнена с возможностью разрешения совмещения зависимого от объекта освещения с объектом.

Хотя использование опорного освещения при обработке устраняет проблему колебаний из-за эффекта стремительного роста в контуре обратной связи, полностью равномерное опорное освещение также добивается успеха в обстоятельствах, причем невозможно найти соответствие между пикселями проецируемого изображения и пикселями зарегистрированного изображения. Другими словами, сложно совместить пиксели освещения и пиксели зарегистрированного изображения. Путем выполнения системы освещения с возможностью обеспечения совпадения этот недостаток устраняется.

В вариантах осуществления общая оптическая система используется для осветительного устройства и регистрирующего устройства. Использование общей оптической системы снижает риск несовпадения.

В предпочтительных вариантах осуществления в опорном освещении предоставляются пространственные маркеры, и одно или более изображений регистрируют, и изображения анализируют для отыскания пространственных маркеров. В результате включения пространственных маркеров в опорное освещение можно проанализировать соответствие между пикселями освещения и зарегистрированного изображения, что может использоваться для совмещения проекции с объектом.

Пространственно-модулированная структура может использоваться для обеспечения маркеров совпадения для регистрации совпадения света, регистрирующего усиливающее освещение.

В качестве альтернативы пиксели осветительного устройства могут снабжаться отличительным сигналом.

В качестве альтернативы пиксели осветительного устройства можно заставить излучать свет, невидимый человеческому глазу, но обнаруживаемый устройством регистрации света.

Некоторые из пикселей можно заставить излучать инфракрасный свет. Этот свет был бы невидимым для человеческого глаза, но был бы видимым для фотокамеры, если фотокамера обладает способностью обнаружения инфракрасного излучения. Это обеспечивает совмещение освещения с объектом.

Чем выше плотность маркеров совпадения, тем лучше может выполняться совмещение.

В вариантах осуществления система содержит одно регистрирующее устройство и несколько осветительных устройств, причем опорные освещения от осветительных устройств являются различимыми.

В таких вариантах осуществления одно регистрирующее устройство может использоваться для контроля освещения более одного объекта или освещения различных сторон одного объекта.

В предпочтительных вариантах осуществления смесь из опорного освещения и усиливающего освещения является такой, что среднее полного освещения практически равно среднему усиливающего освещения. В таких вариантах осуществления среднее опорного освещения практически равно нулю. Среднее может быть по времени или по изображению. Это уменьшает видимость опорного освещения для человеческого глаза.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и дополнительные особенности изобретения будут объясняться подробнее в качестве примера и со ссылкой на прилагаемые чертежи, на которых

Фиг. 1 иллюстрирует систему освещения;

Фиг. 2 иллюстрирует известную систему освещения;

Фиг. 3 иллюстрирует вариант осуществления системы освещения в соответствии с изобретением;

Фиг. 4 и 5 иллюстрируют вариант осуществления системы освещения в соответствии с изобретением;

Фиг. 6 иллюстрирует вариант осуществления с использованием временной модуляции;

Фиг. 7 схематически иллюстрирует сигналы в нечетном кадре и четных кадрах с использованием временной модуляции;

Фиг. 8 иллюстрирует преимущество использования пространственной двумерной структуры;

Фиг. 9 схематически иллюстрирует вариант осуществления, в котором изображение создается путем сканирования;

Фиг. 10 иллюстрирует вариант осуществления, в котором регистрирующее устройство и осветительное устройство совместно используют общую оптическую систему;

Фиг. 11 иллюстрирует дополнительный предпочтительный вариант осуществления;

Фиг. 12 и 13 иллюстрируют вариант осуществления, в котором система содержит более одного осветительного устройства;

Фиг. 14 и 15 иллюстрируют вариант осуществления, в котором используется пространственная модуляция;

Фиг. 16 иллюстрирует вариант осуществления, в котором устройство регистрации света содержит некоторое количество фотодатчиков.

Фигуры не изображаются в масштабе. Как правило, на фигурах одинаковые компоненты обозначаются одинаковыми номерами ссылок.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Фиг. 1 показывает систему освещения. Система освещения содержит устройство регистрации света, в этом примере фотокамеру 1, для захвата отраженного изображения объекта. В этом примере объект является изображением горы. Записанный сигнал 2 отправляют процессору 3. Процессор 3 формирует сигнал 4 для управления устройством 5 усиливающего освещения. Это осветительное устройство допускает проецирование изображения на объект. Осветительное устройство 5 проецирует изображение картины на картину. Таким образом можно подчеркнуть (усилить) изображение картины. Наложение исходной картины и проецируемой картины усиливает контраст и диапазон изображения. Светлые пятна можно сделать светлее по внешнему виду.

Фиг. 2 иллюстрирует систему, известную из Amano и др. Коррекция кривой гамма-распределения γ вводится в последовательность. На фигуре не показано, что коэффициент усиления обратной связи G также вводится в систему. Коэффициент усиления обратной связи выбирается для повышения скорости схождения контура обратной связи и избегания превышения выходной мощности. Линия с правой стороны фигуры очень схематически иллюстрирует форму поверхности, свет которой излучается и на которую проецируется свет. Хотя не показано на следующих фигурах, использование коррекции кривой гамма-распределения также может применяться в одном или более или в любом из вариантов осуществления изобретения.

Эта известная система предположительно приводит к довольно устойчивой системе для статических сцен. Однако она вносит значительную задержку системы усиления, что делает систему менее пригодной для динамических сцен (операционная, фары автомобиля и т.д.). Указанное время отклика составляет 0,44 секунды. Также система, как увидел автор изобретения, нервно реагирует на изменения общего освещения из-за движущихся объектов в окружении и имеет проблемы с границами объектов в объекте. Даже небольшие колебания приводят к дрожанию изображения около границ объекта.

Фиг. 3 иллюстрирует систему в соответствии с вариантом осуществления изобретения.

К сигналу 4 усиления, содержащему данные усиливающего освещения, подмешивается опорный сигнал 7, содержащий данные опорного освещения. Система содержит генератор 6 опорного сигнала для формирования этого опорного сигнала 7. Смеситель 8 смешивает этот опорный сигнал с сигналом 4 усиления. Смешанный сигнал вводится в проектор 5, и изображение проецируется. Изображение, принятое фотокамерой 1, соответственно является результатом смешивания двух сигналов, сигнала 4 усиления и опорного сигнала 7, сформированного генератором 6 опорного сигнала, то есть освещение объекта является смесью опорного освещения и усиливающего освещения. Система содержит фильтр 9 для фильтрации видеоданных 10, обусловленных опорным сигналом 7 из-за отражения опорного освещения объектом. Этот сигнал, содержащий видеоданные 10, вводится в процессор 3.

Автор изобретения понял, что контур обратной связи между фотокамерой и проектором приводит к неустойчивой системе, так как проектор изменяет внешний вид объекта, видимый фотокамерой, что привело бы к другому усилению в следующем проецируемом изображении на объект, и т.д. Усиление в контуре обратной связи может вызывать колебание в освещении, приводящее к неустойчивой ситуации.

В варианте осуществления изобретения из фиг. 3 проектор используется для формирования опорного освещения, например, равномерного освещения белым светом. Сигнал для создания опорного освещения формируется генератором 6 опорного сигнала и смешивается с сигналом для создания усиливающего освещения, поступающим из процессора 3. Путем фильтрации отклика на опорное освещение из сигнала, принятого фотокамерой, получается устойчивая ситуация. Сигнал 10 опорного изображения отраженного объекта используется для формирования сигнала 4 усиления. Поскольку сигнал 10 опорного изображения отраженного объекта является известным и устойчивым сигналом, колебания отсутствуют или по меньшей мере сильно уменьшаются.

Один вариант осуществления смешивания иллюстрируется на фиг. 4 и 5. В этом варианте осуществления сигнал после смесителя 7 мультиплексируется по времени. Относительно короткий период времени назначается опорному освещению, тогда как в оставшееся время сигнал 4 усиления отправляется в проектор 5. Смеситель содержит мультиплексор MUX, а фильтр в принимающей части системы содержит соответствующий демультиплексор DEMUX.

В фотокамере изображение также накапливается во временных интервалах, причем существует некий временной интервал, который соответствует опорному освещению. Сигнал 4′ изображения, который принят фотокамерой, соответствует сигналу 4 усиления; сигнал 7 соответствует опорному сигналу 7. Это сигнал 7 временного интервала, который используется в процессоре 3. На этой фигуре это схематически проиллюстрировано ступенчатой линией. Часть сигнала, соответствующая сигналу 4 усиления, умножается на ноль, часть, соответствующая опорному сигналу 7, на коэффициент 1. Это означает временное демультиплексирование сигнала зарегистрированного изображения на стороне фотокамеры. Отмечается, что фотокамера также принимает изображение, происходящее от сигнала усиления, и с использованием более сложного временного демультиплексирования этот сигнал также можно отделить. В вариантах осуществления этот сигнал усиления также может отправляться и анализироваться процессором 3, например, с целью тонкой настройки или проверки результатов повышения качества изображения. В этом варианте осуществления один временной интервал временного мультиплексирования используется для опорного сигнала, остальная часть используется для сигнала усиления.

Фиг. 6 иллюстрирует другой вариант осуществления изобретения. В этом варианте осуществления усиление модулируется во временной области путем прибавления/вычитания опорного сигнала к нечетным/четным изображениям. Четные изображения тогда показывают изображение, вызванное сигналом, образованным как сигнал 4 усиления + опорный сигнал 7, тогда как нечетные изображения показывают изображение, вызванное сигналом, образованным как сигнал 4 усиления - опорный сигнал 7.

Это схематически показано на фиг. 6. Смеситель 8 прибавляет и вычитает из сигнала 4 усиления соответственно в нечетных и четных кадрах опорный сигнал 7, представляющий четное освещение. Фильтр 9 в этом варианте осуществления содержит временную задержку 11 и блок 12 вычитания. В блоке 12 вычитания вычитаются два сигнала последующих кадров. Один из сигналов изображения образуется как сигнал 4 усиления плюс опорный сигнал 7, другой сигнал изображения как сигнал усиления минус опорный сигнал 7, либо только сигнал усиления.

Вычитание двух сигналов нечетного и четного кадров заставляет выпадать сигнал 4 усиления, оставляя только опорный сигнал 7, или, точнее, удвоенный опорный сигнал 7. Отмечается, что разностный сигнал фактически предоставляет два значения, а именно плюс или минус удвоенный опорный сигнал, в зависимости от того, вычитают ли нечетные из четных или четные из нечетных кадров. Абсолютное значение разностного сигнала можно подать в процессор 3. Блок вычитания обладает функцией временной демодуляции данных зарегистрированного изображения, чтобы предоставить данные опорного изображения отраженного объекта. Обобщая схему из фиг. 6, схема содержит временной модулятор, в котором сигнал усиления модулируется по времени с опорным сигналом. На регистрирующей стороне временной демодулятор применяется для временной демодуляции записанного сигнала, предоставляя сигнал контрольного изображения, то есть изображение вследствие известного опорного освещения. Этот опорный сигнал 10 затем используется в процессоре 3.

В более сложных вариантах осуществления компенсация движения может применяться для компенсации временного движения частей изображения между нечетными и четными кадрами.

Отмечается, что изображение, обусловленное исключительно сигналом 4 усиления, можно получить путем сложения нечетных и четных кадров. Этот отраженный от объекта сигнал усиления также может отправляться в процессор 3 для дальнейшего анализа.

В обоих вариантах осуществления из фиг. 4 и 5 создается сигнал 10 контрольного изображения, и этот сигнал отправляется в процессор 3 для предоставления сигнала 4 усиления.

Преимущество варианта осуществления из фиг. 6, в котором опорный сигнал поочередно прибавляется и вычитается, состоит в том, что средняя интенсивность и цвет почти или совсем не изменяется. Предпочтительно, чтобы опорное освещение являлось лишь небольшой частью усиливающего освещения. В вариантах осуществления, в которых к сигналу усиления поочередно добавляется и вычитается опорный сигнал, сигналу усиления придется иметь минимальное значение, равное контрольному значению. Вариантом было бы не добавлять в нечетные кадры опорный сигнал, а в четные кадры добавлять опорный сигнал. Это устранило бы ограничения на минимальное значение в сигнале усиления. Однако это повлияло бы на среднюю интенсивность и цвет.

Немного более сложная система содержит средство для наложения на сигнал усиления для некоторого кадра структуры с пространственно чередующимися областями с положительным и отрицательным знаком и с отрицательным и положительным знаком для последующего кадра. Примером такой структуры является шахматная структура. Это уменьшит видимость добавления опорного сигнала к сигналу усиления. Видимость можно дополнительно уменьшить путем сдвига положения структур во времени или путем использования различных структур последовательно. Также может использоваться сотовая структура или любая другая повторяющаяся структура. В простом варианте осуществления соседние пиксели осветительного устройства образуют шахматную структуру.

Путем вычитания последующих сигналов изображения сигнал усиления снова выпадает, оставляя только опорный сигнал.

Использование структуры, например шахматной структуры, обладает дополнительным преимуществом в том, что влияние пикселя проецируемого изображения прослеживается на зарегистрированном изображении. Использование системы, в которой опорное освещение является простым равномерным освещением во всем проекторе, не позволяет отслеживание соответствия между пикселями в проецируемом изображении и в изображении, видимом регистрирующим устройством. Тогда проблемы совпадения между проецируемым изображением и зарегистрированными изображениями нельзя отследить и исправить. Использование структуры, например шахматной структуры, дает возможность выравнивания проецируемого изображения на изображении.

Любой тип маркеров совпадения может использоваться для этой цели, однако пространственная структура в проецируемом опорном сигнале является полезным и простым средством для выполнения этого, поскольку структура предлагает некоторое количество маркеров в известных относительных положениях.

Другой вариант предоставления маркеров в опорном сигнале может заставить некоторые из пикселей излучать свет, невидимый человеческому глазу, но обнаруживаемый фотокамерой, например, инфракрасный или ультрафиолетовый.

Фиг. 7 схематически иллюстрирует сигнал в нечетном кадре, являющийся эталонной шахматной структурой плюс сигнал 4 усиления, и в четном кадре (или наоборот), являющимся отрицательной величиной опорного сигнала нечетного кадра плюс сигнал 4 усиления. Вычитание двух сигналов, как схематически показано на фиг. 5, предоставит опорный сигнал. Этот сигнал затем можно отправить процессору 3. На фиг. 7 схематически проиллюстрировано, что интенсивность модулируется с помощью шахматной структуры. Абсолютное значение разности двух сигналов обеспечивает сигнал контрольного изображения.

В предпочтительных вариантах осуществления можно уменьшать/увеличивать некоторый цвет (например, зеленый), увеличивая/уменьшая при этом другие цвета (например, синий и красный) в эталонных структурах нечетных/четных кадров. Увеличение может выбираться так, что яркость совсем не меняется во всем кадре, тогда как цветовые вариации уравновешиваются на некотором количестве кадров.

Люди менее восприимчивы к изменениям цвета, чем к изменениям яркости. Снова этот вариант осуществления может использоваться в любой пространственной структуре, или даже если никакая структура не используется для опорного сигнала, а также может использоваться в варианте осуществления с временным мультиплексированием. Дальнейшее сокращение видимости может достигаться путем сдвига пространственной структуры. Например, можно было бы использовать нечетный и четный кадр с указанной структурой, а затем сдвинуть структуру на половину блока для следующих пар нечетных и четных кадров. Это уменьшило бы любую видимость структур. Однако это также уменьшило бы возможные измерения опорного сигнала, поскольку не все пары нечетных и четных кадров могли бы тогда использоваться для таких измерений.

Фиг. 8 иллюстрирует преимущество использования пространственного двумерной структуры. Преимущество использования структурной модуляции состоит в том, что структура может использоваться для регистрации изображения из фотокамеры и проецируемого изображения. Наблюдаемая (с помощью фотокамеры) проецируемая структура обычно не будет выглядеть как шахматная структура из-за изменений по глубине в плоскости проекции и возможного разного угла обзора у фотокамеры и проектора. Используя методики оценки движения, можно установить локальное отклонение и деформировать изображение фотокамеры, чтобы оптимально совместить проекцию от проектора с объектом, на который проецируется изображение. Маркеры в изображении, которые в этом случае образуются границами между областями пространственной структуры, обеспечивают такую подгонку. Как объяснялось выше, разностный сигнал обеспечит шахматную структуру с удвоенной амплитудой опорного сигнала, и это даст возможность различить границы между областями и посредством этого обеспечить совпадение. Более продвинутое выравнивание возможно путем предоставления более сложных структур, например четырех структур, причем суммой структур является равная освещенность. Это могло бы потребовать немного более длинных последовательностей структур, но дает возможность более продвинутого выравнивания.

Варианты осуществления выше иллюстрируют временное мультиплексирование или сложение сигналов.

Изобретение не ограничивается этими примерами.

Смесью из двух вышеприведенных вариантов осуществления является, например, следующая схема, также входящая в изобретение, причем временное мультиплексирование используется в немного другой схеме:

в первом временном интервале или некотором количестве временных интервалов излучается только сигнал усиления, а

во втором временном интервале или в некотором количестве временных интервалов излучается сигнал усиления плюс опорный сигнал.

Два временных интервала одинаковы по длине, чтобы интегральная интенсивность сигнала усиления была одинакова, и/или записанные сигналы умножаются, чтобы интегральная интенсивность сигнала усиления была одинакова. На регистрирующей стороне сигналы демультиплексируются и вычитаются друг из друга, оставляя только опорный сигнал. Если два временных интервала не одинаковы, например, период времени t₁ для первого временного интервала и t₂ для второго временного интервала, то опорный сигнал можно получить путем вычитания t₁/t₂-кратного второго сигнала из первого сигнала.

Преимущество этого варианта осуществления по сравнению с вариантом осуществления из фиг. 4 в том, что можно было бы предоставить более сильный опорный сигнал. Преимущество по сравнению с вычитанием последующих кадров, как на фиг. 6, состоит в том, что не нужно никакой временной задержки и нет проблем (или они меньше) с движением объектов в изображении в протяженных во времени кадрах. Два сигнала, которые вычитаются, происходят из одного и того же кадра, соответственно отсутствует разновременность, которую нужно учитывать, или компенсация движения.

Еще одним примером временного мультиплексирования является следующее:

в первом временном интервале с длиной t₁ излучается сигнал опорного освещения, выведенный из контрольных данных,

во втором временном интервале с длиной t₂ излучается усиливающее освещение минус t₁/t₂-кратный сигнал опорного освещения. Этого можно достичь путем предоставления осветительному устройству, в течение этого временного интервала, данных, эквивалентных данным освещения t₁/t₂-кратные контрольные данные.

Полное освещение объекта тогда равно:

t₁*(опорное освещение) + t₂*(усиливающее освещение - t₁/t₂*(опорное освещение)) = t₂*усиливающее освещение

Опорное освещение в среднем не имеет никакого влияния на освещение объекта. Человеческий глаз, который не способен отследить быстрые колебания, не видит опорного освещения.

Изобретение может использоваться в ряде технических областей.

Области применения включают в себя, но не ограничиваются, такие применения, как внутреннее освещение, освещение магазина, освещение операционной и фары автомобиля.

Светлые тона, контраст и цвет можно усилить, например, для картин, плакатов или статуэток в жилой комнате, музее или галерее. Вообще каждый объект в интерьере можно подчеркнуть с помощью изобретения, что также можно представить как экономное («зеленое»), поскольку световая энергия не рассеивается неумышленно на части сцены. В вариантах осуществления система выполнена с возможностью излучения тех цветов, которые меньше всего поглощаются в местоположении объекта, соответственно увеличивая результативность эффекта освещения. В этом случае целью является экономичное освещение, а также визуальное усиление.

В окружающей обстановке магазина усиливающее освещение может использоваться для увеличения привлекательности или притягательности для некоторых изделий. Отмечается, что могут использоваться не только квадратные области, но и пятна подсветки произвольных форм. Система в варианте осуществления в окружающей обстановке магазина может отслеживать человека, когда он/она идет по направлению отображения, и соответственно регулировать проецируемое изображение.

В операционной усиливающее освещение может использоваться для улучшения зрения хирурга.

В фаре автомобиля в вариантах осуществления мозаичный источник света с обратной связью по фотокамере используется для улучшения зрения водителя в плохих погодных условиях. В таких условиях стабильное усиленное освещение имеет существенное значение. Фары тогда подсвечивают, например, объекты, такие как деревья или дорожные знаки на обочине дороги.

Еще одно применение возможно в театрах и музыкальных представлениях. Объектом, который нужно осветить, является певец или актер, который двигается на сцене. В таких применениях сигнал 4 усиления, то есть алгоритм, с помощью которого выполняется усиливающее освещение, не должен быть неизменным, а должен иметь зависимость, например, от времени, положения на сцене или музыкального произведения, которое исполняется. Также могла бы использоваться обработка для выделения актера (вообще, каждого заслуживающего внимания объекта) и излучения света только на значимые участки сцены (прожектор с регулируемым пятном или следящий прожектор).

Осветительное устройство может принадлежать к различным типам при условии, что устройство допускает проецирование изображения и регулирование освещения частей изображения. Проекция не должна иметь такую же детализацию, как сам объект. Довольно крупнозернистое проецируемое изображение может действовать с тем же успехом. Если осветительное устройство обладает очень низким разрешением по сравнению с разрешением наблюдателя, то может быть выгодным, например, оптически размыть усиливающее изображение. Осветительное устройство может принадлежать к типу, который проецирует изображение в целом, например, ЖК-проектор, или типу, который проецирует изображения путем сканирования пикселей или сканирования строк изображения.

Осветительное устройство в вариантах осуществления содержит модулятор света (LCD, DMD) для пространственного модулирования света от источника света.

Осветительное устройство в вариантах осуществления содержит генератор сканирующего модулированного светового пучка (светодиод или лазерный диод) для пространственного модулирования света, излученного на объект.

Осветительное устройство в вариантах осуществления содержит сканирующий линейный массив генераторов модулированного светового пучка (светодиоды или лазерные диоды) для пространственного модулирования света, излученного на объект.

Регистрирующее устройство может принадлежать к одному из многих типов; в вариантах осуществления регистрирующее устройство содержит формирователь изображения, например CCD, CMOS. В другом варианте осуществления регистрирующее устройство содержит фотодатчик, например фотодиод, для обнаружения количества света, отраженного в некоторый момент времени от сканируемой сцены, или линейный массив фотодатчиков для обнаружения количества света, отраженного в некоторый момент времени от сканируемой сцены.

Конкретный преимущественный вариант осуществления образуется проектором, содержащим мозаичную лампу. Системы освещения стали адаптируемыми в показателях интенсивности, а совсем недавно, с внедрением светодиодных (LED) ламп, также в показателях цвета. LED могут управляться очень быстро в показателях яркости и цвета, используя мозаичные лампы, которые дают возможность проекции изображения/атмосферы (с низким разрешением). В мозаичных лампах лампы состоят из большого числа миниатюрных ламп, например LED, причем лампы проецируют изображение.

Фиг. 9 иллюстрирует такое изображение. Изображения состоят из некоторого количества строк пикселей, которые развертываются последовательно, схематически указанных на фиг. 9 линиями, идущими слева направо. Например, лазерное устройство с движущимся зеркалом может использоваться для формирования изображения путем построчной развертки. Мозаичная лампа, использующая LED, также могла бы использоваться для этой цели. В качестве альтернативы изображение можно показать построчно, и строки развертываются в изображении сверху вниз.

Когда развертываются отдельные пиксели проецируемого изображения, отдельные пиксели различимы в зарегистрированном изображении, что является преимуществом для целей совмещения. Недостаток состоит в том, что большинство пикселей в любое время погашено.

Временное мультиплексирование может выполняться путем развертки пикселя или строки изображения с помощью сигнала усиления для обеспечения усиливающего освещения с последующей разверткой того же пикселя или строки с помощью опорного сигнала для обеспечения опорного освещения и регистрации изображения в отдельные временные интервалы, чтобы демультиплексировать сигналы и извлечь опорный сигнал, то есть отражение опорного освещения на объекте, из сигнала зарегистрированного изображения.

Также можно использовать временную модуляцию сигнала усиления по опорному сигналу, как схематически показано на фиг. 6, и извлечь опорный сигнал из записанного сигнала путем вычитания записанных сигналов из разных кадров.

На вышеприведенных фигурах осветительное устройство 5 и регистрирующее устройство 1 показаны как отдельные блоки. В предпочтительном варианте осуществления осветительное устройство 5 и регистрирующее устройство 1 совместно используют общую оптическую систему. На фиг. 10 схематически показан такой вариант осуществления. Проецируемый свет посредством зеркала M1 и частично отражающего, частично передающего зеркала М2 передается через общий объектив L. Изображение регистрируется через тот же объектив L и частично передающее зеркало М2. Использование общей оптической системы обладает преимуществом более компактного исполнения и меньших проблем в отношении совпадения проецируемого изображения и зарегистрированного изображения.

Фиг. 11 иллюстрирует дополнительный предпочтительный вариант осуществления. В этом варианте осуществления различимы три сигнала

опорный сигнал (7а, 7а′)

сигнал усиления (4, 4)

сигнал не вследствие осветительного устройства, а, например, вследствие солнечного света (7b, 7b′).

В вариантах осуществления, причем сигнал освещения модулируется покадрово с опорным сигналом, любой сигнал из-за другого света, например поступающего солнечного света, не будет (или только очень ограниченно) влиять на сигнал 10, поскольку поступающий солнечный свет будет влиять на все кадры практически в одинаковой степени, и соответственно во время вычитания влияние поступающего солнечного света утрачивается. Однако в варианте осуществления с временным мультиплексированием дополнительный свет, не поступающий от осветительного устройства, мог бы восприниматься как являющийся частью контрольного изображения. Таким образом, светлое пятно на картине из-за отражения солнечного света в окне, падающего на картину, будет видно как часть картины и будет подчеркнуто. Для фар автомобиля освещение вследствие уличного освещения или солнечного света создает аналогичную проблему. Фиг. 11 иллюстрирует вариант осуществления для преодоления или по меньшей мере уменьшения этой проблемы. В течение временного мультиплексирования есть по меньшей мере три временных интервала, один для сигнала 4 усиления, один временной интервал 7а для опорного сигнала 7а и временной интервал 7b для отсутствия сигнала вообще, то есть отсутствия света, поступающего от осветительного устройства. Сигнал контрольного изображения тогда можно найти путем вычитания сигналов, соответствующих временным интервалам 7а и 7b.

Альтернативным способом, который не требует дополнительного временного интервала в схеме мультиплексирования, является модулирование опорного сигнала во временных интервалах 7, например, в нечетных кадрах 0,8 от опорного сигнала и в четных кадрах 1,2 от опорного сигнала, а затем вычитания нечетных из четных изображений или наоборот. Сигнал вследствие солнечного света тогда нейтрализуется, оставляя только 0,4 от освещения вследствие опорного сигнала.

Фиг. 12 иллюстрирует вариант осуществления, в котором используется одно регистрирующее устройство 1, но более одного (в этом примере два) осветительного устройства 5 и 5′. В этом варианте осуществления мультиплексируются два опорных сигнала, причем, например, временные интервалы для опорных освещений для двух осветительных устройств отличаются и предпочтительно не перекрываются.

Демультиплексор DEMUX тогда способен провести анализ записанных данных и отделить опорное освещение обоих осветительных устройств. Предпочтительно, чтобы избежать трудностей, сигнал усиления осветительного устройства 5 устанавливается в ноль, чтобы избежать наводки между двумя опорными освещениями.

Фиг. 13 схематически иллюстрирует такую компоновку: осветительному устройству 5 отправляется сигнал, который является нулем 0 в течение первого временного интервала, сигнал 4 усиления в течение дополнительного временного интервала и опорный сигнал 7 в течение завершающего временного интервала.

Осветительному устройству 5′ отправляется сигнал, который содержит контрольные данные 7′ в течение первого временного интервала, сигнал 4 усиления в течение дополнительного временного интервала и ноль в течение завершающего временного интервала.

Демультиплексор DEMUX тогда может отличить сигнал опорного освещения от обоих осветительных устройств. Осветительные устройства 5 и 5′ должны будут работать синхронно, чтобы действовал этот вариант осуществления.

Использование одного регистрирующего устройства наряду с использованием двух или более осветительных устройств обладает по меньшей мере двумя преимуществами: это более эффективно, и устраняется любая проблема с синхронизацией двух регистрирующих устройств, по сравнению с использованием двух регистрирующих устройств.

Конечно, количество осветительных устройств не ограничивается двумя; можно использовать более двух осветительных устройств. Когда опорное освещение выполняется по структуре, структуры для двух осветительных устройств предпочтительно отличаются, чтобы обеспечить дополнительное различие между ними.

Еще один вариант осуществления изобретения схематически проиллюстрирован на фиг. 14.

На графике в верхней части фиг. 14 иллюстрируется усиливающее освещение. Вертикальная ось задает интенсивность I. Горизонтальная ось задает положение x для рядов или строки пикселей. Отраженное изображение будет показывать аналогичную пространственную структуру.

График в нижней части фиг. 14 показывает сумму усиливающего освещения и опорного освещения. В этом примере изобретения усиливающее освещение пространственно модулируется по опорному освещению. Примером такой пространственной модуляции является прибавление и вычитание фиксированного значения из интенсивности усиления в соседних пикселях. Предполагая, что усиливающее освещение меняется относительно медленно от пикселя к пикселю, становится возможным, путем применения пространственного фильтра к данным зарегистрированного изображения, пространственно отфильтровать отражение вследствие опорного освещения из данных зарегистрированного изображения.

Это пример варианта осуществления, в котором усиливающее освещение пространственно модулируется с опорным освещением.

Фиг. 15 иллюстрирует дополнительный, более сложный пример пространственного модулирования усиливающего освещения с опорным освещением.

В этом примере само опорное освещение также содержит дополнительную пространственную структуру. В этом примере значение опорного освещения показывает два разных по высоте подъема. Когда эта разность высоты применяется в двух направлениях, появится шахматная структура, эквивалентная показанной на фиг. 7.

В вышеприведенных примерах общие источники освещения использовались для обеспечения опорного и усиливающего освещения. Смешивание опорного и усиливающего освещения выполнялось путем смешивания сигналов данных перед отправкой смеси сигналов данных общему осветительному устройству. Объединенное освещение от одного источника освещения содержит по меньшей мере две различимых составляющих, являющихся опорным освещением и усиливающим освещением. На регистрирующей стороне системы выполняется обратный процесс к тому, что выполнялось на излучающей стороне, разбирающий два составляющих освещения или по меньшей мере извлекающий одно из составляющих освещений, а именно опорное освещение.

Эту идею можно обобщить:

В виде формулы излученный свет можно описать как:

Причем I излученный свет в зависимости от пространственного положения (x, y) и времени t. Излученный свет зависит от интенсивности опорного освещения, которое является функцией пространства (x, y) и/или времени t, а также зависит от усиливающего освещения, также являющегося функцией пространства и/или времени.

Отраженный свет от объекта также будет зависеть от отражения объектом опорного освещения и усиливающего освещения:

Отраженное изображение фильтруется для получения отраженного изображения посредством опорного освещения.

Данные об отраженном изображении вследствие опорного освещения используются для обеспечения информации для усиливающего освещения.

Существует некоторое количество способов выполнения изобретения.

Фильтрация на принимающей стороне выполнялась над записанными (зарегистрированными) данными, поскольку это также облегчает анализ данных при отражении усиливающего освещения.

Устройством регистрации изображений может быть фотокамера, и во многих предпочтительных вариантах осуществления является фотокамерой, но в некоторых вариантах осуществления регистрирующее устройство может обладать только ограниченным количеством пикселей, причем только один пиксель в пределе охватывает все изображение.

Пример такого варианта осуществления иллюстрируется на фиг. 16.

Фиг. 16 показывает машину с фарами. Фары 51, 51′ выполнены с возможностью обеспечения усиливающего освещения, а также опорного освещения для освещения дороги впереди. В передней части машины предоставляется устройство 52, 52′ регистрации света, содержащее матрицу из n×m фотодатчиков, в этом примере одно устройство регистрации света для каждой из фар, причем n и m являются числом между 1 и, например, 8. В самом исключительном случае регистрирующее устройство является одиночным фотодатчиком. Временное мультиплексирование позволяет каждому фотодатчику измерять эффект соответствующего участка у соответствующей фары, возможную схему см., например, на фиг. 13. В самом опорном виде одиночный фотодатчик используется в качестве матрицы, другими словами, n и m равны 1.

Фотодатчики измеряют эффект фары при излучении опорного освещения, причем фара сегментируется на области, соответствующие матрице фотодатчиков.

Устройство регистрации света соответственно является устройством для регистрации отраженного изображения, количество пикселей может быть любым. В предпочтительных вариантах осуществления устройство для регистрации является фотокамерой, поскольку она дает большую четкость.

Вкратце изобретение можно описать следующим образом.

Система для усиления внешнего вида объекта содержит осветительное устройство для обеспечения усиливающего освещения и устройство регистрации света для регистрации отражения объектом освещения на объекте. Опорное освещение смешивается с усиливающим освещением. Информация в отраженном свете фильтруется для фильтрации данных отражения вследствие опорного освещения. Эти данные используются для вычисления усиливающего освещения в процессоре.

В формуле изобретения любые знаки ссылок, помещенные в круглых скобках, не следует толковать как ограничивающие формулу изобретения.

Слово «содержащий» не исключает наличия других элементов или этапов помимо перечисленных в формуле изобретения. Изобретение может быть реализовано любым сочетанием признаков различных предпочтительных вариантов осуществления, которые описаны выше.