Результат интеллектуальной деятельности: СИСТЕМА И СПОСОБ ОБНАРУЖЕНИЯ СВЕТА

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее изобретение в целом относится к области систем освещения с обнаружением света и, в частности, к системе и способу обнаружения данных, вложенных в световой выход таких систем освещения.

УРОВЕНЬ ТЕХНИКИ

В последние годы разрабатываются высокоразвитые системы освещения, позволяющие пользователю получать требуемую окружающую атмосферу для конкретной комнаты или пространства. В этих системах освещения используется так называемая настройка сцены, при которой осуществляется одновременное управление одним или более наборами источников света, в противоположность обычному управлению отдельными источниками света, что касается, например, включения/выключения, уменьшения силы света, и настройки цвета. Для этих приложений настройки сцены важным фактором успеха является интуитивное взаимодействие с пользователем. Предоставление пользователю информации, касающейся источников света, подобной локализованной идентификации отдельных источников света, их возможностей и их текущей настройки, является ключевым фактором обеспечения интуитивного взаимодействия.

Для предоставления такой информации пользователю были предложены методики, основанные на кодированном свете, CL. Технология CL основана на вложении данных в световой выход источников света. Световой выход источника света, как правило, модулируется в ответ на повторяющийся сигнал данных, который может содержать коды идентификатора, например, идентифицирующие коды для идентификации источника света или группы источников света, к которой принадлежит источник света. Модуляция, как правило, происходит на частоте, которая достаточно высока, чтобы быть незаметной для людей. Одновременное обнаружение световых вкладов от множества источников света возможно посредством модуляции каждого источника света уникальным образом. Существует различные способы, поточные и двоичные, позволяющие осуществлять как синхронное, так и асинхронное обнаружение (теоретически) неограниченного числа источников света.

Ранее было показано, каким образом технология CL может использоваться для ввода в эксплуатацию систем освещения, например, посредством наведения на отдельные источники света и считывания кодов идентификатора.

Вложенные данные, например, коды идентификатора, в световом выходе источников света могут быть обнаружены оптическим приемником, который может быть реализован в, например, пульте дистанционного управления для управления лампой, или включен в другой модуль, такой как переключатель или сенсорное устройство. У этого подхода есть свой недостаток, который заключается в том, что могут быть обнаружены только вложенные данные, присутствующие в отдельных позициях. В противоположность этому, желательно охарактеризовать всю двумерную (2D) сцену в реальном времени на основе присутствующих кодов идентификатора и отличать коды идентификатора разных источников света в световой сцене.

Были предложены датчики камеры, которые могут определять вложенные данные, присутствующие в множестве позиций в изображении сцены. Тем не менее недостаток предшествующих методик, использующих датчики камеры, состоит в том, что время между последующими получениями изображения в целом должно быть равно или короче продолжительности одного бита во вложенном коде. Последовательные биты вложенного кода затем обнаруживаются посредством анализа результатов, полученных в последовательных получениях камеры. Это требует использования усовершенствованных и, вследствие этого, дорогих камер, способных обеспечить высокую скорость получения. Обычные недорогие датчики камеры, как правило, имеют слишком низкую скорость получения, чтобы использоваться для обнаружения вложенных данных, невидимых человеческому глазу, т.е. высокочастотного CL.

Таким образом, в области техники существует потребность в методике обнаружения CL, встроенного в световой выход источников света, которая решает, по меньшей мере, некоторые из упомянутых выше проблем.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Цель изобретения заключается в преодолении упомянутых выше проблем и в предоставлении системы и способа обнаружения света, выполненных с возможностью обнаружения 2D CL, встроенного в световой выход источников света, таким образом, который позволяет реализовать идентификацию вложенных кодов разных источников света, присутствующих в 2D сцене. Дополнительная цель изобретения заключается в предоставлении системы и способа обнаружения, которые приемлемы для обнаружения высокочастотного CL, используя при этом менее дорогие камеры, чем те, что используются в предшествующих методиках.

Данная цель достигается посредством системы обнаружения света в соответствии с настоящим изобретением, как определено в независимом пункте 1 прилагаемой формулы изобретения, и соответствующего способа, как определено в независимом пункте 14 формулы изобретения. Предпочтительные варианты осуществления изложены в зависимых пунктах формулы изобретения и в нижеследующем описании и на чертежах.

Таким образом, в соответствии с настоящим изобретательским замыслом, предоставляется система обнаружения света, содержащая средство обнаружения света, выполненное с возможностью получения, по меньшей мере, одного изображения сцены, которая освещается системой освещения, содержащей, по меньшей мере, первый источник света, обеспечивающий световой вклад, содержащий первый вложенный код, излучаемый в качестве временной последовательности модуляций в характеристиках излучаемого света. Изображение содержит матрицу пикселей, при этом каждый пиксель представляет собой интенсивность суммарного светового выхода системы освещения в разных физических позициях в пределах сцены. Изображение получают посредством множества сдвинутых по времени экземпляров линии, каждый из которых содержит экземпляр временной последовательности модуляций первого вложенного кода. Система обнаружения света дополнительно содержит средство обработки, выполненное с возможностью определения первого вложенного кода из пространственной картины модуляций.

Таким образом, предоставляется система обнаружения света, которая захватывает свет, выдаваемый сценой в 2D изображении, и при этом сдвинутые по времени экземпляры линии служат в качестве моментов выборки света. Смещение по времени между захватом последовательных строк в средстве обнаружения света во время процесса захвата изображения вызывает изменение значений пикселя по линиям для тех зон в итоговом захваченном изображении сцены, которые соответствуют частям объектов, которые освещаются с помощью упомянутого модулированного источника света, или самому источнику света. Изменение значений пикселя по линиям составляет картину из горизонтальных линий, наложенных поверх изображения на освещаемых объектах. Декодирование сообщения, т.е. вложенного кода, в закодированном свете требует восстановления 1-мерного (1D) сигнала, который связан с исходными изменениями интенсивности модулированного источника света.

Посредством использования получения изображения, основанного на получении изображения линия за линией, и так как частота линий изображения, как правило, на порядок от 10² до 10³ выше соответствующей частоты кадров видео, то частота выборки по времени модулированного света увеличивается на точно такой же порядок. Таким образом, предоставлена система обнаружения света, которая обеспечивает значительно укороченное время измерения посредством измерения нескольких канальных битов в пределах времени одного единичного кадра. Система может быть основана на захвате изображения при помощи прокручивающегося затвора, т.е. средство обнаружения света содержит датчик изображения и средство с прокручивающимся затвором. Это типично для недорогих датчиков изображения, используемых в настоящее время в мобильных устройствах, которые, таким образом, обеспечивают недорогое решение для системы обнаружения. Кроме того, использование захвата изображения при помощи прокручивающегося затвора позволяет преобразовать сегодняшние интеллектуальные телефоны в детекторы кодированного света, что открывает мир приложений, использующих информацию, предоставленную в, например, кодированном свете, который присутствует в освещении общественных или частных зон. Дополнительные возможности беспроводного соединения сегодняшних телефонов (Wi-Fi, Bluetooth) предоставляют различные возможности для организации обратной связи из сигналов управления. В дополнение к обнаружению данных, закодированных в свете, датчик изображения продолжает предоставлять пространственную информацию в отношении отдельных световых вкладов в наблюдаемой сцене.

В соответствии с вариантом осуществления системы обнаружения света, средство обработки выполнено с возможностью определения первого вложенного кода на основании комбинации значений пикселя вдоль каждого экземпляра линии. Таким образом, восстановление 1D сигнала из (2D) изображения основано на комбинации значений пикселя вдоль каждой строки полученного изображения. Комбинация значений пикселя может быть накопительным суммированием или усреднением значений пикселя вдоль каждой строки, т.е. вдоль каждого экземпляра линии.

В соответствии с вариантом осуществления системы обнаружения света, комбинация значений пикселя вдоль экземпляра линии ограничивается, по меньшей мере, одной предварительно определенной подзоной полученного изображения. Посредством ограничения комбинации значений пикселя по строкам в пределах предварительно определенных подзон, которые являются, например, областями в изображении, которые соответствуют освещенным объектам в сцене, может быть улучшено отношение сигнала к шуму (SNR) восстановленного сигнала. Выбор этих релевантных областей изображения может выполняться различными способами, простейший из которых состоит в выборе наиболее яркой зоны в изображении. Декодирование сообщения из восстановленного 1D сигнала может выполняться, используя способы, используемые в электрических компьютерных сетях.

В соответствии с вариантом осуществления системы обнаружения света, выбор предварительно определенной подзоны выполняется посредством свертывания изображения с помощью фильтра с ядром фильтра, при этом ядро фильтра выполнено с возможностью сопоставления вероятной пространственной картины модуляций, связанной с упомянутым первым вложенным кодом. Фильтр может быть 1D или 2D фильтром, и, следовательно, выполнен таким образом, что ядро фильтра сопоставляет вероятную картину интенсивности, которая связана с характеристикой светомодулирующего сигнала.

В соответствии с вариантом осуществления системы обнаружения света, средство обнаружения света содержит датчик изображения, содержащий матрицу пикселей, из которой комплементарные группы пикселей считываются в разные моменты времени. Это является преимуществом, поскольку нет необходимости в считывании комплементарных групп пикселей, являющихся целыми строками или столбцами, а требуется считывать лишь выбранное количество пикселей, что обеспечивает быстрое считывание. Восстановление кода из модулированного света преимущественно может выполняться, зная временную очередность групп пикселей. Следует отметить, что каждая группа пикселей не обязательно должна состоять из смежных пикселей.

В соответствии с вариантом осуществления системы обнаружения света, каждая комплементарная группа пикселей составляет строку пикселей матрицы пикселей датчика изображения. В данном случае, при выполнении впоследствии считываний строк пикселей датчика, временная очередность считываний не обязательно должна соответствовать пространственной очередности строк пикселей, что является преимущественным.

В соответствии с вариантом осуществления системы обнаружения света, средство обнаружения света содержит датчик изображения, содержащий матрицу пикселей, и экземпляры линии соответствуют последующим считываниям строки из матрицы пикселей.

В соответствии с вариантом осуществления системы обнаружения света, считывание в разные моменты времени строк пикселей происходит в пространственно монотонной очередности, так что смежные моменты времени соответствуют пространственно смежным строкам пикселей. В данном случае, например, когда каждый экземпляр линии соответствует считыванию строки матрицы пикселей датчика изображения, получается обычное считывание с помощью прокручивающегося затвора.

В соответствии с вариантом осуществления системы обнаружения света, она выполнена с возможностью обнаружения и анализа полученного изображения, содержащего вклады множества источников света, при этом каждый световой вклад соответствующего источника света содержит вложенный уникальный код, излучаемый в качестве временных последовательностей модуляций в характеристиках излучаемого света.

В соответствии с вариантом осуществления системы обнаружения света, она дополнительно содержит оптическую систему для обеспечения расфокусировки полученного изображения.

В соответствии с вариантом осуществления системы обнаружения света, оптическая система содержит элемент апертурной маски для обеспечения картины в расфокусированном полученном изображении.

В соответствии с вариантом осуществления системы обнаружения света, пространственная форма элемента апертурной маски выбирается для пространственного разделения световых вкладов происходящих от разных источников света.

В соответствии с вариантом осуществления системы обнаружения света, для выбранной временной задержки между считываниями линии сдвинутых по времени экземпляров линии, время экспонирования средства обнаружения света выбирается таким образом, чтобы оно было продолжительнее выбранной временной задержки между считываниями линии.

В соответствии с вариантом осуществления системы обнаружения света, для выбранной временной задержки между считываниями линии сдвинутых по времени экземпляров линии, время экспонирования средства обнаружения света выбирается так, чтобы быть равным выбранной временной задержке между считываниями линии.

В соответствии с вариантом осуществления системы обнаружения света, для выбранной временной задержки между считываниями линии сдвинутых по времени экземпляров линии, время экспонирования средства обнаружения света выбирается так, чтобы быть короче выбранной временной задержки между считываниями линии.

В соответствии с вариантом осуществления системы обнаружения света, средство обнаружения света является камерой с прокручивающимся затвором.

В соответствии с вариантом осуществления системы обнаружения света, вложенный код передается повторяющимся образом, являясь одним из следующего: непрерывным повторяющимся потоком данных, пакетированным потоком данных, с пакетами через постоянные интервалы; и пакетированным потоком данных, с пакетами через непостоянные интервалы.

В соответствии с вариантом осуществления системы обнаружения света, характеристиками излучаемого света является одно из следующего: модуляция яркости и модуляция цвета.

В соответствии с другим аспектом концепции изобретения, предоставляется способ для определения того, присутствует ли световой вклад первого источника света в системе освещения в выбранной позиции в сцене, при этом световой вклад первого источника света содержит первый вложенный код, излучаемый в качестве временной последовательности модуляций в характеристиках излучаемого света, при этом способ содержащий этапы, на которых: извлекают смещенные по времени экземпляры линии светового вклада, и определяют первый вложенный код из пространственной картины модуляций.

Используемое здесь понятие «пиксель» относится к единице данных изображения, соответствующей конкретной точке в сцене. Данные изображения содержат интенсивности (или их производные) суммарного светового выхода системы освещения в разных точках в сцене. Организация данных изображения в строках и столбцах пикселей является одним способом представления трехмерной (3D) сцены в 2D изображении.

Эти и прочие аспекты, признаки, и преимущества изобретения станут очевидны из и объясняются со ссылкой на описываемые здесь далее варианты осуществления. Следует отметить, что изобретение относится ко всем возможным комбинациям признаков, изложенных в формуле изобретения.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Данный и прочие аспекты настоящего изобретения теперь будут более подробно описаны со ссылкой на прилагаемые чертежи, показывающие вариант(ы) осуществления изобретения.

Фиг. 1 является схематической иллюстрацией системы освещения, в которой используется вариант осуществления системы обнаружения света в соответствии с настоящей концепцией изобретения;

Фиг. 2 является схематической структурной схемой варианта осуществления системы обнаружения света в соответствии с настоящей концепцией изобретения;

Фиг. 3a является временной диаграммой для типичной камеры с глобальным затвором во время режима потокового видео, а Фиг. 3b является временной диаграммой для типичной камеры с прокручивающимся затвором во время режима потокового видео;

Фиг. 4 является временной диаграммой, иллюстрирующей длительное время экспонирования по отношению к средней частоте модуляции интенсивности света, как используемого в системе обнаружения света в соответствии с настоящей концепцией изобретения;

Фиг. 5 иллюстрирует представление сигнала во временной и частотной области после преобразования Фурье;

Фиг. 6 является временной диаграммой, иллюстрирующей короткое время экспонирования по отношению к средней частоте модуляции интенсивности света, как используемого в системе обнаружения света в соответствии с настоящей концепцией изобретения;

Фиг. 7 является временной диаграммой, иллюстрирующей очень короткое время экспонирования по отношению к средней частоте модуляции интенсивности света, как используемого в системе обнаружения света в соответствии с настоящей концепцией изобретения; и

Фиг. 8 иллюстрирует использование работы фильтра, ядро фильтра которого сопоставляет вероятную картину интенсивности, которая связана с характеристикой светомодулирующего сигнала, т.е. вложенный код.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение теперь здесь и далее будет описано более подробно со ссылкой на сопроводительные чертежи. Нижеследующие варианты осуществления представлены в качестве примера, так чтобы данное раскрытие было бы полным и законченным, и полностью передавало объем изобретения специалистам в соответствующей области. Подобные цифровые обозначения относятся к подобным элементам на всем протяжении описания.

Фиг. 1 иллюстрирует структуру 100, которая здесь является комнатой, в которой установлена система 110 освещения. Система 110 освещения содержит три источника 111, 112, и 113 света, и один или более модули управления для управления источниками 111, 112, 113 света. Система освещения здесь содержит пульт 150 дистанционного управления, который позволяет пользователю управлять источниками света. Источники света могут содержать любой приемлемый источник света подобный газоразрядным источникам с высоким/низким давлением, лазерные диоды, неорганические/органические светоизлучающие диоды, источники накаливания, или галогенные источники. Во время работы отдельно предоставляемый световой выход I₁₁₁, I₁₁₂, I₁₁₃, от каждого источника 111, 112, 113 света, соответственно, вносит свой вклад в суммарный свет, выдаваемый системой освещения для освещения структуры 100. Вклады освещения от различных источников 111, 112, 113 света в отношении структуры показаны здесь в качестве проекций 114, 115. Проекции от источников света могут накладываться. Каждый источник света кодируется таким образом, что световой выход I содержит индивидуальный код ID#1-3 идентификатора, который, как правило, является вложенным кодом, который излучается в качестве временной последовательности модуляций в характеристиках света, излучаемого от отдельного источника света. Кодированный свет может дополнительно содержать другую информацию, относящуюся к источнику света, подобную текущим настройкам света и/или иную информацию, но для простоты, только код идентификатора рассматривается здесь для иллюстрации основной идеи концепции изобретения. Код идентификатора содержит повторяющуюся последовательность из N символов (например, бит). В нижеследующем описании, символы будут именоваться битами. Тем не менее следует признать, что всякий раз, когда в данном документе используется слово «бит», применяется более широкое определение «символ», которое также может содержать несколько бит, представленных одним символом. Примерами данного являются многоуровневые символы, в которых для вложения даты присутствуют не только 0 и 1, а несколько дискретных уровней. Суммарный световой выход системы освещения может содержать множество кодов идентификатора, при этом каждый происходит от отдельного источника света.

Существуют различные методики по вложению кода в световой выход источника света, которые известны специалистам в соответствующей области, и, вследствие этого, здесь подробно не описываются.

Для продолжения, пульт 150 дистанционного управления содержит систему обнаружения света в соответствии с настоящей концепцией изобретения, которая схематично иллюстрируется на Фиг. 2. Система 200 обнаружения света содержит датчик 210 изображения для получения изображения сцены, т.е. в данном приводимом в качестве примера варианте осуществления изображения зоны структуры 100, в направлении которой пользователем наведен пульт дистанционного управления. Кроме того, система обнаружения света содержит затвор 220 для выбора синхронизации, времени экспонирования и зоны экспонирования датчика 210 изображения, модуль 230 обработки, опционально память 240. Система обнаружения света может дополнительно, опционально, содержать оптическую систему 250. Во время получения изображения, затвор 220 открыт, а когда он не получает изображение, то затвор 220 закрыт. Полученное изображение содержит матрицу пикселей, каждый пиксель которой представляет собой интенсивность суммарного светового выхода системы освещения в разных физических позициях в сцене. Модуль 230 обработки, в зависимости от, например, (i) разрешения датчика 210 изображения (т.е. количества пикселей, которое содержится в каждом изображении/части изображения), (ii) того, как много источников света включено в систему освещения, и (iii) работают ли эти источники света синхронно или асинхронно, выполнен с возможностью реализации разных способов для обработки данных, которые содержатся в полученном изображении (строк изображения), для определения кодов идентификатора источника света, присутствующих в конкретной позиции в сцене.

Применительно к способу, реализуемому в системе обнаружения света, модуль 230 обработки может иметь доступ к кодам идентификатора или производным кодов идентификатора, т.е. параметрам, из которых может быть получена информация, касающаяся кодов идентификатора.

В соответствии с вариантом осуществления системы обнаружения света, код идентификатора исходно неизвестен системе обнаружения света. В данном случае, система обнаружения света обладает знанием лишь протокола, который используется для кодирования сообщений в кодированном свете. В случае, когда используемый протокол неизвестен заранее, система детектора света выполнена с возможностью распознавания используемого протокола, чтобы иметь возможность декодирования сообщения в кодированном свете.

Несмотря на то, что система обнаружения света в данном приводимом в качестве примера варианте осуществления выполнена в пульте дистанционного управления, она может быть выполнена встроенной в структуру, например, может быть монтируемой на стене, или любым другим приемлемым способом.

Затвор 220 в настоящей концепции изобретения является типа прокручивающегося затвора, и может быть механическим или электронным затвором. Прокручивающийся затвор 220 и датчик 210 изображения могут быть объединены, и могут здесь ниже именоваться как датчик изображения или видео камера с прокручивающимся затвором.

Датчики изображения с прокручивающимся затвором, как правило, применяются в фотографировании, где требования к пространственному разрешению в целом превышают те, которые существуют в отношении (HD-) видео. Захват изображения с прокручивающимся затвором вытекает из переноса данных линия за линией датчиком изображения после экспонирования каждой линии, в то время как в датчике с глобальным затвором, все строки пикселя сбрасываются и экспонируются одновременно. По завершению экспонирования, все строки датчика с глобальным затвором одновременно перемещаются в затемненную зону датчика изображения. Затем пиксели считываются строка за строкой. Экспонирование всех пикселей одновременно, как в датчике с глобальным затвором, обладает тем преимуществом, что быстродвижущиеся объекты могут захватываться без геометрических искажений. Датчики изображения, которые используют систему с глобальным затвором, более сложны в исполнении, чем датчики с прокручивающимся затвором.

Для продолжения, Фиг. 3 иллюстрирует временную диаграмму для типичной системы с глобальным затвором (Фиг. 3a) и типичной системы с прокручивающимся затвором (Фиг. 3b) во время режима потокового видео, соответственно. Пиксели в датчике изображения, который здесь является датчиком CMOS в камере, сначала сбрасываются на первом этапе s₁, затем экспонируются посредством света от сцены на этапе s₂, за которым следует этап s₃ переноса заряда, и в заключении на последнем этапе s₄ пиксели считываются. Иллюстрируются два основных принципа системы с глобальным затвором и системы с прокручивающимся затвором.

Обращаясь к Фиг. 3a, в системе с глобальным затвором, во время создания, все пиксели во всех строках сначала сбрасываются (s₁), и впоследствии все строки R экспонируются одновременно (s₂) в течение времени T_e экспонирования, за которым следует перенос заряда (при котором все строки одновременно перемещаются в затемненную зону датчика) (s₃), и в заключении затем пиксели считываются строка за строкой (s₄) в течение времени T_r считывания.

Теперь, обращаясь к Фиг. 3b, в системе с прокручивающимся затвором, во время создания каждая строка пикселей R сначала сбрасывается (s₁), и впоследствии экспонируется (s₂) в течение времени T_e экспонирования, за которым следует перенос заряда (при котором строка перемещается в затемненную зону датчика) (s₃), и в заключении считывается (s₄) в течение времени T_r считывания. Строки сбрасываются и экспонируются, и считываются одна строка за другой. Датчики с прокручивающимся затвором предлагают более высокую плотность пикселей в сравнении с датчиками-CMOS с глобальным затвором. Последовательное экспонирование последующих линий приводит к временной задержке между экспонированием смежных строк. Это вызывает искажение в захваченных изображениях движущихся объектов.

Кроме того, в настоящей концепции изобретения введение артефактов по линиям в случае, когда освещение меняется во время последующего экспонирования строк в датчике изображения с прокручивающимся затвором, используется для захвата высокочастотного сигнала кодированного света, который здесь приводится в качестве примера в виде кода идентификатора в источнике кодированного света.

В приводимом в качестве примера варианте осуществления системы обнаружения света в соответствии с концепцией изобретения, как описано со ссылкой на Фиг. 2, затвор 220 и датчик 210 изображения являются датчиком изображения с прокручивающимся затвором, здесь далее именуемым как камера. Артефакты по линиям созданные при захвате изображения сцены используются для обеспечения механизма, который позволяет различать временные вариации света в световом выходе системы 100 освещения, которые находятся за пределами частоты обновления кадра или частоты кадров камеры. В приводимом в качестве примера варианте осуществления, частота кадров видео выбирается в диапазоне от 25 до 60 Гц. Данный диапазон обеспечивает частоту считывания линии порядка от 10000 Гц до 20000 Гц. Частота считывания линии определяет частоты выборки по времени и вследствие этого лимит полосы пропускания по времени для однозначного восстановления модулированных световых сигналов, которые обеспечиваются теоремой о выборках Найквиста, утверждающей, что только сигналы до половины частоты выборки, частоты Найквиста, могут быть восстановлены из данных после выборки. Здесь частота f_s выборки определяется временной задержкой между считываниями линии,

(1)

Вторым аспектом, который влияет на восстановление модулированных световых сигналов, является время T_e экспонирования датчика. В данном параграфе мы рассматриваем три ситуации.

длительное время экспонирование, такое что:

T_e>T_r (2)

при этом большие времена экспонирования склонны ухудшать способность обнаружения быстрых модуляций света тем не менее разумный выбор времени экспонирования может удержать сигнал помехи ниже частоты Найквиста

'оптимальное' время экспонирования

T_e=T_r (3)

это оптимальный выбор для обнаружения модуляций света, которые ограничены по полосе пропускания ниже частоты Найквиста, и

короткое время экспонирования, так что

T_e<T_r (4)

данная ситуация обеспечивает возможность обнаружения модуляций света, которые превышают частоту Найквиста.

Эти три возможных режима работы конкретизируются в разделах ниже.

На Фиг. 4, изображена типичная ситуация, при которой время экспонирования намного продолжительнее задержки между считываниями линии. Для ясности, и без потери применимости целом, мы пренебрегаем временем сброса и временем переноса заряда, как изображено на Фиг. 3a и Фиг. 3b. Процесс выборки можно рассматривать как умножение с гребенкой равноудаленных функций Дирака. Процесс экспонирования может быть выражен в качестве свертывания модулированного светового сигнала с помощью прямоугольного фильтра с продолжительностью по времени в виде времени экспонирования. В области частоты это приводит к умножению спектра сигнала на функцию sinc («кардинальный синус»). Это изображено на Фиг. 5, которая иллюстрирует эффект фильтрации разных настроек времени экспонирования при заданной конкретной временной задержке между последовательными линиями. Левые диаграммы изображают значение сигнала как функцию времени, а правые диаграммы изображают абсолютное значение преобразования Фурье как функцию частоты. Для увеличения времени экспонирования, данный фильтр все больше и больше гасит высокочастотное содержимое сигнала модулированного света посредством создания нулей в диапазоне частот до частоты Найквиста и в противном случае, ослабляя амплитуду сигнала. Присутствие нулей ниже частоты Найквиста может использоваться для сдерживания сигнала помехи, который присутствует в этих нулевых местоположения в этом диапазоне частот.

Фиг. 6 иллюстрирует короткое время экспонирования по отношению к частоте модуляции интенсивности света. Время T_e экспонирования, в течение (s₂), здесь равно времени переносу данных, т.е. времени T_r считывания, в течение (s₄). Это допускает получение сигналов вплоть до половины частоты выборки. Когда время экспонирования равно времени считывания, T_e=T_r, то первые нули функции sinc появляются кратно частоте выборки. В основной полосе частот до частот Найквиста, падение амплитуды центрального лепестка зависимости sinc вызывает только умеренное высокочастотное затухание, которое может быть легко скорректировано.

Фиг. 7 иллюстрирует очень короткое время T_e экспонирования, в течение (s₂), по отношению к частоте модуляции интенсивности света. Время T_e экспонирования здесь короче времени переноса данных, т.е. времени T_r считывания, в течение (s₄), т.е. T_e<T_r. При условии, что сигнал интенсивности света повторяющийся, данная ситуация допускает обнаружение сигналов, которые выше половины частоты выборки, на основе наложения. Когда время экспонирования может быть выбрано короче задержки считывания линии, как изображено на Фиг. 7, то затухание центрального лепестка, как описано выше, для случая, когда время экспонирования равно времени считывания, T_e=T_r, становится незначительным. В данной ситуации, при отсутствии высокочастотного затухания, можно обнаружить высокочастотную модуляцию света за пределами частоты выборки, поскольку короткое время экспонирования допускает обнаружение вне частоты линии.

На Фиг. 8, показан пример использования фильтра для выбора релевантных областей изображения для обнаружения изображения, в соответствии с вариантом осуществления изобретения. Ядро фильтра, используемое в заданном примере, предназначено для идентификации областей с конкретной частотой модуляции. Показанное ядро 2D фильтра основано на 1D фильтре Габора, в котором (комплексные) коэффициенты фильтра являются, по существу, функцией косинуса и синуса, ослабленной окном Гаусса. 1D фильтр Габора, как правило, используется для обнаружения изолированных местонахождений конкретной частоты. Посредством растяжения фильтра в горизонтальном направлении, вновь в рамках окна Гаусса, мы используем тот факт, что модуляция света от конкретной лампы вызывает построчную модуляцию в изображении, которая будет проявляться почти одинаково в смежных столбцах. Реальные и мнимые компоненты результирующего ядра 2D фильтра указаны как 801 и 802.

В случае бинарной модуляции света, способ может использоваться для обнаружения всех источников света в сцене на основании наличия конкретного синхросигнала, который вложен в поток данных. Или же, в случае непрерывной модуляции, способ может использоваться для обнаружения конкретного источника света из множества источников света, каждый из которых отличается уникальной частотой модуляции. В примере, входное изображение 803, показывающее сцену, освещаемую двумя разными лампами, сворачивается двумя ядрами 801 и 802 комплексного фильтра Габора, что приводит к комплекснозначному результирующему изображению, амплитуда (модуль) которого изображена как 804. Амплитудная характеристика после другого фильтра Габора, отличающегося другой частотой, соответствующей другой лампе, изображена как 805. Идентификация конкретной лампы вытекает из сравнения амплитудных характеристик нескольких фильтров Габора, каждый из которых строится вокруг разной частоты. Фильтр с локально наивысшей амплитудной характеристикой показывает на то, какой источник света локально вносит свой вклад в сцену. Разные значения частот были выбраны, чтобы избежать возникновения неоднозначных новых частот из-за гармонических искажений нелинейными преобразованиями интенсивности при обнаружении света, например, из-за гамма-коррекции в камере. В примере, вследствие этого, частоты были выбраны из ряда частот, который используется в качестве тональных сигналов набора в телефонии (так называемая двухтональная многочастотная (DTMF) система. См.: L. Schenker, «Pushbutton calling with a two-group voice-frequency code», The Bell System Technical Journal, 39(1):235-255, январь 1960 г.), т.е. разделенных посредством коэффициента приращения 21/19, что приводит к ряду из 697 Гц, 770 Гц, 852 Гц, 941 Гц, 1209 Гц, 1336 Гц,... Результат 806 классификации показывает обнаруженные проекции света, обозначенные соответствующим источником света (LED 4 и LED 6, соответственно).

Полученное изображение сцены захватывается по мере того как захват с прокручивающимся затвором проходит в вертикальном направлении. Вследствие этого, модуляция света также распределена в вертикальном направлении видео кадра. Как следствие, вертикальный размер светового явления в видео кадре ограничивает временное окно, с помощью которого может наблюдаться модуляция. Если кодированный свет освещает сцену, то модуляция света проявляется как на изображениях самого источника света, так и на изображениях освещенной сцены. Пока захваченная проекция света, т.е. пространственная локализация отдельного светового вклада в сцене, достаточно большая, и записывается достаточно много изображений, полный код идентификатора (или другое кодированное сообщение в модулированном свете) может быть воссоздан, при условии, что код идентификатора повторяется периодически и каждый бит кода идентификатора, в конечном счете, появляется в захваченной проекции света.

В соответствии с вариантом осуществления системы обнаружения света, система дополнительно содержит оптическую систему (смотри оптическую систему 250 на Фиг. 2). Оптическая система, например, линза видео камеры, используется для обеспечения расфокусировки обнаруженного света, т.е. полученного изображения. В случае, когда размеры источника света или освещенной проекции неприемлемо маленькие, например, когда источник света содержит небольшую группу светоизлучающих диодов, LED, как например, четыре LED, то линза размещается вне фокуса. Как следствие, даже точечные кодированные лампы будут создавать круглую размытую картину, часто именуемую японским понятием «боке». При захвате изображения точечного источника света в сцене с помощью линзы вне фокуса, световой выход от точечного источника света создает боке, которое много больше, чем его размер при наличии фокусировки в кадре изображения. При коротком экспонировании правильно сфокусированное изображение показывает источник света как точку (фактически показывая его четыре элемента LED). Расфокусированное изображение показывает боке с картиной линий из-за модуляции источника света.

В соответствии с вариантом осуществления системы обнаружения света, оптическая система 250 содержит элемент апертурной маски (не показан) для обеспечения картины в расфокусированном обнаруженном свете. Контур размытой картины главным образом определяется размером и формой апертуры, которая, как правило, круглая. Тем не менее посредством замены круглой апертуры на ослабляющую маску, каждый точечный свет будет принимать картину ослабляющей маски. Это именуется как использование кодированной апертуры. Предпочтительно, как в случае с источником света, который является группой LED, пространственная форма элемента апертурной маски может быть выбрана для пространственного разделения световых вкладов, происходящих от разных источников света. Поскольку размер размывания масштабируется в зависимости от разности между расстоянием до объекта и фокусным расстоянием, то даже небольшие апертуры могут создавать большие расфокусированные картины. Внутри расфокусированной картины, продолжает присутствовать картина модулированного света. Пространственная форма кодированной апертуры камеры может быть выбрана таким образом, чтобы оптимально разделять кластеры элементов точечного света, каждый из которых модулирован с помощью своего собственного уникального сигнала.

В соответствии с вариантом осуществления системы обнаружения света, форма точечных источников света меняется посредством использования анизотропного оптического элемента, например цилиндрической линзы, которая растягивает каждую точечную форму в одном доминирующем направлении, или светорассеивающий элемент, который рассеивает каждую точечную форму в большую пространственную зону в захваченном изображении. Когда направление растяжения выбрано в вертикальном направлении, то большой пространственный разброс обеспечивает большее временное окно, показывающее фрагмент с большим количеством кодовой информации. Другими приемлемыми оптическими элементами могут быть диффузионные элементы, дифракционные решетки и линзы кодирования волнового фронта. Использование экземпляров по линиям выходного светового сигнала системы освещения в соответствии с настоящей концепцией изобретения обладает различными преимуществами для обнаружения сигнала, которые могут быть использованы в средстве обработки при анализе данных изображения. Горизонтальный разброс позволяет использовать накопление нескольких значений пикселя вдоль строки изображения, так что улучшается отношение сигнала к шуму восстановленного сигнала, и может быть сдержаны помехи из-за неоднородного фона.

В случае, когда требуется восстановление нормального изображения, без артефактов модулированного света, то относительно простые операции требуются для удаления помех, аналогичные процессу удаления чересстрочной развертки, который обычно применяется при преобразовании видео форматов. Удаление чересстрочной развертки используется для создания отсутствующих строк изображения в чересстрочной видеопоследовательности, чтобы создать прогрессивную видеопоследовательность.

В варианте применения к синтезу проекции, как упоминалось выше, обработка изображения может изолировать разные световые вклады и воссоздавать отдельные изображения без помех модуляции.

В целом, существует баланс между нежелательным восприятием модуляции света людьми, нежелательной видимостью сигнала в изображениях камеры и обнаружительной способностью с помощью камер. Поскольку нежелательное восприятие человеком, как правило, преобладает, то первый набор условий накладывается на способ и характеристики модуляции света. Для того чтобы гарантировать получение изображения камеры без артефактов, модуляция должна выбираться таким образом, чтобы вызывать изменение значений пикселя в каждом захваченном изображении в рамках размера шага квантования значений пикселя, которые, как правило, находятся в диапазоне от 0 до 255. Упомянутое накопление нескольких пикселей вдоль строки известно для того, чтобы предоставить возможность восстановления модулирующего сигнала.

Идентификация отдельных ламп, как впрочем, и перенос других специфичных для лампы данных, может быть основана как на непрерывно-значной, так и на бинарной схемах модуляции.

Разделение разных ламп (в данном контексте разных ламп) может быть основано на назначении разных частот модуляции, или комбинаций частот, каждой лампе. Повторяющаяся природа модуляции состоит в том, что небольших фрагментов сигнала достаточно для однозначного разделения разных каналов данных, при условии, что количество разных уникальных кодов идентификатора источника света может быть относительно небольшой. В случае, когда разные световые вклады пространственно пересекаются в датчике, то данный способ также может обеспечить достаточную ортогональность для разделения расположенных друг над другом сигналов.

Вместо этого, в случае, когда количество разных кодов идентификатора источника света большое и в частности, когда каждый источник света передает дополнительные данные, которые медленно меняются с течением времени (например, температуру, часы горения), то, как правило, более приемлем перенос цифровых данных. В случае, когда разные световые вклады накладываются, также способ цифровой модуляции должен обеспечивать достаточную ортогональность, чтобы гарантировать разделение каналов, как для синхронных, так и асинхронных источников света.

Чтобы разрешить обнаружение посредством камер с прокручивающимся затвором, как впрочем и посредством точечных детекторов (например, фотодиодов), возможно применение комбинации различных схем модуляции. Из-за относительно низкочастотной (до 10 кГц) природы основанного на камерах обнаружения оно, как правило, нечувствительно к высокочастотным (до 10 МГц) модуляциям, которые тем не менее могут восприниматься фотодиодами. Такая гибридная схема модуляции света позволяет реализовать одновременную передачу небольшого объема данных основанным на камерах датчикам и больших объемов данных точечным датчикам.

В приведенном выше описании, концепция изобретения описывается со ссылкой на, но не должна ограничиваться, применение недорогих камер для обнаружения источников кодированного света. В рамках ограничений недорогих камер, как части существующих изделий (подобных интеллектуальным телефонам), были представлены различные меры для улучшения обнаружения (короткое время экспонирования, преднамеренная расфокусировка). Поскольку датчики с прокручивающимся затвором продолжают оставаться экономически эффективными в сравнении с датчиками с глобальным затвором, то индивидуальные камеры могут быть сделаны частью самой системы освещения, либо в качестве чувствительного элемента в переносном устройстве, либо как части постоянной системы обнаружения света. В этих случаях также были представлены другие меры для улучшения обнаружения (кодированные апертуры).

Выше были описаны варианты осуществления системы обнаружения света в соответствии с настоящим изобретением, как определено в прилагаемой формуле изобретения. Они должны рассматриваться лишь как не накладывающие ограничений примеры. Как понятно специалисту в соответствующей области, возможно наличие множества модификаций и альтернативных вариантов осуществления в рамках объема изобретения.

Следует отметить, что в рамках данного документа, и в частности применительно к прилагаемой формуле изобретения, слово «содержащий» не исключает других элементов или этапов, а формы слов в единственном числе не исключают множества, которое само по себе будет очевидно специалисту в соответствующей области.