ТЕЛЕВИЗИОННАЯ КАМЕРА ЦВЕТНОГО ИЗОБРАЖЕНИЯ ДЛЯ ПАНОРАМНОГО КОМПЬЮТЕРНОГО НАБЛЮДЕНИЯ

Изобретение является техническим решением по категории «устройство» и имеет отношение к панорамному компьютерному наблюдению, которое выполняется при помощи цветной телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Наиболее близким по технической сущности к первому заявляемому изобретению следует считать устройство телевизионной камеры цветного изображения для панорамного компьютерного наблюдения [1], содержащее последовательно расположенные и оптически связанные панорамный объектив, инфракрасный отсекающий фильтр (ИК-фильтр) и фотоприемник, выполненный на основе технологии приборов с зарядовой связью (ПЗС) и имеющий форму кругового кольца, у которого линейки светочувствительных и линейки экранированных от света элементов фотоприемной области (мишени) расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру, оканчивающемуся блоком преобразования «заряд - напряжение» (БПЗН), причем число элементов в каждой «кольцевой» строке мишени равно числу элементов в его «кольцевом» регистре, а сама мишень накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты, в состав телевизионной камеры входит также блок «кольцевой» развертки видеосигнала и последовательно соединенные между собой сигнальный процессор и аналого-цифровой преобразователь (АЦП), выход которого является выходом телевизионной камеры, причем первый выход блока «кольцевой» развертки видеосигнала подключен соответственно к управляющим входам фотоприемной области фотоприемника, второй выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра фотоприемника, третий выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, а четвертый выход блока «кольцевой» развертки - к тактовому входу АЦП, при этом информационный вход сигнального процессора подключен к выходу БПЗН фотоприемника, а выход управления экспозицией сигнального процессора - к управляющему входу блока «кольцевой» развертки.

Для прототипа предполагается наличие следующих признаков:

- площадь светочувствительных элементов и соответственно площадь экранированных элементов на «кольцевой» мишени фотоприемника от строки к строке одинакова;

- БПЗН фотоприемника организован по типу «плавающая диффузионная область» [2], а поэтому имеет управляющий вход, обеспечивающий поэлементный сброс напряжения формируемого видеосигнала.

Недостаток прототипа - переменная величина (вдоль строк) разрешающей способности изображения, формируемого «кольцевым» фотоприемником в пределах кадра, которая изменяется в сторону уменьшения по направлению к внешней периферии сенсора из-за увеличивающейся величины зазора между его светочувствительными элементами (пикселами), имеющими одинаковый показатель по геометрической площади.

Задачей изобретения является выравнивание разрешающей способности изображения телевизионной камеры.

Поставленная задача в заявляемой телевизионной камере решается тем, что в устройство телевизионной камеры прототипа [1], содержащее последовательно расположенные и оптически связанные панорамный объектив, ИК-фильтр и фотоприемник, выполненный на основе технологии ПЗС и имеющий форму кругового кольца, у которого линейки светочувствительных и линейки экранированных от света элементов мишени расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру, оканчивающемуся БПЗН, причем число элементов в каждой «кольцевой» мишени равно числу элементов в его «кольцевом» регистре, а сама мишень накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты, в состав телевизионной камеры входит также блок «кольцевой» развертки видеосигнала и последовательно соединенные между собой сигнальный процессор и АЦП, выход которого является выходом телевизионной камеры, причем первый выход блока «кольцевой» развертки видеосигнала подключен соответственно к управляющим входам фотоприемной области фотоприемника, второй выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра фотоприемника, третий выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, а четвертый выход блока «кольцевой» развертки - к тактовому входу АЦП, при этом информационный вход сигнального процессора подключен к выходу БПЗН фотоприемника, а выход управления экспозицией сигнального процессора - к первому управляющему входу блока «кольцевой» развертки фотоприемника, введен блок формирования апертуры (БФА), информационный вход которого подключен к выходу импульсов сброса блока «кольцевой» развертки, синхронизирующий вход БФА - к соответствующему выходу блока «кольцевой» развертки, а выход БФА - ко второму управляющему входу блока «кольцевой» развертки, при этом период управляющих импульсов Т_r формируемых на выходе БФА определяется соотношением:

где Т_р - период считывания элемента в фотоприемнике;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в фотоприемнике равна отношению:

где Δ₁ - площадь светочувствительного элемента для первой строки считывания в фотоприемнике;

Δ_m - площадь светочувствительного элемента для текущей строки считывания в фотоприемнике,

при этом площадь светочувствительных элементов на мишени фотоприемника, совпадающая с площадью соответствующих «окон» мозаичного цветного фильтра, и площадь соответствующих экранированных элементов на мишени фотоприемника от строки к строке различна, увеличиваясь в направлении вдоль «кольцевой» строки по мере движения к внешней периферии до максимальной величины, не превышающей площадь пиксела его «кольцевого» регистра.

По отношению к прототипу [1] заявляемая телевизионная камера отличается введением нового блока - БФА, а также реализацией на мишени фотоприемника светочувствительных элементов и «окон» мозаичного фильтра, которые могут различаться величиной их геометрической площади.

Совокупность известных и новых признаков для этого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.

Заявляемая телевизионная камера, как и в прототипе [1], формирует на выходе цветной цифровой телевизионный сигнал «кольцевого» изображения.

Выполнение поставленной задачи, а именно: выравнивания разрешающей способности цветного изображения, - осуществляется путем организации управления зарядовым считыванием в «кольцевом» растре фотоприемника с одинаковой величиной площади апертуры для различных по площади светочувствительных элементов сенсора.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг.1 приведена структурная схема заявляемого изобретения - телевизионной камеры в составе компьютерной системы панорамного телевизионного наблюдения цветного изображения; на фиг. 2 приведена схемотехническая организация фотоприемника телевизионной камеры; на фиг. 3 показан фрагмент этого фотоприемника, иллюстрирующий подробности его конструкции; на фиг. 4, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 приведена конструкция «кольцевого» регистра фотоприемника, у которого электроды переноса выполнены в виде части кругового кольца; на фиг. 6 - предлагаемое оператору панорамное изображение текущего «кольцевого» кадра в виде последовательности из 6-ти «прямоугольных» кадров; на фиг. 7, по данным [2, с. 19], представлена структурная схема БПЗН с организацией «плавающая диффузионная область»; на фиг. 8 изображена эпюра выходного сигнала БФА, который выполняет управление апертурой «кольцевого» фотоприемника; на фиг. 9 - возможная структурная схема для выполнения сетевого компьютерного решения с использованием заявляемого устройства.

Заявляемая телевизионная камера цветного изображения для панорамного компьютерного наблюдения, см. фиг. 1, содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, ИК-фильтр 1-2 и фотоприемник 1-3, который имеет форму кругового кольца, см. фиг. 2, у которого линейки светочувствительных и линейки экранированных от света элементов мишени 1-3-1 расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру 1-3-2, оканчивающемуся БПЗН 1-3-3, причем число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в «кольцевом» регистре, а сама мишень накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, см. фиг. 3, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты; в состав телевизионной камеры также входят следующие блоки: сигнальный процессор 1-4, блок 1-5 «кольцевой» развертки, АЦП 1-6 и БФА 1-7; выход БПЗН фотоприемника 1-3 подключен к информационному входу сигнального процессора 1-4, соединенному последовательно с АЦП 1-6; выход управления экспозицией сигнального процессора 1-4 подключен к первому управляющему входу блоку 1 -5 «кольцевой» развертки видеосигнала, первый выход которого подключен к управляющим входам мишени фотоприемника 1-3, второй выход блока 1-5 - к управляющим входам «кольцевого» регистра фотоприемника 1-3, третий выход блока 1-5 - к входу синхронизации сигнального процессора 1-4, а четвертый выход блока 1-5 - к тактовому входу АЦП 1-6, выход которого является выходом телевизионной камеры; информационный вход БФА 1-7 подключен к выходу импульсов сброса блока 1-5 «кольцевой» развертки, синхронизирующий вход БФА 1-7 - к соответствующему выходу блока 1-5 «кольцевой» развертки, а выход БФА 1-7 - ко второму управляющему входу блока 1-5 «кольцевой» развертки.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающего с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемников в пользу кругового кольца.

ИК-фильтр 1-2, как и в прототипе [1], изменяет спектральную характеристику «кольцевого» фотоприемника 1-3, обеспечивая согласование со спектральной чувствительностью человеческого глаза.

ИК-фильтр 1-2 может быть выполнен в составе панорамного объектива 1-1 или интегрирован непосредственно в «кольцевой» фотоприемник 1-3.

Фотоприемник 1-3, выполненный по технологии ПЗС, см. фиг. 2-3, как и в прототипе [1], реализует «кольцевую» развертку зарядового изображения на мишени 1-3-1 с последующим поэлементным считыванием зарядов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения цветного видеосигнала в аналоговой форме. При этом в интервале прямого хода по кадру происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах мишени 1-3-1. В течение кратковременного промежутка последующего интервала обратного хода кадровой развертки открывается фотозатвор, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области мишени 1-3-1.

Затем фотозатвор закрывается, и в новом кадровом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем кадре зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в интервале обратного хода по строке новыми зарядами «кольцевой» регистр 1-3-3.

Фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором, благодаря применению цветного «кольцевого» фильтра, пикселы ПЗС становятся чувствительными к голубой (Су), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим. Конструкция этого фотоприемника представлена на фиг. 3.

Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета, помимо сигнала яркости (Y) достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R - Y) и сигнал цветовой разности синего (В - Y).

В заявляемом решении для «кольцевого» ПЗС-фотоприемника, как и в прототипе [1], используется режим накопления поля, т.е. в режиме чересстрочной развертки видеосигнала накопление зарядовой «картины» осуществляется в полукадрах под одними и теми же фазовыми шинами.

Затем, аналогично режиму прототипа [1], перед считыванием в «кольцевом» регистре 1-3-2 зарядовые пакеты соседних (в радиальном направлении) пикселов фотомишени объединяются попарно, причем по-разному для последовательно считываемых нечетных и четных «кольцевых» строк формируемого изображения, как показано на фиг. 3.

Отметим, что поскольку размер светочувствительного элемента в режиме накопления поля равен размеру двух пикселов матрицы по вертикали, это приводит к снижению вертикальной разрешающей способности цветного изображения, что вполне допустимо.

Первая строка содержит попарные отсчеты: (M_g + С_у), (G + Y_e), (M_g + С_у), (G + Y_e) и так далее.

Вторая строка содержит попарные отсчеты: (С_у + G), (Y_e + M_g), (С_у + G), (Y_e + M_g) и так далее.

Очевидно, что третья и другие последующие нечетные строки будут содержать такие же попарные отсчеты, как и первая строка, а четвертая и другие последующие четные строки - такие же попарные отсчеты, как и вторая строка.

Для получения яркостного сигнала для нечетных строк производится операция по алгоритму, который заключается в том, что выполняется задержка на элемент разложения, совпадающая по времени с промежутком «кольцевого» поворота зарядов, и суммирование попарных отсчетов:

Коэффициент в формуле (2) возвращает «должок», приобретенный за счет суммирования зарядов в попарных отсчетах. Очевидно, что выражение (3) можно представить так:

Применив аналогичный алгоритм для четных строк, получим следующее выражение для яркостного сигнала:

Аналогично представим выражение (5) в основных цветах:

Выражения (4) и (6) показывают, что яркостной сигнал для нечетных и четных строк одинаков.

Для получения цветоразностного сигнала синего (В - Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетных строк выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:

B - Y = ⎣(G + Y_e) - (M_g + C_y)⎦ = [(G + G + R) - (R + B + G + B)] = -[2B - G].

Для получения цветоразностного сигнала красного (R - Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четных строк: R - Y = ⎣(M_g + Y) - (G + C_y)⎦ = [(R + B + G + R) - (G + G + B)] = 2R - G.

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в сигнал CVBS в системе PAL. Поясним, что CVBS - аббревиатура от английских слов: «composite video bar signal», т.е. полный видеосигнал.

Необходимо отметить, что для «кольцевого» фотоприемника телевизионной камеры электроды переноса на мишени 1-3-1 и в «кольцевом» регистре 1-3-2, а также световые «окна» для «кольцевого» мозаичного фильтра могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.

В качестве примера на фиг. 5 показана конструкция «кольцевого» регистра 1-3-2 фотоприемника с такими электродами переноса.

На фиг. 7 показана возможная структурная схема БПЗН «кольцевого» фотоприемника 1-3 с организацией «плавающая диффузионная область», которая полностью совпадает со схемой, применяемой в настоящее время в матрицах ПЗС для реализации прямоугольной развертки видеосигнала, см., например, [2]. На этом чертеже приняты следующие обозначения: U_ф1, U_ф2, U_ф3 - напряжения на шинах для трехфазного управления «кольцевым» регистром сдвига 1-2-3; U_выхз - напряжение на выходном затворе; Д_вых, Д_сбр - выходной и сбрасывающие диоды соответственно.

Перед считыванием информационного заряда очередного элемента (пиксела) в процессе его преобразования в напряжение видеосигнала информационный заряд предыдущего элемента должен быть сброшен в стирающий диод Д_сбр.

Эта процедура осуществляется при помощи управляющих импульсов Т_r называемых часто в литературе импульсами сброса, которые подаются на соответствующую шину управления БПЗН 1-3-3.

Блок формирования апертуры (БФА) 1-7 предназначен для управления считывающей апертурой фотоприемника 1-3 при поэлементном съеме напряжения видеосигнала в БПЗН 1-3-3. В результате для всех строк фотоприемника обеспечивается одинаковая по полю площадь считывающей апертуры при различной от строки к строке площади электродов светочувствительных элементов сенсора.

Эпюра выходного сигнала Т_r, вырабатываемая на выходе БФА 1-7, представлена на фиг. 8. Предполагается, что фотоприемник 1-3 содержит n «кольцевых» строк. На этой диаграмме первая строка обозначена как Т_с1, а последняя строка - как Т_сn.

Управляющие импульсы имеют положительную полярность, малую (короткую) длительность и различный период следования в пределах каждой из «кольцевых» строк.

Период управляющих импульсов для первой «кольцевой» строки обозначен Т_r1, а период управляющих импульсов для последней «кольцевой» строки - Т_{r n}. Период Т_r1 является самым малым и равен периоду считывания элемента Т_р, а период считывания Т_{r n} - самым большим, который равен nТ_r. Коэффициент n в последнем выражении определяется целым числом из соотношения:

где Δ₁ - площадь светочувствительного элемента для первой строки считывания в «кольцевом» фотоприемнике;

Δ_n - площадь светочувствительного элемента для последней строки считывания в «кольцевом» фотоприемнике.

В физическом плане управление площадью апертуры осуществляется за счет суммирования зарядовых пакетов в соседних элементах каждой текущей «кольцевой» строки сенсора до выполнения процедуры преобразования «заряд - напряжение».

Поэтому это зарядовое сложение не может быть дополнительным источником шумов для видеосигнала на выходе телевизионной камеры.

БФА 1-7 на практике может быть реализован с использованием классического набора технических средств (логических элементов) цифровой электроники. Очевидно, что БФА 1-7 может быть выполнен в составе блока 1-5 «кольцевой» развертки.

Рассмотрим работу заявляемой телевизионной камеры цветного изображения в составе компьютерной системы панорамного наблюдения, как это предложено в [1], см. фиг. 1. Система содержит телевизионную камеру в позиции 1 и сервер 2 в позиции, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.

Предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 1 он не показан).

Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение наблюдаемой сцены, проецируя его через ИК-фильтр 1-2 на мишень 1-3-1 фотоприемника.

В результате фотоэлектрического и последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения.

Предположим, что текущий угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи включает 6 (шесть) условных областей.

Тогда оперативная память сервера 2, куда записывается панорамное цветное изображение, содержит 6 областей входного видеосигнала текущего «кольцевого» кадра.

Далее, как и в [1], в сервере 2 осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.

Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 6) операторам персональных компьютеров.

Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений с одинаковой по полю (повышенной) четкостью наблюдаемой «картины».

Будем считать, что в качестве персональных компьютеров 3, образующих эту сеть, использованы ноутбуки, содержащие в своем составе материнскую плату с установленными на ней процессором и оперативной памятью, а также жесткий диск, дисплей, клавиатуру и тачпад.

Заметим, что тачпад может быть использован как единственное указательное устройство, используемое вместо манипулятора «мышь», или дополнительно к этому прибору.

Оператор каждого ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея.

Очевидно, что заявляемое решение телевизионной камеры цветного изображения может быть использовано в составе сложных компьютерных систем.

Пример структурной схемы по организации такой системы представлен на фиг. 9. Стрелки на линиях связи этой схемы иллюстрируют передачу сигнала изображения.

Здесь компьютер 4 оператора дополнительно выполняет функции сервера. Благодаря использованию в данной системе маршрутизатора 5, информация, хранящаяся на сервере, становится доступной любому другому пользователю компьютера в локальной сети, например компьютеру 7.

Модем 6 позволяет предоставить видеоинформацию и по сети Интернет, т.е. она может поступить на компьютер удаленного пользователя, например на компьютер 8.

В настоящее время все элементы заявляемой структурной схемы телевизионной камеры цветного изображения для панорамного компьютерного наблюдения освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2570348. МПК H04N 5/225. Компьютерная система панорамного телевизионного наблюдения цветного изображения. / В.М. Смелков // Б.И. - 2015. - №34.

2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. - «Радио и связь», 1986.

3. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.