Результат интеллектуальной деятельности: ТЕЛЕВИЗИОННАЯ КАМЕРА ЦВЕТНОГО ИЗОБРАЖЕНИЯ ДЛЯ ПАНОРАМНОГО КОМПЬЮТЕРНОГО СКАНИРОВАНИЯ

Предлагаемое изобретение имеет отношение к панорамному телевизионному сканированию, которое выполняется компьютерной системой при помощи телевизионной камеры цветного изображения на основе «кольцевого» фотоприемника, изготовленного по технологии приборов с зарядовой связью (ПЗС).

Наиболее близким по технической сущности к заявляемому изобретению следует считать телевизионную камеру цветного изображения для панорамного компьютерного сканирования [1], содержащую последовательно расположенные и оптически связанные панорамный объектив, инфракрасный отсекающий фильтр (ИК-фильтр) и фотоприемник (сенсор), который изготовлен по технологии ПЗС, имеет форму кольца и содержит на кристалле последовательно связанные зарядовой связью «кольцевую» четырехстрочную фотоприемную область, «кольцевой» регистр и блок преобразования «заряд-напряжение» (БПЗН), причем на фотоприемной области линейки светочувствительных элементов чередуются с линейками экранированных от света элементов, а сама фотоприемная область накрыта мозаичным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, при этом в состав телевизионной камеры входит также блок механического сканирования сенсора, блок «кольцевой» четырехстрочной развертки видеосигнала и последовательно соединенные между собой сигнальный процессор и аналого-цифровой преобразователь (АЦП), выход которого является выходом телевизионной камеры, причем блок механического сканирования сенсора кинематически связан с фотоприемником и осуществляет его механическое сканирование в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, при этом первый выход блока «кольцевой» развертки подключен соответственно к управляющим входам фотоприемной области сенсора, второй выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра сенсора, третий выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, четвертый выход блока «кольцевой» развертки - к тактовому входу АЦП, выход управления экспозицией сигнального процессора подключен к управляющему входу блока «кольцевой» развертки, пятый выход которого подключен к входу синхронизации блока механического сканирования сенсора.

Для прототипа предполагается наличие следующих признаков:

- площадь светочувствительных элементов и соответственно площадь экранированных элементов на «кольцевой» мишени фотоприемника от строки к строке одинакова;

- БПЗН фотоприемника организован по типу «плавающая диффузионная область» [2], а поэтому имеет управляющий вход, обеспечивающий поэлементный сброс напряжения формируемого видеосигнала.

Недостаток прототипа - переменная величина (вдоль строк) разрешающей способности изображения, формируемого четырехстрочным «кольцевым» фотоприемником в пределах кадра, которая изменяется в сторону уменьшения по направлению к внешней периферии сенсора из-за увеличивающейся величины зазора между его светочувствительными элементами (пикселами), имеющими одинаковый показатель по геометрической площади,

Задачей изобретения является выравнивание разрешающей способности изображения телевизионной камеры.

Поставленная задача в заявляемой телевизионной камере решается тем, что в устройство телевизионной камеры прототипа [1], содержащее последовательно расположенные и оптически связанные панорамный объектив, ИК-фильтр и фотоприемник (сенсор), который изготовлен по технологии ПЗС, имеет форму кольца и содержит на кристалле последовательно связанные зарядовой связью «кольцевую» четырехстрочную фотоприемную область (мишень), «кольцевой» регистр и БПЗН, причем на фотоприемной области линейки светочувствительных элементов чередуются с линейками экранированных от света элементов, а сама мишень накрыта мозаичным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, при этом в состав телевизионной камеры входит также блок механического сканирования сенсора, блок «кольцевой» четырехстрочной развертки видеосигнала и последовательно соединенные между собой сигнальный процессор и АЦП, выход которого является выходом телевизионной камеры, причем блок механического сканирования сенсора кинематически связан с фотоприемником и осуществляет его механическое сканирование в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива, при этом первый выход блока «кольцевой» развертки подключен соответственно к управляющим входам мишени сенсора, второй выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра сенсора, третий выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, четвертый выход блока «кольцевой» развертки - к тактовому входу АЦП, выход управления экспозицией сигнального процессора подключен к первому управляющему входу блока «кольцевой» развертки, пятый выход которого подключен к входу синхронизации блока механического сканирования сенсора, введен блок формирования апертуры (БФА), информационный вход которого подключен к выходу импульсов сброса блока «кольцевой» развертки, синхронизирующий вход БФА - к соответствующему выходу блока «кольцевой» развертки, а выход БФА - ко второму управляющему входу блока «кольцевой» развертки, при этом период управляющих импульсов Т_r, формируемых на выходе БФА, определяется соотношением:

где Т_р - период считывания элемента в фотоприемнике;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в фотоприемнике равна отношению:

где Δ_l - площадь светочувствительного элемента для первой строки считывания в фотоприемнике;

Δ_m - площадь светочувствительного элемента для текущей строки считывания в фотоприемнике,

при этом площадь светочувствительных элементов на мишени фотоприемника, совпадающая с площадью соответствующих «окон» мозаичного цветного фильтра, и площадь соответствующих экранированных элементов на мишени фотоприемника от строки к строке различна, увеличиваясь в направлении вдоль «кольцевой» строки по мере движения к внешней периферии до максимальной величины, не превышающей площадь пиксела его «кольцевого» регистра.

По отношению к прототипу [1] заявляемая телевизионная камера отличается введением нового блока - БФА, а также реализацией на мишени фотоприемника светочувствительных элементов и «окон» мозаичного фильтра, которые могут различаться величиной их геометрической площади.

Совокупность известных и новых признаков для этого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.

Заявляемая телевизионная камера, как и в прототипе [1], формирует на выходе цветной цифровой телевизионный сигнал «кольцевого» изображения.

Выполнение поставленной задачи, а именно выравнивания разрешающей способности цветного изображения, осуществляется путем организации управления зарядовым считыванием в «кольцевом» растре фотоприемника с одинаковой величиной площади апертуры для различных по площади светочувствительных элементов сенсора.

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемого изобретения - телевизионной камеры в составе компьютерной системы панорамного телевизионного сканирования цветного изображения; на фиг. 2 приведена схемотехническая организации фотоприемника телевизионной камеры; на фиг. 3 показан фрагмент этого фотоприемника, иллюстрирующий подробности его конструкции; на фиг. 4, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 приведена конструкция «кольцевого» регистра фотоприемника, у которого электроды переноса выполнены в виде части кругового кольца; на фиг. 6 - предлагаемое оператору панорамное изображение текущего «кольцевого» кадра в виде последовательности из 6-ти «прямоугольных» кадров; на фиг. 7, по данным [2, с. 19], представлена структурная схема БПЗН с организацией «плавающая диффузионная область»; на фиг. 8 изображена эпюра выходного сигнала БФА, который выполняет управление апертурой «кольцевого» фотоприемника.

Заявляемая телевизионная камера цветного изображения для панорамного компьютерного сканирования, см. фиг. 1, содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, ИК-фильтр 1-2 и фотоприемник 1-3, который имеет форму кругового кольца, см. фиг. 2, и содержит на кристалле последовательно связанные зарядовой связью «кольцевую» четырехстрочную фотоприемную область 1-3-1, «кольцевой» регистр 1-3-2 и БПЗН 1-3-3, при этом на мишени 1-3-линейки светочувствительных и линейки экранированных от света элементов расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, а число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в «кольцевом» регистре, а сама мишень накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, см. фиг. 3, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты; в состав телевизионной камеры входят также следующие блоки: блок 1-4 механического сканирования сенсора, блок 1-5 «кольцевой» четырехстрочной развертки видеосигнала, сигнальный процессор 1-6, АЦП 1-7 и БФА 1-8; выход БПЗН 1-3-3 фотоприемника подключен к информационному входу сигнального процессора 1-6, соединенному последовательно с АЦП 1-7, выход которого является выходом телевизионной камеры, причем блок 1-4 кинематически связан с фотоприемником 1-3 и осуществляет его механическое сканирование (с шагом, равным ширине четырех строк) в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива 1-1; первый выход блока 1-5 подключен соответственно к управляющим входам мишени 1-3-1 сенсора, второй выход блока 1-5 - к управляющим входам «кольцевого» регистра 1-3-2 сенсора, третий выход блока 1-5 - к входу синхронизации сигнального процессора 1-6, четвертый выход блока 1-5 - к тактовому входу АЦП 1-7, выход управления экспозицией сигнального процессора 1-6 подключен к первому управляющему входу блока 1-5, пятый выход которого подключен к входу синхронизации блока 1-4; информационный вход БФА 1-8 подключен к выходу импульсов сброса блока 1-5, синхронизирующий вход БФА 1-8 - к соответствующему выходу блока 1-5, а выход БФА 1-8 - ко второму управляющему входу блока 1-5.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающего с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемников в пользу кругового кольца.

ИК-фильтр 1-2, как и в прототипе [1], изменяет спектральную характеристику «кольцевого» фотоприемника 1-3, обеспечивая необходимое согласование со спектральной чувствительностью человеческого глаза.

ИК-фильтр 1-2 может быть выполнен в составе панорамного объектива 1-1 или интегрирован непосредственно в «кольцевой» фотоприемник 1-3.

Фотоприемник 1-3, выполненный по технологии ПЗС, см. фиг. 2-3, реализует «кольцевую» развертку четырех строк зарядового изображения на фотоприемной области 1-3-1 с последующим поэлементным считыванием зарядов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения цветного видеосигнала в аналоговой форме. При этом в течение одного интервала происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах фотоприемной области 1-3-1. В течение кратковременного промежутка последующего интервала открывается фотозатвор и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области 1-3-1.

Затем фотозатвор закрывается и в новом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем цикле зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в промежуточных интервалах новыми зарядами «кольцевой» регистр 1-3-2.

Фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором благодаря применению цветного «кольцевого» фильтра пикселы ПЗС становятся чувствительными к голубой (Су), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим. Конструкция этого фотоприемника представлена на фиг. 3.

Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета, помимо сигнала яркости (Y), достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y).

Как и в прототипе [1], в заявляемой телевизионной камере реализуется режим накопления поля. Это означает, что перед считыванием в «кольцевом» регистре 1-3-2 зарядовые пакеты соседних (в радиальном направлении) пикселов фотомишени объединяются попарно. Причем выполняется эта процедура раздельно для нечетных «кольцевых» строк (первой и третьей) и соответственно четных «кольцевых» строк (второй и четвертой) формируемого изображения «кольцевого» кадра.

Поэтому, как и в прототипе [1], первая строка содержит попарные отсчеты: (M_g+С_у), (G+Y_e), (M_g+С_y), (G+Y_e). Аналогичные отсчеты будет содержать и третья строка.

А вторая строка содержит попарные отсчеты: (С_y+G), (Y_e+M_g), (С_у+G), (Y_e+M_g). Аналогичные отсчеты будет содержать и четвертая строка.

Для получения яркостного сигнала для нечетной строки производится операция по алгоритму, который заключается в том, что выполняются задержка на элемент разложения, совпадающая по времени с промежутком «кольцевого» поворота зарядов, и суммирование попарных отсчетов:

Коэффициент Ѕ в формуле (3) возвращает «должок», приобретенный за счет суммирования зарядов в попарных отсчетах.

Очевидно, что выражение (3) можно представить так:

Применив аналогичный алгоритм для четной строки, получим следующее выражение для яркостного сигнала:

Аналогично представим выражение (5) в основных цветах:

Выражения (4) и (6) показывают, что яркостный сигнал для нечетной и четной строки одинаков.

Для получения цветоразностного сигнала синего (В-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетной строки выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:

Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четной строки:

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в сигнал CVBS в системе PAL. Поясним, что CVBS - аббревиатура от английских слов: «composite video bar signal», т.е. полный видеосигнал.

Необходимо отметить, что для «кольцевого» фотоприемника телевизионной камеры электроды переноса на мишени 1-3-1 и в «кольцевом» регистре 1-3-2, а также световые «окна» для «кольцевого» мозаичного фильтра могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.

В качестве примера на фиг. 5 показана конструкция «кольцевого» регистра 1-3-2 фотоприемника с такими электродами переноса.

На фиг. 7 показана возможная структурная схема БПЗН «кольцевого» фотоприемника 1-3 с организацией «плавающая диффузионная область», которая полностью совпадает со схемой, применяемой в настоящее время в матрицах ПЗС для реализации прямоугольной развертки видеосигнала, см. например, [2]. На этом чертеже приняты следующие обозначения: U_ф1, U_ф2, U_ф3 - напряжения на шинах для трехфазного управления «кольцевым» регистром сдвига 1-2-3; U_вых3 - напряжение на выходном затворе; Д_вых, Д_сбр - выходной и сбрасывающие диоды соответственно.

Перед считыванием информационного заряда очередного элемента (пиксела) в процессе его преобразования в напряжение видеосигнала информационный заряд предыдущего элемента должен быть сброшен в стирающий диод Д_сбр.

Эта процедура осуществляется при помощи управляющих импульсов Т_r, называемых часто в литературе импульсами сброса, которые подаются на соответствующую шину управления БПЗН 1-3-3.

Блок формирования апертуры (БФА) 1-7 предназначен для управления считывающей апертурой фотоприемника 1-3 при поэлементном съеме напряжения видеосигнала в БПЗН 1-3-3. В результате для всех строк фотоприемника обеспечивается одинаковая по полю площадь считывающей апертуры при различной от строки к строке площади электродов светочувствительных элементов сенсора.

Эпюра выходного сигнала Т_r, вырабатываемая на выходе БФА 1-7, представлена на фиг. 8. Фотоприемник 1-3 содержит на мишени четыре «кольцевые» строки. На этой диаграмме первая строка обозначена как Т_с1, а последняя строка - как Т_с4.

Управляющие импульсы имеют положительную полярность, малую (короткую) длительность и различный период следования в пределах каждой из «кольцевых» строк.

Период управляющих импульсов для первой «кольцевой» строки обозначен Т_r1, а период управляющих импульсов для последней (четвертой) «кольцевой» строки - Т_r4. Период Т_r1 является самым малым и равен периоду считывания элемента Т_р, а период считывания Т_r4 - самым большим, который равен nТ_t.

Коэффициент n в последнем выражении определяется целым числом из соотношения:

где Δ₁ - площадь светочувствительного элемента для первой строки считывания в «кольцевом» фотоприемнике;

Δ₄ - площадь светочувствительного элемента для четвертой строки считывания в «кольцевом» фотоприемнике.

В физическом плане управление площадью апертуры осуществляется за счет суммирования зарядовых пакетов в соседних элементах каждой текущей «кольцевой» строки сенсора до выполнения процедуры преобразования «заряд - напряжение».

Поэтому это зарядовое сложение не может быть дополнительным источником шумов для видеосигнала на выходе телевизионной камеры.

БФА 1-7 на практике может быть реализован с использованием классического набора технических средств (логических элементов) цифровой электроники. Очевидно, что БФА 1-7 может быть выполнен в составе блока 1-5 «кольцевой» развертки.

Блок 1-5 «кольцевой» четырехстрочной развертки видеосигнала, сигнальный процессор 1-6 и АЦП 1-7 целесообразно выполнить с использованием комплекта специализированных микросхем высокого уровня интеграции, в т.ч. и программируемого комплекта, предназначенного для обслуживания цветных матриц ПЗС.

Блок 1-4 механического сканирования сенсора предназначен для выполнения пошагового перемещения фотоприемника 1-2 с интервалом по расстоянию, равным ширине четырех его «кольцевых» строк. По физике работы такое перемещение является электромеханическим.

Важно отметить, что для исключения возникновения вертикального смаза формируемого цветного изображения временной промежуток шагового перемещения фотоприемника должен быть достаточно малым относительно интервала накопления зарядов на фотомишени.

Очевидно, что при проектировании телевизионной камеры фотоприемник 1-3 может быть выполнен в составе блока 1-4.

БФА 1-7 на практике может быть реализован с использованием классического набора технических средств (логических элементов) цифровой электроники. Очевидно, что БФА 1-7 может быть выполнен в составе блока 1-5 «кольцевой» развертки.

Рассмотрим работу заявляемой телевизионной камеры цветного изображения в составе компьютерной системы панорамного сканирования, как это предложено в прототипе [1], см. фиг. 1. Система содержит телевизионную камеру в позиции 1 и сервер 2 в позиции, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3.

Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение контролируемой сцены, проецируя его через ИК-фильтр 1-2 на мишень 1-3-1 фотоприемника телевизионной камеры. Фотоприемник 1-3 (см. фиг. 2) в неподвижном состоянии реализует зарядовое накопление оптического изображения на мишени 1-3-1, а затем выполняет «кольцевую» четырехстрочную развертку накопленной зарядовой «картины» с поэлементным считыванием зарядовых пакетов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения видеосигнала в аналоговой форме.

В результате последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения для одной «кольцевой» строки реконструируемого растра. По интерфейсу (например, USB 2,0) в оперативную память сервера 2 будет транслироваться цифровой видеосигнал этой «кольцевой» строки фотоприемника 1-3, а затем и видеосигнал других «кольцевых» строк при пошаговом перемещении самого фотоприемника на ширину четырех строк его мишени.

В итоге в оперативную память сервера 2 будет занесена видеоинформация о «кольцевом» кадре, полученном при помощи «сканерной» записи составляющих его «кольцевых» строк.

Допустим, что, как и в прототипе, горизонтальный угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов.

Тогда должно быть предусмотрено, что одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.

Предположим, что полное число «кольцевых» строк в «кольцевом» кадре составляет m. Необходимость разнесения во времени процесса накопления зарядов в фотоприемнике и процесса шагового перемещения сенсора определяет режим формирования «кольцевого» кадра как медленный, т.е. малокадровый.

Далее, как и в прототипе, в сервере 2 осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры вещательного телевидения и возможность предоставления этой информации на выходе «сеть» сервера 2.

Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 6) операторам компьютеров 3.

Это означает, что в реальном масштабе времени может быть реализован контроль шести изображений с одинаковой по полю и повышенной четкостью наблюдаемой «картины».

В настоящее время все элементы структурной схемы телевизионной камеры цветного изображения для панорамного компьютерного сканирования освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2579003, МПК H04N 7/00, H04N 5/225. Устройство компьютерной системы для панорамного сканирования цветного изображения. / В.М. Смелков // Б.И. - 2016. - №9.

2. Хромов Л.И., Лебедев Н.В., Цыцулин А.К., Куликов А.Н. Твердотельное телевидение. - «Радио и связь», 1986.

3. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.