УСТРОЙСТВО КОМПЬЮТЕРНОЙ СИСТЕМЫ ДЛЯ ПАНОРАМНОГО СКАНИРОВАНИЯ ЦВЕТНОГО ИЗОБРАЖЕНИЯ

Предлагаемое изобретение имеет отношение к панорамному телевизионному сканированию, которое выполняется компьютерной системой при помощи кольцевого фотоприемника цветного изображения, выполненного по технологии приборов с зарядовой связью (ПЗС).

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных панорамного объектива и датчика цифрового телевизионного сигнала, который содержит в своем составе двумерный (матричный) ПЗС-фотоприемник и блок фотоприемника, обеспечивающий прогрессивную прямоугольную развертку аналогового видеосигнала фотоприемника и формирование на выходе телевизионной камеры цифрового телевизионного сигнала цветного изображения, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.

Устройство прототипа методом двумерной электронной развертки: электронного сканирования по двум координатам (горизонтали и вертикали) матрицы ПЗС, - обеспечивает формирование изображения в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Матрица ПЗС прототипа содержит на общем кристалле двумерную фотоприемную область, горизонтальный (выходной) регистр сдвига и преобразователь «заряд - напряжение» (БПЗН). Такая схемотехническая организация матричного фотоприемника на ПЗС получила первоначальное название «межстрочный перенос» [2, с. 167]. В последнее время эту организацию матрицы ПЗС чаще упрощенно называют «строчный перенос» (см., например, [3, с. 135]).

Фотоприемная область матричного сенсора обеспечивает накопление зарядовых пакетов в светочувствительных элементах, в качестве которых используются фотодиоды, организованные в линейки столбцов. В непосредственной близости от каждого столбца фотодиодов находится нечувствительный к свету вертикальный ПЗС-регистр сдвига, отделенный от фотодиодов фотозатвором. В интервале прямого хода кадровой развертки, когда на фотозатвор подается низкий уровень напряжения, обеспечивающий потенциальный барьер между фотодиодами и вертикальным ПЗС-регистром, происходит накопление зарядовых пакетов. По окончании накопления на фотозатвор кратковременно (в интервале обратного хода по кадру) подается высокий уровень напряжения, разрешающий перенос зарядовых пакетов из фотодиодов в потенциальные ямы, образованные в вертикальных ПЗС-регистрах. В последующем интервале прямого хода по кадру зарядовые пакеты из вертикальных ПЗС-регистров переносятся (в интервалах обратного хода строчной развертки) строка за строкой вниз по направлению к горизонтальному выходному регистру. Каждая зарядовая строка изображения затем поэлементно считывается через БПЗН, образуя на выходе «видео» фотоприемника электрический видеосигнал.

Матрица ПЗС прототипа формирует видеосигнал цветного изображения, а поэтому снабжена встроенным цветным мозаичным фильтром, который накрывает ее фотоприемную область.

Мозаичный фильтр разделяет свет на голубой, желтый, пурпурный и зеленый компоненты., см., например, [3, с. 154-155]. Добавим, что со стороны объектива перед мозаичным фильтром прототипа располагается инфракрасный отсекающий фильтр (ИК-фильтр), который изменяет спектральную характеристику ПЗС-матрицы, обеспечивая ее согласование со спектральной чувствительностью человеческого глаза.

Блок фотоприемника прототипа содержит блок двумерной развертки видеосигнала, сигнальный процессор, информационный вход которого подключен к выходу БПЗН матрицы ПЗС, и аналого-цифровой преобразователь (АЦП).

Недостаток прототипа компьютерной системы - возникновение потерь кругового наблюдения по параметру угол места при вписывании прямоугольной мишени фотоприемника в кольцевое изображение объектива.

Если же для исключения потерь по углу места это кольцевое изображение вписать в прямоугольник мишени, то потребуется матрица ПЗС с увеличенным числом элементов (пикселов). При этом значительная часть пикселов является пассивной (бесполезной), т.к. не несет информации о наблюдаемом сюжете, но принудительно используется при формировании видеосигнала в телевизионной камере.

Задачей изобретения является поддержание неизменным параметра угол места и исключение пассивных пикселов за счет использования в качестве фотоприемника четырехстрочного кольцевого сенсора путем его механического сканирования в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива. Поставленная задача в заявляемом устройстве компьютерной системы решается тем, что в устройство прототипа [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера содержит в своем составе последовательно расположенные и оптически связанные панорамный объектив, инфракрасный отсекающий фильтр и фотоприемник, выполненный по технологии ПЗС, и состоящий из последовательно связанных зарядовой связью фотоприемной области, выходного регистра и БПЗН, причем на фотоприемной области линейки светочувствительных элементов чередуются с линейками экранированных от света элементов, а сама фотоприемная область накрыта мозаичным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты; в состав телевизионной камеры входит также блок развертки видеосигнала и последовательно соединенные между собой сигнальный процессор и АЦП, выход которого является выходом телевизионной камеры, причем первый выход блока развертки подключен соответственно к управляющим входам фотоприемной области сенсора, второй выход блока развертки - к управляющим входам выходного регистра сенсора, третий выход блока развертки - к входу синхронизации сигнального процессора, четвертый выход блока развертки - к тактовому входу АЦП, выход управления экспозицией сигнального процессора подключен к управляющему входу блока развертки; в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БПКП, вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), а само это преобразование выполняется программным путем, реализуются следующие изменения, а именно: телевизионная камера формирует «кольцевой» растр цветного изображения, при этом фотоприемник телевизионной камеры имеет форму кольца и содержит на его кристалле «кольцевую» четырехстрочную фотоприемную область, «кольцевой» выходной регистр и БПЗН, причем линейки светочувствительных и линейки экранированных от света элементов фотоприемной области расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в его «кольцевом» регистре, а мозаичный цветной фильтр, накрывающий фотоприемную область, является «кольцевым» по форме; в состав телевизионной камеры введен блок механического сканирования сенсора, который, будучи кинематически связан с фотоприемником, осуществляет его механическое сканирование в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива; при этом пятый выход блока развертки заявляемого решения подключен к входу синхронизации блока механического сканирования фотоприемника, а сам блок развертки является блоком «кольцевой» четырехстрочной развертки видеосигнала.

По отношению к прототипу [1] заявляемое устройство отличается геометрической формой выполнения фотоприемника в виде кольцевого четырехстрочного сенсора, обеспечивающего при сохранении ПЗС-технологии реализацию нового («кольцевого») растра цветного изображения. Важно отметить, что количество элементов в «кольцевом» регистре нового фотоприемника принципиально превосходит горизонтальное число пикселей для матрицы ПЗС, которая по вертикали вписана в диаметр этого сенсора.

В состав телевизионной камеры введен также и новый блок, а именно: блок механического сканирования сенсора.

Совокупность известных и новых признаков заявляемого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.

В заявляемом устройстве путем шагового перемещения нового «кольцевого» фотоприемника на ширину сенсора (равную ширине четырех строк) в направлении, которое перпендикулярно относительно неподвижной плоскости изображения панорамного объектива, реализуется режим работы оригинального сканера с повышенной разрешающей способностью формируемого цветного изображения.

Поэтому заявляемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемого изобретения - устройства компьютерной системы для панорамного сканирования цветного изображения; на фиг. 2 - схемотехническая организации фотоприемника телевизионной камеры; на фиг. 3 показан фрагмент этого фотоприемника, иллюстрирующий подробности его конструкции; на фиг. 4, по данным [4], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 - иллюстрация геометрических соотношений для мишени фотоприемника, имеющей «прямоугольную» и «кольцевую» форму; на фиг. 6 - конструкция «кольцевого» регистра фотоприемника, у которого электроды переноса выполнены в виде части кругового кольца; на фиг. 7 - предлагаемое оператору панорамное изображение в виде последовательности из 6-ти «прямоугольных» кадров.

Заявляемое устройство компьютерной системы для панорамного сканирования монохромного изображения, см. фиг. 1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом телевизионная камера 1 содержит последовательно расположенные и оптически связанные панорамный объектив 1-1, инфракрасный отсекающий фильтр 1-2 и твердотельный фотоприемник 1-3, выполненный по технологии ПЗС, а на кристалле которого расположены, см. фиг. 2, «кольцевая» четырехстрочная фотоприемная область 1-3-1, «кольцевой регистр 1-3-2 и БПЗН 1-3-3, а также блок 1-4 механического сканирования сенсора, который, будучи кинематически связан с фотоприемником 1-3, осуществляет его механическое сканирование (с шагом, равным ширине четырех строк) в перпендикулярном направлении относительно неподвижной плоскости изображения панорамного объектива 1-1, причем управляющие входы фотоприемной области 1-3-1 сенсора подключены к первому выходу блока 1-5 «кольцевой» четырехстрочной развертки видеосигнала, второй выход которого подключен к управляющим входам «кольцевого» регистра 1-3-2 сенсора, третий выход блока 1-5 «кольцевой» развертки - к входу синхронизации сигнального процессора 1-6, четвертый выход блока 1-5 «кольцевой» развертки - к тактовому входу АЦП 1-7, пятый выход блока 1-5 «кольцевой» развертки - к входу синхронизации блока 1-4 механического сканирования сенсора, а управляющий вход блока 1 -5 «кольцевой» развертки - к выходу управления экспозицией сигнального процессора 1-6; выход АЦП 1-7 является выходом телевизионной камеры 1, в разъем расширения на материнской плате сервера 2 установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БПКП, вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1).

Фотоприемник 1-3, выполненный по технологии ПЗС, см. фиг. 2-3, реализует «кольцевую» развертку зарядового изображения на фотоприемной области 1-3-1 с последующим поэлементным считыванием зарядов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения цветного видеосигнала в аналоговой форме. При этом в течение одного интервала происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах фотоприемной области 1-3-1. В течение кратковременного промежутка последующего интервала открывается фотозатвор, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области 1-3-1.

Затем фотозатвор закрывается и в новом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем цикле зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в промежуточных интервалах новыми зарядами «кольцевой» регистр 1-3-2.

Фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором благодаря применению цветного «кольцевого» фильтра пикселы ПЗС становятся чувствительными к голубой (Cy), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим. Конструкция этого фотоприемника представлена на фиг. 3.

Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета помимо сигнала яркости (Y) достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R-Y) и сигнал цветовой разности синего (В-Y).

Отметим, что именно этот принцип реализован в конструкции мозаичного фильтра для фотоприемника в широко распространенных цветных одноматричных телевизионных камерах, см., например, [3, с. 155].

Аналогично режиму, применяемому в одноматричных цветных камерах, здесь перед считыванием в «кольцевом» регистре 1-3-2 зарядовые пакеты соседних (в радиальном направлении) пикселов фотомишени объединяются попарно, причем по-разному для последовательно считываемых первой (нечетной) и второй (четной) «кольцевых» строк формируемого изображения, как показано на фиг. 3.

Первая строка содержит попарные отсчеты: (M_g+C_y), (G+Y_e), (M_g+С_у), (G+Υ_e) и так далее.

Вторая строка: попарные отсчеты: (C_y+G), (Y_e+M_g), (С_у+G), (Y_e+M_g) и так далее.

Для получения яркостного сигнала для нечетной строки производится операция по аналогичному в [3, с. 155] алгоритму, который заключается в том, что выполняется задержка по времени на элемент разложения «кольцевого» поворота и суммирование попарных отсчетов:

Коэффициент Ѕ в формуле (2) возвращает «должок», приобретенный за счет суммирования зарядов в попарных отсчетах. Очевидно, что выражение (2) можно представить так:

Применив аналогичный алгоритм для четной строки, получим следующее выражение для яркостного сигнала:

Аналогично представим выражение (4) в основных цветах:

Выражения (3) и (5) показывают, что яркостной сигнал для нечетной и четной строки одинаков.

Для получения цветоразностного сигнала синего (B-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетной строки выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:

.

Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четной строки:

.

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в сигнал CVBS в системе PAL точно так же, как это выполняется в одноматричных цветных телевизионных камерах с мозаичным фильтром. Поясним, что CVBS - аббревиатура от английских слов: «composite video bar signal», т.е. полный видеосигнал.

Очевидно, что инфракрасный отсекающий фильтр 1-2 в предлагаемом решении может быть выполнен по форме в виде кольца, а установлен на входе оптического окна фотоприемника 1-3.

С технологической точки зрения вполне оправдано и то, что для нового «кольцевого» фотоприемника телевизионной камеры электроды переноса в фотоприемной области 1-3-1 и в «кольцевом» регистре 1-3-2 могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.

В качестве примера на фиг. 6 показана конструкция «кольцевого» регистра 1-3-2 для фотоприемника с такими электродами переноса.

Важно отметить, что длина внешней окружности нового «кольцевого» фотоприемника с внешним радиусом R (см. фиг. 5), мишень которого вписана в вертикальный размер матрицы ПЗС с форматом: l/h=4/3, превосходит размер по горизонтали для «прямоугольного» сенсора на величину, равную 3/4×π.

Это означает, что при одинаковой величине площади пиксела выигрыш в их количестве составляет показатель, который не менее 2,5 раз.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора («кольцевого» изображения).

В качестве близкого примера его технического решения можно считать панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [4].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемника в пользу кругового кольца.

Блок 1-5 «кольцевой» четырехстрочной развертки видеосигнала, сигнальный процессор 1-6 и АЦП 1-7 целесообразно выполнить с использованием комплекта специализированных микросхем высокого уровня интеграции, в т.ч. и программируемого комплекта, предназначенного для обслуживания цветных матриц ПЗС.

Блок 1-4 механического сканирования сенсора предназначен для выполнения пошагового перемещения фотоприемника 1-2 с интервалом по расстоянию, равным ширине четырех его «кольцевых» строк. По физике работы такое перемещение является электромеханическим.

Важно отметить, что для исключения возникновения вертикального смаза формируемого цветного изображения временной промежуток шагового перемещения фотоприемника должен быть достаточно малым относительно интервала накопления зарядов на фотомишени.

Очевидно, что при проектировании телевизионной камеры фотоприемник 1-3 может быть выполнен в составе блока 1-4.

Устройство компьютерной системы для панорамного сканирования монохромного изображения (см. фиг. 1) работает следующим образом. Телевизионная камера 1 размещается на штативе (на фиг. 1 он не показан).

Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение контролируемой сцены, проецируя его через ИК-фильтр 1-2 на мишень 1-3-1 фотоприемника телевизионной камеры. А фотоприемник 1-3 (см. фиг. 2) реализует «кольцевую» четырехстрочную развертку зарядового изображения на фотоприемной области 1-3-1 с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» регистре 1-3-2 и формированием на выходе БПЗН 1-3-3 напряжения видеосигнала в аналоговой форме.

В результате последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения для одной «кольцевой» строки реконструируемого растра. По интерфейсу (например, USB 2,0) в оперативную память сервера 2 будет транслироваться цифровой видеосигнал этой «кольцевой» строки фотоприемника 1-3 при пошаговом перемещении самого фотоприемника на ширину четырех строк его мишени.

В итоге в оперативную память сервера 2 будет занесена видеоинформация о «кольцевом» кадре, полученном при помощи «сканерной» записи составляющих его «кольцевых» строк.

Допустим, что, как и в прототипе, горизонтальный угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов.

Тогда должно быть предусмотрено, что одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.

Предположим, что полное число «кольцевых» строк в «кольцевом» кадре составляет m. Необходимость разнесения во времени процесса накопления зарядов в фотоприемнике и процесса шагового перемещения сенсора определяет режим формирования «кольцевого» кадра как медленный, т.е. малокадровый.

Поэтому необходимое время записи всех m строк в сервере 2 составит несколько секунд и, возможно, даже более высокую величину, но это вполне оправдано достигаемым результатом - поддержанием неизменного показателя угла места кругового обзора и оптимизацией фотоприемника для ведения такого обзора.

Далее, как и в прототипе, в сервере 2 при помощи элемента БПКП, реализующего возложенные на него функции программным путем, осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры вещательного телевидения и возможность предоставления этой информации на выходе «сеть» сервера 2.

Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 7) операторам компьютеров 3.

Отметим, что операция считывания «прямоугольных» кадров включает и коррекцию геометрических искажений соответствующего участка панорамного изображения точно так же, как это имеет место в прототипе.

В настоящее время все элементы структурной схемы устройства компьютерной системы для панорамного сканирования монохромного изображения освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2371880. МПК H04N 7/00. Способ панорамного телевизионного наблюдения и устройство для его осуществления. / В.М. Смелков // Б.И. - 2009. - №30.

2. Секен К., Томпсет М. Приборы с переносом заряда. Перевод с англ. - М.: «Мир», 1985.

3. Владо Дамьяновски. СТV. Библия видеонаблюдения. Цифровые и сетевые технологии. / Перевод с англ. М.: ООО «Ай-Эс-Эс Пресс», 2006.

4. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // БИ - 2002. - №20.