КОМПЬЮТЕРНАЯ СИСТЕМА ПАНОРАМНОГО ТЕЛЕВИЗИОННОГО НАБЛЮДЕНИЯ ЦВЕТНОГО ИЗОБРАЖЕНИЯ

Изобретение является техническим решением по категории «устройство» и имеет отношение к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи цветной телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных панорамного объектива и датчика цифрового телевизионного сигнала, который содержит в своем составе твердотельный фотоприемник с прямоугольной мишенью и блок фотоприемника, обеспечивающий прогрессивную прямоугольную развертку аналогового видеосигнала фотоприемника и формирование на выходе телевизионной камеры цифрового телевизионного сигнала, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем.

Недостаток прототипа компьютерной системы панорамного наблюдения - избыточная полоса пропускания канала связи телевизионной камеры с сервером.

Для датчика цифрового телевизионного сигнала прототипа ее важнейший компонент - фотоприемник, который является матрицей, выполненной по технологии приборов с зарядовой связью (матрицей ПЗС) [2]. Она имеет прямоугольную форму мишени и содержит на общем кристалле фотоприемную секцию, выходной горизонтальный регистр и преобразователь «заряд - напряжение» (БПЗН). Такая схемотехническая организация матричного фотоприемника на ПЗС получила первоначальное название «межстрочный перенос» [2, с. 167]. В последнее время эту организацию матрицы ПЗС чаще упрощенно называют «строчный перенос» (см. например [3, с. 135]).

Фотоприемная секция такого матричного сенсора обеспечивает накопление зарядовых пакетов в светочувствительных элементах, в качестве которых используются фотодиоды, организованные в линейки столбцов. В непосредственной близости от каждого столбца фотодиодов находится не чувствительный к свету вертикальный ПЗС-регистр сдвига, отделенный от фотодиодов фотозатвором. В интервале прямого хода кадровой развертки, когда на фотозатвор подается низкий уровень напряжения, обеспечивающий потенциальный барьер между фотодиодами и вертикальным ПЗС-регистром, происходит накопление зарядовых пакетов. По окончании накопления на фотозатвор кратковременно (в интервале обратного хода по кадру) подается высокий уровень напряжения, разрешающий перенос зарядовых пакетов из фотодиодов в потенциальные ямы, образованные в вертикальных ПЗС-регистрах. В последующем интервале прямого хода по кадру зарядовые пакеты из вертикальных ПЗС-регистров переносятся (в интервалах обратного хода строчной развертки) строка за строкой вниз по направлению к горизонтальному выходному регистру. Каждая зарядовая строка изображения затем поэлементно считывается через БПЗН, образуя на выходе «видео» фотоприемника электрический видеосигнал.

Матрица ПЗС прототипа формирует видеосигнал цветного изображения, а поэтому снабжена встроенным цветным мозаичным фильтром, который накрывает ее фотоприемную секцию. Мозаичный фильтр разделяет свет на голубой, желтый, пурпурный и зеленый компоненты, см., например [3, с. 154-155]. Добавим, что со стороны объектива перед мозаичным фильтром прототипа располагается инфракрасный отсекающий фильтр (ИК-фильтр), который изменяет спектральную характеристику ПЗС-матрицы, обеспечивая ее согласование со спектральной чувствительностью человеческого глаза.

Недостаток матричного фотоприемника для телевизионной камеры панорамного наблюдения заключается в том, что его организация с выполнением прямоугольной формы мишени не является благоприятной (оптимальной) применительно к кольцевому оптическому изображению контролируемой сцены, которую формирует панорамный объектив.

Обоснованием этого утверждения служит необходимость иметь для фотоприемника высокое число элементов (пикселов) по горизонтали и вертикали, т.е. высокой информационной емкости видеосенсора. При этом значительная часть пикселов является бесполезной, т.к. не несет информации о сюжете, но принудительно используется при формировании видеосигнала.

Датчик цифрового телевизионного сигнала прототипа выполнен на цветной матрице ПЗС с организацией «строчный перенос» и содержит в своем составе фотоприемник, состоящий из последовательно связанных зарядовой связью фотоприемной области, горизонтального регистра и БПЗН; генератор управляющих импульсов, состоящий из временного контроллера, первого преобразователя уровней (ПУ) и второго ПУ; а также последовательно соединенных сигнального процессора и аналого-цифрового преобразователя (АЦП), причем управляющий вход фотоприемной области матрицы ПЗС подключен к выходу первого ПУ, управляющий вход горизонтального регистра матрицы ПЗС - к выходу второго ПУ, а выход БПЗН матрицы ПЗС - к информационному входу сигнального процессора, выход управления экспозицией¹ (¹Видеосигнал, формируемый в сигнальном процессоре по выходу управления экспозицией, обеспечивает управление чувствительностью телевизионной камеры за счет регулировки времени накопления зарядов) которого подключен к управляющему входу временного контроллера, первый выход которого подключен к входу первого ПУ, второй выход - к входу второго ПУ, третий выход - к входу синхронизации сигнального процессора, а четвертый выход - к тактовому входу АЦП.

Задачей изобретения является оптимизация устройства компьютерной системы панорамного телевизионного наблюдения путем устранения избыточной полосы пропускания канала связи телевизионной камеры с сервером за счет использования для фотоприемника кристалла мишени в форме кругового кольца, снабженного «кольцевым» цветным мозаичным фильтром, и с организацией «кольцевого» растра изображения.

Поставленная задача в заявляемой компьютерной системе панорамного телевизионного наблюдения цветного изображения решается тем, что в устройство прототипа [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера, обеспечивая развертку аналогового видеосигнала фотоприемника и формирование на выходе цифрового телевизионного сигнала, содержит последовательно расположенные и оптически связанные объектив и фотоприемник на ПЗС, состоящий из последовательно связанных зарядовой связью фотоприемной области, горизонтального (выходного) регистра и БПЗН, причем на фотоприемной области линейки светочувствительных элементов чередуются с линейками экранированных от света элементов, а сама фотоприемная область накрыта мозаичным цветным фильтром, разделяющим свет на голубой, желтый, пурпурный и зеленый компоненты, в состав телевизионной камеры входит также генератор управляющих импульсов и последовательно соединенные сигнальный процессор и АЦП, выход которого является выходом телевизионной камеры, причем первый выход генератора управляющих импульсов подключен соответственно к управляющим входам фотоприемной области, второй выход генератора управляющих импульсов - к управляющим входам выходного регистра фотоприемника, третий выход генератора управляющих импульсов - к входу синхронизации сигнального процессора, а четвертый выход генератора управляющих импульсов - к тактовому входу АЦП, выход БПЗН фотоприемника подключен к информационному входу сигнального процессора, выход управления экспозицией которого подключен к управляющему входу генератора управляющих импульсов, в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/ вывода, управлению и питанию с шиной сервера, содержащая БПКП, вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), а само это преобразование выполняется программным путем, реализуются следующие изменения, а именно: фотоприемник телевизионной камеры имеет форму кругового кольца, у которого линейки светочувствительных и линейки экранированных от света элементов фотоприемной области расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, выходной регистр фотоприемника по форме является «кольцевым», причем число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в его «кольцевом» регистре, мозаичный цветной фильтр, накрывающий фотоприемную область, является «кольцевым» по форме, а генератор управляющих импульсов телевизионной камеры является блоком «кольцевой» развертки видеосигнала, при этом телевизионная камера формирует не «прямоугольный», а «кольцевой» растр цветного изображения.

Сопоставительный анализ с прототипом [1] показывает, что заявляемое устройство компьютерной системы панорамного телевизионного наблюдения отличается реализацией цветной телевизионной камеры, которая максимально приспособлена (оптимизирована) к оптическому изображению панорамного сюжета.

По отношению к прототипу [1] заявляемая телевизионная камера отличается геометрической формой выполнения фотоприемника и его мозаичного цветного фильтра, обеспечивающего реализацию нового («кольцевого») растра цветного изображения при сохранении ПЗС-технологии изготовления сенсора и, что не менее важно, при сохранении требуемых для матрицы ПЗС (с такой информационной емкостью) сигналов управления.

Совокупность известных и новых признаков для этого устройства не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.

В заявляемом решении от фотоприемника не требуется чрезмерно высокая информационная емкость, сокращается и избыточная полоса пропускания канала связи телевизионной камеры с сервером. Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемого изобретения - компьютерной системы панорамного телевизионного наблюдения цветного изображения; на фиг. 2 приведена схемотехническая организации фотоприемника телевизионной камеры; на фиг. 3 показан фрагмент этого фотоприемника, иллюстрирующий подробности его конструкции; на фиг 4, по данным [4], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 приведена конструкция «кольцевого» регистра фотоприемника, у которого электроды переноса выполнены в виде части кругового кольца; на фиг. 6 - предлагаемое оператору панорамное изображение текущего «кольцевого» кадра в виде последовательности из 6-ти «прямоугольных» кадров; на фиг. 7 - возможная структурная схема для выполнения сетевого компьютерного решения с использованием заявляемого устройства.

Заявляемая компьютерная система панорамного телевизионного наблюдения цветного изображения, см. фиг. 1, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, причем телевизионная камера формирует «кольцевой» растр цветного изображения, при этом на материнской плате сервера 2 установлена плата видео, выполняющая программным путем запись «кольцевого» видеосигнала в оперативную память сервера и преобразование «кольцевых» кадров в «прямоугольные» кадры, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), сама телевизионная камера 1 содержит последовательно расположенные и оптически связанные панорамный объектив 1-1 и фотоприемник 1-2, который имеет форму кругового кольца, см. фиг. 2, у которого линейки светочувствительных и линейки экранированных от света элементов фотоприемной области 1-2-1 расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру 1-2-2, оканчивающемуся БПЗН 1-2-3, причем число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в «кольцевом» регистре, а фотоприемная область накрыта мозаичным цветным фильтром, являющимся «кольцевым» по форме, см. фиг. 3, который разделяет световой поток, попадающий на светочувствительные элементы, соответственно на его голубой, желтый, пурпурный и зеленый компоненты; выход БПЗН фотоприемника 1-2 подключен к информационному входу сигнального процессора 1-3, соединенному последовательно с АЦП 1-5; выход управления экспозицией сигнального процессора 1-3 подключен к управляющему входу блока 1-4 «кольцевой» развертки видеосигнала, первый выход которого подключен к управляющим входам фотоприемной области фотоприемника 1-2, второй выход блока 1-4 - к управляющим входам «кольцевого» регистра фотоприемника 1-2, третий выход блока 1-4 - к входу синхронизации сигнального процессора 1-3, а четвертый выход блока 1-4 - к тактовому входу АЦП 1-5, выход которого является выходом телевизионной камеры.

Фотоприемник 1-2, выполненный по технологии ПЗС, см. фиг. 2-3, реализует «кольцевую» развертку зарядового изображения на фотоприемной области 1-2-1 с последующим поэлементным считыванием зарядов в «кольцевом» регистре 1-2-2 и формированием на выходе БПЗН 1-2-3 напряжения цветного видеосигнала в аналоговой форме. При этом в интервале прямого хода по кадру происходит процесс накопления зарядовых пакетов пропорционально освещенности панорамного сюжета в светочувствительных пикселах фотоприемной области 1-2-1. В течение кратковременного промежутка последующего интервала обратного хода кадровой развертки открывается фотозатвор, и заряды всех «кольцевых» строк, участвовавших в накоплении, переносятся (за один шаг поворота) в экранированные от света пикселы, расположенные на той же области 1-2-1.

Затем фотозатвор закрывается и в новом кадровом цикле на мишени выполняется накопление другой зарядовой «картины», а накопленные в предыдущем кадре зарядовые пакеты в радиальных направлениях переносятся на периферию кристалла фотоприемника, загружая в интервале обратного хода по строке новыми зарядами «кольцевой» регистр 1-2-2.

Отметим, что, как и в прототипе, за объективом находится ИК-фильтр.

Фотоприемник является единственным сенсором видеосигнала цветного изображения, в котором, благодаря применению цветного «кольцевого» фильтра, пикселы ПЗС становятся чувствительными к голубой (Cy), желтой (Ye), пурпурной (Mg) и зеленой (G) цветовым составляющим. Конструкция этого фотоприемника представлена на фиг. 3.

Здесь используется известный принцип цветного телевидения, утверждающий, что для успешного восстановления цвета, помимо сигнала яркости (Y) достаточно всего двух дополнительных сигналов. Имеются в виду сигнал цветовой разности красного (R - Υ) и сигнал цветовой разности синего (Β-Υ).

Отметим, что именно этот принцип реализован в конструкции мозаичного фильтра для фотоприемника в широко распространенных цветных одноматричных телевизионных камерах, см., например, [3, с. 155].

В заявляемом решении для «кольцевого» ПЗС-фотоприемника используется режим накопления поля, т.е. длительность экспозиции для всех светочувствительных пикселов фотомишени 1-2-1 составляет 20 мс.

Аналогично режиму, применяемому в одноматричных цветных камерах, здесь перед считыванием в «кольцевом» регистре 1-2-2 зарядовые пакеты соседних (в радиальном направлении) пикселов фотомишени объединяются попарно, причем по-разному для последовательно считываемых нечетных и четных «кольцевых» строк формируемого изображения, как показано на фиг. 3.

Отметим, что поскольку размер светочувствительного элемента в режиме накопления поля равен размеру двух пикселов матрицы по вертикали, это приводит к снижению вертикальной разрешающей способности цветного изображения, что вполне допустимо.

Первая строка содержит попарные отсчеты: (M_g+C_y), (G+Y_e), (M_g+C_y), (G+Y_e) и так далее.

Вторая строка: попарные отсчеты: (C_y+G), (Y_e+M_g), (C_y+G), (Y_e+M_g) и так далее.

Очевидно, что третья и другие последующие нечетные строки будут содержать такие же попарные отсчеты, как и первая строка, а четвертая и другие последующие четные строки - такие же попарные отсчеты, как и вторая строка.

Для получения яркостного сигнала для нечетных строк производится операция по аналогичному в [3, с. 155] алгоритму, который заключается в том, что выполняется задержка по времени на элемент разложения «кольцевого» поворота и суммирование попарных отсчетов:

Коэффициент Ѕ в формуле (2) возвращает «должок», приобретенный за счет суммирования зарядов в попарных отсчетах.

Очевидно, что выражение (2) можно представить так:

Применив аналогичный алгоритм для четных строк, получим следующее выражение для яркостного сигнала:

Аналогично представим выражение (4) в основных цветах:

Выражения (3) и (5) показывают, что яркостной сигнал для нечетных и четных строк одинаков.

Для получения цветоразностного сигнала синего (B-Y) выполняется операция по другому алгоритму, который заключается в том, что для нечетных строк выполняется задержка по времени на элемент разложения и вычитание попарных отсчетов:

B-Y=[(G+Y_e)-(M_g+C_y)]=[(G+G+R)-(R+B+G+B)]=-[2B-G].

Для получения цветоразностного сигнала красного (R-Y) выполняется операция по алгоритму, аналогичному при получении цветоразностного сигнала синего, но применительно для четных строк: R-Y=[(M_g+Y_e)-(G+C_y)]=[(R+B+G+R)-(G+G+B)]=2R-G.

Эти два цветоразностных сигнала совместно с сигналом яркости замешиваются в сигнал CVBS в системе PAL точно так же, как это выполняется в одноматричных цветных телевизионных камерах с мозаичным фильтром. Поясним, что CVBS - аббревиатура от английских слов: «composite video bar signal», т.е. полный видеосигнал.

Необходимо отметить, что для «кольцевого» фотоприемника телевизионной камеры электроды переноса в фотоприемной области 1-2-1 и в «кольцевом» регистре 1-2-2, а также световые «окна» для «кольцевого» мозаичного фильтра могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца.

В качестве примера на фиг. 5 показана конструкция «кольцевого» регистра 1-2-2 фотоприемника с такими электродами переноса.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [4].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемников в пользу кругового кольца.

Компьютерная система панорамного телевизионного наблюдения цветного изображения (см. фиг. 1) работает следующим образом. Телевизионная камера 1 устанавливается в фиксированное положение, например при помощи фотоштатива (на фиг. 1 он не показан).

Панорамный объектив 1-1 формирует «кольцевое» оптическое изображение наблюдаемой сцены, проецируя его на мишень 1-2-1 фотоприемника.

В результате фотоэлектрического и последующего аналого-цифрового преобразования видеосигнала на выходе телевизионной камеры 1 формируется цифровой телевизионный сигнал цветного изображения.

Предположим, что текущий угол поля зрения (γ_г) предъявляемого панорамного изображения составляет 60 градусов по горизонтали, тогда «кольцевой» кадр записи включает 6 (шесть) условных областей.

Тогда оперативная память сервера 2, куда записывается панорамное цветное изображение, содержит 6-ть областей входного видеосигнала текущего «кольцевого» кадра.

Далее, как и в прототипе, в сервере 2 при помощи элемента БПКП, реализующего возложенные на него функции программным путем, осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.

Поэтому цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в 6 «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности (см. фиг. 6) операторам локальной вычислительной сети.

Будем считать, что в качестве персональных компьютеров 3, образующих эту сеть, использованы ноутбуки, содержащие в своем составе материнскую плату с установленными на ней процессором и оперативной памятью, а также жесткий диск, дисплей, клавиатуру и тачпад.

Заметим, что тачпад может быть использован как единственное указательное устройство, используемое вместо манипулятора «мышь», или дополнительно к этому прибору.

Оператор каждого ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея.

Дополнительным результатом заявляемого решения компьютерной системы панорамного телевизионного наблюдения цветного изображения можно считать и возможность создания на ее основе сложных компьютерных систем за счет успешного вписывания, как в локальную вычислительную сеть, так и в глобальную сеть Интернет.

Пример структурной схемы по организации такой системы представлен на фиг. 7. Стрелки на линиях связи этой схемы иллюстрируют передачу сигнала изображения.

Здесь компьютер 4 оператора дополнительно выполняет функции сервера. Благодаря использованию в данной системе маршрутизатора 5, информация, хранящаяся на сервере, становится доступной любому другому пользователю компьютера в локальной сети, например компьютеру 7.

Модем 6 позволяет предоставить видеоинформацию и по сети Интернет, т.е. она может поступить на компьютер удаленного пользователя, например на компьютер 8.

В настоящее время все элементы структурной схемы компьютерной системы панорамного телевизионного наблюдения цветного изображения освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2371880. МПК H04N 7/00. Способ панорамного телевизионного наблюдения и устройство для его осуществления. / В.М. Смелков // Б.И. - 2009. - №30.

2. Секен К., Томпсет М. Приборы с переносом заряда. Перевод с англ. - М.: «Мир», 1985.

3. Владо Дамьяновски. СТУ. Библия видеонаблюдения, Цифровые и сетевые технологии. / Перевод с англ. М.: ООО «Ай-Эс-Эс Пресс», 2006.

4. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.