Результат интеллектуальной деятельности: Способ формирования видеосигнала в "кольцевом" фотоприёмнике для компьютерной системы панорамного телевизионного наблюдения в условиях сложной освещённости и/или сложной яркости объектов

Изобретение относится к телевизионно-компьютерной технике и ориентировано на использование в телевизионных камерах панорамного наблюдения, которые выполнены на базе «кольцевых» телевизионных сенсоров по технологии приборов с зарядовой связью (ПЗС) и предназначены для работы в условиях, когда объекты контроля существенно различаются друг от друга по освещенности и/или яркости. Эти камеры осуществляют одновременно круговой обзор обстановки в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места.

Наиболее близким по технической сущности к заявляемому изобретению следует считать способ формирования видеосигнала в «кольцевом» фотоприемнике для компьютерной системы панорамного телевизионного наблюдения [1], заключающийся в том, что устанавливают телевизионную камеру в фиксированное положение, осуществляют захват оптического изображения в телевизионной камере с угловым полем в пространстве предметов 360° по азимуту, в «кольцевом» фотоприемнике телевизионной камеры, выполненном по технологии приборов с зарядовой связью (ПЗС), который имеет кристалл в виде кругового кольца и содержит в его пределах «кольцевую» фотоприемную область (мишень), «кольцевую» секцию памяти и «кольцевой» регистр сдвига, заканчивающийся блоком преобразования «заряд - напряжение» (БПЗН) с организацией «плавающая диффузия», при этом линейки светочувствительных элементов мишени и линейки экранированных от света элементов секции памяти расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, а число элементов в каждой «кольцевой» строке мишени и в каждой «кольцевой» строке секции памяти равно числу элементов в «кольцевом» регистре сдвига, причем всю площадь мишени фотоприемника занимают линейки светочувствительных элементов, которые непосредственно и последовательно связаны зарядовой связью с линейками элементов секции памяти, а площадь светочувствительных элементов от строки к строке различна, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента секции памяти; накапливают зарядовое изображение информационного кадра на светочувствительных элементах мишени в соответствии с управляющим напряжением для автоматической регулировки времени накопления (АРВН) фотоприемника, причем отсчет величины управляющего напряжения выполняют в пределах всей мишени, осуществляют «кольцевую» развертку зарядового изображения на мишени с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» регистре сдвига и формированием на выходе БПЗН напряжения аналогового сигнала изображения наблюдаемого пространства, причем в процессе получения видеосигнала сенсора управляют площадью считывающей апертуры за счет того, что от строки к строке перестраивают (изменяют) период управляющих импульсов T_r (импульсов сброса) для БПЗН по соотношению:

где Т_р - период считывания элемента в «кольцевом» фотоприемнике;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике равна отношению:

где Δ₁ и Δ_m - соответственно площадь светочувствительного элемента для первой и текущей строк считывания в «кольцевом» фотоприемнике, обеспечивая одинаковую величину площади считывающей апертуры в пределах всего «кольцевого» растра фотоприемника; регулируют коэффициент усиления видеотракта для аналогового видеосигнала в соответствии с управляющим напряжением автоматической регулировки усиления (АРУ), используя тот же отсчет величины управляющего напряжения, что и для АРВН, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал телевизионной камеры по интерфейсу в компьютер оператора, который является сервером для компьютера местного пользователя и для компьютера удаленного пользователя в сети Интернет, при этом в компьютере оператора кольцевое телевизионное изображение преобразуют в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи k «прямоугольных» кадров, число которых удовлетворяет соотношению:

где - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения.

Способ формирования видеосигнала прототипа [1] обеспечивает в «кольцевом» растре аналогового видеосигнала фотоприемника выравнивание разрешающей способности изображения, которое с аналогичным результатом реализуется и для «прямоугольных» кадров наблюдения, предлагаемых операторам-пользователям. Очевидным достоинством способа формирования видеосигнала прототипа [1] является и возможность экспонирования мишени со стороны подложки его кристалла для повышения чувствительности сенсора.

Недостаток способа формирования видеосигнала в прототипе - ограниченная чувствительность отдельных «прямоугольных» кадров, регистрируемых при низкой освещенности (яркости) соответствующих фрагментов панорамного изображения.

Задачей изобретения является повышение чувствительности этих отдельных «прямоугольных» кадров, регистрируемых при низкой освещенности (яркости) соответствующих фрагментов панорамного изображения, путем увеличения для них времени накопления фотоприемника и коэффициента усиления видеотракта телевизионной камеры.

Поставленная задача в заявляемом способе формирования видеосигнала в «кольцевом» фотоприемнике для компьютерной системы панорамного телевизионного наблюдения решается тем, что устанавливают телевизионную камеру в фиксированное положение, осуществляют захват оптического изображения в телевизионной камере с угловым полем в пространстве предметов 360° по азимуту, в «кольцевом» фотоприемнике телевизионной камеры, выполненном по технологии ПЗС, который имеет кристалл в виде кругового кольца и содержит в его пределах «кольцевую» мишень, «кольцевую» секцию памяти и «кольцевой» регистр сдвига, заканчивающийся БПЗН с организацией «плавающая диффузия», при этом линейки светочувствительных элементов мишени и линейки экранированных от света элементов секции памяти расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, а число элементов в каждой «кольцевой» строке мишени и в каждой «кольцевой» строке секции памяти равно числу элементов в «кольцевом» регистре сдвига, причем всю площадь мишени фотоприемника занимают линейки светочувствительных элементов, которые непосредственно и последовательно связаны зарядовой связью с линейками элементов секции памяти, а площадь светочувствительных элементов от строки к строке различна, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента секции памяти; накапливают зарядовое изображение информационного кадра на светочувствительных элементах мишени в соответствии с управляющим напряжением для АРВН фотоприемника, причем отсчет величины управляющего напряжения выполняют в пределах всей мишени, осуществляют «кольцевую» развертку зарядового изображения на мишени с последующим поэлементным считыванием зарядовых пакетов в «кольцевом» регистре сдвига и формированием на выходе БПЗН напряжения аналогового сигнала изображения наблюдаемого пространства, причем в процессе получения видеосигнала сенсора управляют площадью считывающей апертуры за счет того, что от строки к строке изменяют период управляющих импульсов для БПЗН по соотношению (1) и при условии (2), обеспечивая одинаковую величину площади считывающей апертуры в пределах всего «кольцевого» растра фотоприемника; регулируют коэффициент усиления видеотракта для аналогового видеосигнала в соответствии с управляющим напряжением АРУ, используя тот же отсчет величины управляющего напряжения, что и для АРВН, преобразуют аналоговый видеосигнал в цифровой видеосигнал, передают видеосигнал телевизионной камеры по интерфейсу в компьютер оператора, который является сервером для компьютера местного пользователя и для компьютера удаленного пользователя в сети Интернет, при этом в компьютере оператора кольцевое телевизионное изображение преобразуют в обычное изображение, причем один текущий «кольцевой» кадр считывают из памяти сервера при помощи k «прямоугольных» кадров, число которых удовлетворяет соотношению (3), отличающийся тем, что оператор компьютера (сервера) оценивает по параметру «чувствительность» изображения получаемых k «прямоугольных» кадров, а по этой оценке направляет в телевизионную камеру команду для формирования нового отсчета величины управляющего напряжения АРВН и АРУ применительно к выбранному соответствующему участку «кольцевой» мишени с пониженной освещенностью (яркостью), обеспечивая повышенное время накопления фотоприемника и повышенный коэффициент усиления видеотракта телевизионной камеры для нового «кольцевого» кадра изображения.

Совокупность известных и новых признаков для заявляемого способа не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Согласно заявляемому способу повышение чувствительности отдельных «прямоугольных» кадров видеосигнала выполняется применительно к «кольцевому» фотоприемнику, т.е. оно реализуется в «кольцевом» растре телевизионного изображения.

Поэтому данное техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема компьютерной системы панорамного телевизионного наблюдения, реализующей заявляемый способ формирования видеосигнала в «кольцевом» фотоприемнике; на фиг. 2 - схемотехническая организация «кольцевого» фотоприемника на ПЗС; на фиг. 3 – структурная схема этой телевизионной камеры из состава компьютерной системы панорамного телевизионного наблюдения; на фиг. 4, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 5 показано положение областей фотометрирования зарядового рельефа для шести формируемых «прямоугольных» кадров (k=6) на мишени «кольцевого» фотоприемника в условиях ее сложной освещенности и/или яркости; на фиг. 6б)-6г) относительно временного положения гасящего импульса строк, показанного на фиг. 6а), приведены эпюры управляющих сигналов для получения необходимых «окон» фотометрирования; на фиг. 7 - функциональная схема, поясняющая организацию в телевизионной камере этого процесса фотометрирования для АРВН.

Устройство на фиг. 1 содержит телевизионную камеру 1, компьютер оператора 2 в качестве сервера, роутер (российское название прибора - маршрутизатор) в позиции 3, компьютер 4 локального пользователя для работы в локальной сети, модем 5 для передачи видеосигнала в сеть Интернет и компьютер 6 удаленного пользователя для получения видеоинформации из «облака» Интернета.

Телевизионная камера 1 (см. фиг. 3), как и для прототипа [1], содержит последовательно расположенные и оптически связанные панорамный объектив 1-1 и «кольцевой» фотоприемника 1-2, а также блок 1-3 «кольцевой» развертки видеосигнала и формирования апертуры, сигнальный процессор 1-4 и аналого-цифровой преобразователь (АЦП) 1-5. Блок 1-3 телевизионной камеры состоит из временного контроллера 1-3-1, первого преобразователя уровней (ПУ) 1-3-2, второго ПУ 1-3-3, третьего ПУ 1-3-4 и четвертого ПУ 1-3-5. Выход АЦП 1-5 является выходом телевизионной камеры (выходом ЦТС).

Отметим, что по входу «Импульсы сброса» сенсора, как и в прототипе [1], осуществляется управление площадью считывающей апертуры для получения ее одинакового показателя по всему «кольцевому» растру. Это гарантирует одинаковую чувствительность для всех элементов (пикселов) мишени, а также эквивалентно реализации одних и тех же пространственных зазоров между соседними пикселами мишени.

На вход телевизионной камеры 1, а далее транзитом на временной контроллер 1-3-1 подается код команды управления от компьютера 2 оператора. Этот код определяет выбранную область фотометрирования мишени «кольцевого» сенсора 1-2 - «окно», в пределах которого выполняется оценка зарядового рельефа при помощи АРВН и АРУ применительно к формируемым в сервере 2 «прямоугольным» кадрам. Допустим, что число этих «прямоугольных» кадров, запрограммированное в сервере 2, равно шести, т.е. k=6.

Тогда двоичный код команды управления должен иметь три разряда, а определяемые им режимы представлены в табл., которые дополнительно иллюстрируются фиг. 5-6.

Организация фотоприемника 1-2 (см. фиг. 2) с мишенью в виде кругового кольца, как и в прототипе [1], реализована по технологии ПЗС. Она содержит на общем кристалле «кольцевую» мишень 1-2-1, экранированную от света «кольцевую» секцию памяти 1-2-2, «кольцевой» регистр сдвига 1-2-3 и БПЗН 1-2-4 с организацией «плавающая диффузия». Число элементов в каждой «кольцевой» строке мишени 1-2-1 и в каждой «кольцевой» строке секции памяти 1-2-2 равно числу элементов в «кольцевом» регистре сдвига 1-2-3.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе [1], предназначен для формирования оптического изображения кругового обзора («кольцевого» изображения). В качестве технического решения для панорамного объектива 1-1 может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [2].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 4. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Рассмотрим реализацию заявляемого способа формирования видеосигнала в телевизионной камере 1 (см. фиг. 1…3).

Как и в прототипе [1], предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (не показан).

Оптическое изображение наблюдаемой сцены проецируется с выхода панорамного объектива 1-2 на мишень 1-2-1 «кольцевого» фотоприемника.

Фотоприемник 1-2 телевизионной камеры (см. фиг. 2) реализует «кольцевую» развертку зарядового изображения на фотоприемной области 1-2-1 с последующим переносом зарядовых пакетов всех строк кадра в секцию памяти 1-2-2 и заключительным поэлементным считыванием зарядовых пакетов в «кольцевом» регистре сдвига 1-2-3 с формированием на выходе БПЗН 1-2-4 напряжения видеосигнала в аналоговой форме.

В интервале прямого хода по кадру происходит процесс накопления зарядовых пакетов в светочувствительных пикселах мишени 1-2-1 пропорционально освещенности панорамного сюжета.

В течение небольшого промежутка последующего интервала обратного хода кадровой развертки выполняется последовательный перенос зарядов всех «кольцевых» строк, участвовавших в накоплении, в экранированные от света пикселы, расположенные в секции памяти 1-2-2.

Затем в новом кадровом цикле на мишени выполняется накопление другой зарядовой «картины», а предыдущая зарядовая «картина» выводится из кристалла фотоприемника. При этом в интервале обратного хода строчной развертки происходит загрузка новыми зарядами из секции 1-2-2 в «кольцевой» регистр 1-2-3, которые затем, в каждом последующем интервале прямого хода по строке, переносятся в направлении к БПЗН 1-2-4, где для сигнала изображения выполняется поэлементное конвертирование уровня заряда в уровень напряжения.

Отметим, что блок 1-3 телевизионной камеры, как и в прототипе [1], управляет работой «кольцевого» фотоприемника по входу «Импульсы сброса» для БПЗН 1-2-4, обеспечивая одинаковую по полю площадь считывающей апертуры. В результате гарантируется одинаковая чувствительность сенсора по пространству мишени.

Аналоговый видеосигнал фотоприемника на выходе телевизионной камеры 1 преобразуется в цифровой телевизионный сигнал (ЦТС), а далее поступает на сервер 2. В сервере 2, как и в прототипе [1], осуществляется запись цифрового видеосигнала в оперативную память на кадр с последующим его считыванием, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры с общим числом n, а также возможность предоставления видеоинформации пользователям на выходе «Сеть» сервера 2.

Но вернемся к телевизионной камере 1.

Отметим, что по умолчанию на ее входе присутствует команда управления «000», означающая, что областью фотометрирования для АРВН И АРУ является, как и в прототипе [1], вся мишень сенсора.

Эта команда поступает на входы: «А», «В» и «С» временного контроллера 1-3-1, см. фиг. 7.

В результате на выходе «D» временного контроллера формируется импульсный сигнал большого «окна», см. фиг. 6б).

Поэтому на время большого «окна» коммутатор замкнут, а на входе «Е» временного контроллера получаем отсчет уровня выходного напряжения амплитудного детектора видеосигнала по пиковому или среднему значению, измеряемому по всей площади мишени, см. фиг. 7.

Отметим, что данное напряжение от амплитудного детектора через аналогичный коммутатор с «окном» подается и на вход сигнального процессора 1-3-2 для управления работой АРУ.

В условиях сложной освещенности и/или сложной яркости объектов панорамного сюжета этот алгоритм фотометрирования для АРВН и АРУ не является оптимальным. Наиболее благоприятным для наблюдения оказывается «прямоугольный» кадр, потенциальный рельеф которого считывается с участка мишени фотоприемника с наиболее высокой освещенностью (яркостью), а наименее благоприятным «прямоугольный» кадр, считываемый с участка мишени с наиболее низкой освещенностью (яркостью).

Пусть в нашем примере, где число k=6, показанном на фиг. 5, в условиях высокой освещенности наблюдаемого сюжета оказывается кадр 1, в условиях слабо пониженной освещенности - кадры 2 и 6, в условиях средне пониженной освещенности - кадры 3 и 6, а в условиях существенно пониженной освещенности - кадр 4.

При входной команде «000» параметры, определяющие чувствительность изображения: длительность накопления фотоприемника Т_н и коэффициент усиления видеотракта К_y, фиксируются при оценке зарядового рельефа кадра 1 и распространяются на всю «кольцевую» мишень. При этом эти параметры, являющиеся оптимальными показателями для кадра 1, не являются таковыми для кадров 2-6, т.к. для них они оказываются ниже оптимальных показателей.

Оператор компьютера 2 выполняет экспресс-анализ телевизионных изображений «прямоугольных» кадров 2-6, полученных при входной команде «000», и может осуществить существенное повышение качества одного из них по выбору. Для этого он подает в телевизионную камеру 1 другую команду (см. табл.), которая соответствует его выбору местоположения интересующего объекта и нумерации «прямоугольного» кадра.

Тогда в телевизионной камере 1 будет сформировано новое «окно» фотометрирования и выполнен другой отсчет уровня выходного напряжения амплитудного детектора видеосигнала, см. фиг. 7.

В результате, при помощи АРВН и АРУ будут получены новые (увеличенные) показатели для параметров Т_н и К_y, а следовательно, будет достигнут рост отношения сигнал/шум (ψ) видеосигнала и повышение чувствительности изображения выбранного кадра.

Такую операцию можно повторить и для любого другого «прямоугольного» кадра из состава 2-6 при подаче на вход телевизионной камеры 1 другой команды управления с целью получения другого «окна» фотометрирования, см. фиг. 6в)…фиг. 6з).

Новая качественная запись «прямоугольного» кадра может быть подана на выход «Сеть» сервера 2 и предложена в качестве замены его предыдущей записи для компьютеров локального и удаленного пользователей.

В настоящее время все блоки функциональной схемы, реализующей предлагаемый способ формирования видеосигнала, освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение на способ формирования видеосигнала в «кольцевом» фотоприемнике для компьютерной системы панорамного телевизионного наблюдения в условиях сложной освещенности и/или сложной яркости объектов соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2625163, МПК H04N 7/00. Телевизионная камера и ее «кольцевой» фотоприемник для компьютерной системы панорамного телевизионного наблюдения / В.М. Смелков // БИ №20. - 2017.

2. Патент РФ №2185645, МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив / А.В. Куртов, В.А. Соломатин // БИ №20. - 2002.