Результат интеллектуальной деятельности: Устройство компьютерной системы панорамного телевизионного наблюдения

Предлагаемое изобретение относится к панорамному телевизионному наблюдению, которое выполняется компьютерной системой при помощи телевизионной камеры кругового обзора в области, близкой к полусфере, т.е. в пространственном угле 360 градусов по азимуту и десятки градусов по углу места. Сенсором такой телевизионной камеры является «кольцевой» фотоприемник, изготовленный по технологии комплементарных структур «металл-окисел-полупроводник» (КМОП).

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство компьютерной системы панорамного телевизионного наблюдения [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера, формирующая «кольцевой» растр изображения, содержит последовательно расположенные и оптически связанные панорамный объектив и «кольцевой» фотоприемник, который выполнен по технологии приборов с зарядовой связью (ПЗС) и содержит на общем кремниевом кристалле в виде кругового кольца «кольцевую» фотоприемную область (мишень), «кольцевой» регистр сдвига и блок преобразования «заряд - напряжение» (БПЗН) с организацией «плавающая диффузия», при этом на мишени линейки светочувствительных элементов, чередующиеся с линейками экранированных от света элементами, расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там «кольцевому» регистру сдвига, а число элементов в каждой «кольцевой» строке мишени равно числу элементов в «кольцевом» регистре сдвига, причем на мишени площадь светочувствительных элементов и равная ей площадь экранированных элементов различны от строки к строке, увеличиваясь по мере движения к внешней периферии до максимальной величины, не превышающей площадь элемента «кольцевого» регистра сдвига; в состав телевизионной камеры также входят блок «кольцевой» развертки видеосигнала, блок формирования апертуры (БФА) и соединенные последовательно сигнальный процессор и аналого-цифровой преобразователь (АЦП), выход которого является выходом телевизионной камеры, причем информационный вход сигнального процессора подключен к выходу БПЗН «кольцевого» фотоприемника, первый выход блока «кольцевой» развертки - к управляющим входам фотоприемной области «кольцевого» фотоприемника, второй выход блока «кольцевой» развертки - к управляющим входам «кольцевого» регистра сдвига «кольцевого» фотоприемника, третий выход блока «кольцевой» развертки - к управляющему входу БПЗН «кольцевого» фотоприемника, четвертый выход блока «кольцевой» развертки - к входу синхронизации сигнального процессора, пятый выход блока «кольцевой» развертки - к тактовому входу АЦП, шестой выход блока «кольцевой» развертки - к информационному входу БФА, седьмой выход блока «кольцевой» развертки - к синхронизирующему входу БФА, выход которого подключен к управляющему входу блока «кольцевой» развертки, причем период управляющих импульсов Т_r формируемых на выходе БФА, определяется соотношением:

где Т_р - период считывания элемента в «кольцевом» фотоприемнике;

n_m - коэффициент, целое число, величина которого для текущей строки считывания в «кольцевом» фотоприемнике, равна отношению:

где Δ₁ - площадь светочувствительного элемента для первой строки считывания в «кольцевом» фотоприемнике;

Δ_m - площадь светочувствительного элемента для текущей строки считывания в «кольцевом» фотоприемнике,

при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок электрического вписывания изображения (БЭВИ), который осуществляет программным путем вложение (вставку) «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, т.е. вход БПКП в этом режиме подключен к выходу блока оперативной памяти на кадр, а выход БПКП - к выходу «сеть» сервера, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется тоже программным путем.

Недостаток прототипа - ограниченная степень интеграции телевизионной камеры из-за применяемой технологии ПЗС для изготовления ее «кольцевого» сенсора, принципиально не позволяющей разместить на кристалле электронное «обрамление» фотоприемника.

Здесь под этим термином конкретно подразумевается блоковая совокупность, включающая в себя блок «кольцевой» развертки видеосигнала, БФА, сигнальный процессор и АЦП.

Задачей изобретения является повышение степени интеграции телевизионной камеры за счет выполнения «кольцевого» сенсора по технологии КМОП и с размещением на его кристалле электронного «обрамления» фотоприемника.

Поставленная задача в заявляемом устройстве системы панорамного телевизионного наблюдения решается тем, что, как и в устройстве прототипа [1], содержащем последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая БЭВИ, который осуществляет программным путем вставку «кольцевого» кадра телевизионной камеры в «прямоугольный» растр компьютерного монитора, причем в режиме наблюдения панорамного сюжета полностью вход БЭВИ подключен к выходу блока оперативной памяти на кадр, а выход БЭВИ - к выходу «сеть» сервера; в состав платы видео входит также БПКП, который заменяет БЭВИ при переводе компьютерной системы в режим последовательного обзора панорамного сюжета, причем число «прямоугольных» кадров m, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (3), при этом телевизионная камера, формирующая «кольцевой» растр изображения, содержит последовательно расположенные и оптически связанные панорамный объектив и «кольцевой» фотоприемник (сенсор), который содержит на мишени линейки светочувствительных элементов (пикселов), расположенных вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии, причем число светочувствительных пикселов в каждой «кольцевой» строке мишени одинаково, а их площадь от строки к строке различна, увеличиваясь по мере движения к внешней периферии сенсора, но при этом, в отличие от прототипа [1], сам сенсор выполнен на кристалле, изготовленном по технологии КМОП, причем мишень сенсора состоит из фотодиодных активных пикселов, каждый из которых имеет усилитель с коэффициентом усиления K, а также встроенный АЦП, обеспечивающий передачу видеосигнала активного пиксела на свою «радиальную» шину видео, при этом все они в совокупности объединяют активные пикселы мишени в «радиальные» столбцы, причем управление АЦП для пикселов, расположенных вдоль каждой «кольцевой» строки сенсора, осуществляется при помощи отдельно взятой «кольцевой» строчной шины, общее количество которых определяет число строк в сенсоре, а количество «радиальных» шин видео - число пикселов в каждой строке сенсора; при этом на общем кристалле фотоприемника размещаются и блоки, выполняющие развертку и формирование выходного напряжения цифрового видеосигнала, а именно: «кольцевой» регистр кадровой развертки, осуществляющий выбор «кольцевой» строки; «кольцевой» коммутатор видеосигналов, содержащий коммутаторы видеосигнала для каждого «радиального» столбца, которые управляются с соответствующего выхода «кольцевого» мультиплексора строчной развертки и обеспечивают передачу видеосигнала на выходе каждой «радиальной» шины видео на «кольцевую» шину видео, выход которой является выходом «Видео» фотоприемника, причем коэффициент усиления K_m активного пиксела для каждой текущей «кольцевой» строки сенсора изменяется по соотношению:

где Δ₁ и Δ_m - соответственно светочувствительная площадь активного пиксела для первой и текущей «кольцевой» строки считывания в «кольцевом» сенсоре, обеспечивая одинаковую величину считывающей апертуры в пределах всего «кольцевого» растра изображения.

Совокупность известных и новых признаков для заявляемой группы устройств (в количестве двух) не известна из уровня техники, следовательно, предлагаемое техническое решение соответствует критерию новизны.

Важно отметить следующее. Светочувствительная площадь пикселов «кольцевой» мишени заявляемого фотоприемника, как и для прототипа [1], от строки к строке различна. Это вызывается необходимостью для «кольцевого» фотоприемника, имеющего одинаковое число пикселов в каждой строке, выравнивания разрешающей способности в пределах кадра путем обеспечения одинаковой величины технологического (производственного) зазора между светочувствительными элементами.

Но при этом, как в заявляемом решении, так и в прототипе [1], не происходит межстрочного нарушения чувствительности сенсора по следующим обстоятельствам.

Параметр считывающей апертуры для всех пикселов каждой текущей строки «кольцевого» кадра определяется произведением коэффициента усиления K_m пиксела на величину его светочувствительной площади Δ_m.

Как следует из соотношения (4), этот показатель остается постоянным (неизменным) для всех светочувствительных пикселов заявляемого фотоприемника. Не меняется и величина шумовой «дорожки» для каждого активного пиксела сенсора, что является обязательным условием для реализации чувствительности фотоприемника и его отношения сигнал/шум.

Отметим, что в прототипе [1] этот принцип также соблюдается, но реализуется по другому методу, см. опубликованные выше соотношения (1) и (2).

Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

На фиг. 1 приведена структурная схема заявляемой компьютерной системы панорамного телевизионного наблюдения и на этом же чертеже - структурная схема телевизионной камеры в ее составе; на фиг. 2 приведена схемотехническая организация нового «кольцевого» фотоприемника; на фиг. 3 - подробности этой организации применительно к отдельно взятому «радиальному» столбцу; на фиг. 4 - иллюстрация выполнения задачи по электрическому вписыванию изображения «кольцевого» кадра в прямоугольный растр компьютерного монитора; на фиг. 5 - иллюстрация выполнения задачи по конвертированию одного «кольцевого» кадра в шесть «прямоугольных» кадров; на фиг. 6, по данным [2], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива.

Заявляемая компьютерная система панорамного телевизионного наблюдения (см. фиг 1) содержит последовательно соединенные телевизионную камеру 1 и сервер 2 (с установленной в нем платой видео), который является узлом локальной вычислительной сети, с возможностью подключения к ней двух или более персональных компьютеров в позиции 3.

Как и в прототипе [1], плата видео выполняет программным путем следующие операции:

запись «кольцевого» видеосигнала в оперативную память сервера в автоматическом режиме;

электрическое вписывание изображения «кольцевого» кадра из оперативной памяти в «прямоугольный» растр компьютерного монитора в режиме 1 работы программы;

считывание «кольцевого» кадра из оперативной памяти при помощи m «прямоугольных» кадров, число которых удовлетворяет соотношению (3) в режиме 2 этой программы.

Следует отметить, что в компьютерной программе применительно к операции по реализации электрического вписывания «кольцевого» кадра в «прямоугольный» растр монитора должно быть реализовано соблюдение последовательности передачи телевизионных строк.

При условии размещения вписываемого кадра в центральной части экрана монитора выполнение этой задачи представлено на фиг. 4.

Продемонстрируем заложенный в эту программы алгоритм, используя растровое положение точечных изображений от двух пикселов «А» и «В» для «кольцевого» фотоприемника 1-2.

Пусть, как показано на фиг. 2, пиксел «А» считывается первым в первой «кольцевой» строке сенсора, а пиксел «В» - точно посередине этой строки.

Тогда в «прямоугольном» растре компьютерного монитора (см. фиг. 4) изображение от пиксела «А» будет занимать положение центрального элемента его первой строки, а изображение от пиксела «В» - положение центрального элемента его последней строки.

Телевизионная камера 1 (см. фиг. 1) содержит последовательно расположенные и оптически связанные панорамный объектив 1-1 и «кольцевой» фотоприемник 1-2, причем предлагаемый «кольцевой» фотоприемник (см. фиг. 2) выполнен по технологии КМОП и содержит на общем кристалле «кольцевую» мишень 1-2-1 сенсора, «кольцевой» регистр 1-2-2 кадровой развертки, «кольцевой» коммутатор 1-2-3 видеосигналов и «кольцевой» мультиплексор 1-2-4.

Как показано на фиг. 2, активные пикселы на мишени сенсора объединены в столбцы, которые расположены вдоль радиальных направлений от воображаемого центра кругового кольца.

Каждый активный пиксел мишени (см. фиг. 3) имеет в своем составе светочувствительную область (площадь) 1-2-1-1, усилитель 1-2-1-2 с коэффициентом усиления K_m для каждой текущей «кольцевой» строки сенсора и АЦП 1-2-1-3. «Кольцевой» коммутатор 1-2-3 видеосигналов состоит из отдельных коммутаторов 1-2-3-1 видеосигнала, число которых соответствует числу активных пикселов в строке, объединенных «кольцевой» шиной видео 1-2-3-2.

Отметим, что показанная на фиг. 3 форма светочувствительной площади пиксела в виде прямоугольника, а на фиг. 3 - латинской буквы L - являются условными. На практике электроды зарядового накопления активных пикселов мишени сенсора, совпадающие с площадью их светочувствительной площади, могут быть выполнены совершенно иначе, например, с геометрической формой в виде части кругового кольца.

Управление АЦП 1-2-1-3 пиксела для каждой «кольцевой» строки фотоприемника осуществляется при помощи отдельной (своей) строчной шины 1-2-1-4, передающей сигнал управления с соответствующего выхода «кольцевого» регистра 1-2-2 кадровой развертки.

Видеосигнал с выхода каждого АЦП 1-2-1-3 для каждого активного пиксела отдельного взятого «радиального» столбца передается на «радиальную» шину видео 1-2-1-5. Далее при помощи «своего» ключевого МОП-транзистора коммутатора 1-2-3-1, управляемого с одного из выходов мультиплексора 1-2-4, цифровой видеосигнал текущего пиксела передается на «кольцевую» шину видео 1-2-3-2, а затем транслируется по ней на выход сенсора.

То же самое формирование цифрового видеосигнала происходит и в пределах других радиально расположенных столбцов «кольцевой» мишени 1-2-1 предлагаемого сенсора.

Отметим, что на фиг. 2 пунктирные стрелки показывают управление «кольцевыми» строчными шинами 1-2-1-4 фотоприемника со стороны «кольцевого» регистра 1-2-2 кадровой развертки. То, что здесь, как и на фиг. 3, изображены лишь четыре строчные шины является условностью чертежа. Как упоминалось ранее, число шин 1-2-1-4 соответствует показателю действительного числа «кольцевых» строк в заявляемом сенсоре.

Поясним дополнительно на фиг. 2 и другое. Стрелки с непрерывными линиями отмечают передачу сигнала изображения в сенсоре по «радиальным» шинам видео 1-2-1-5 в направлении к «кольцевому» коммутатору 1-2-3 видеосигналов.

В результате в «кольцевом» растре последовательно один за другим для каждого пиксела отдельно взятой «кольцевой» строки и последовательно строка за строкой для мишени в целом формируется в цифровом виде напряжение выходного видеосигнала заявляемого сенсора. Выход «Видео» «кольцевого» фотоприемника 1-2 является одновременно и выходом «Видео» телевизионной камеры 1.

Благодаря принятой для изготовления предлагаемого сенсора технологии КМОП, обеспечивается возможность интегрировать на один общий кристалл не только фотоприемник с АЦП для каждого активного пиксела, но и блоки цифровой развертки телевизионной камеры, которые могут быть реализованы с существенным понижением их энергопотребления.

Необходимо признать, что концепция матричного (прямоугольного) фотоприемника с активным пикселом, встроенным в него АЦП и цифровым видеосигналом на выходе, который предполагалось выполнить по технологии КМОП путем реализации метода «координатная адресация», была разработана американскими специалистами в «нулевые» двухтысячные годы. Об этом сообщалось и в отечественной монографии [3, с. 67, рис. 1.21]. Однако схемотехническая организация на кристалле КМОП «кольцевого» сенсора с аналогичными возможностями не предлагалась.

Заявляемая же здесь «кольцевая» форма мишени КМОП-фотоприемника и блоков развертки позволяет эффективнее использовать в телевизионных камерах полезную площадь используемого кристалла для телевизионно-компьютерного наблюдения панорамных сюжетов.

Панорамный объектив 1-1 телевизионной камеры, как и в прототипе, предназначен для формирования оптического изображения кругового обзора (кольцевого изображения). В качестве технического решения для панорамного объектива 1-1, совпадающим с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами [2].

Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места. Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива, см. фиг. 6, подтверждает целесообразность выбора формы фотоприемника 1-2, как и в прототипе, в пользу кругового кольца.

Заявляемое устройство компьютерной системы панорамного телевизионного наблюдения работает следующим образом.

Как и в прототипе [1], предполагается, что телевизионная камера 1 установлена в фиксированное положение, например при помощи фотоштатива (на фиг. 1 он не показан), а на мишень 1-2-1 сенсора проецируется «кольцевое» оптическое изображение контролируемого панорамного сюжета.

Отметим еще раз, что показатель считывающей апертуры для предлагаемого сенсора неизменен для всех светочувствительных пикселов мишени, несмотря на различие их по площади для составляющих «кольцевых» строк. А это гарантирует одинаковую чувствительность для всех элементов мишени и одновременно выравнивание разрешающей способности «кольцевого» изображения по всей площади мишени сенсора.

В результате на выходе «видео» фотоприемника 1-2, а, следовательно, и на выходе телевизионной камеры 1, в «кольцевом» растре формируется цифровой телевизионный сигнал (ЦТС).

Далее ЦТС по интерфейсу (например, USB 2,0) передается на вход «Видео» сервера 2, где выполняется в автоматическом режиме запись «кольцевого» видеосигнала в оперативную память сервера.

Благодаря этому видеоинформация становится доступной и другим компьютерам в интерактивном режиме.

При установке оператором персонального компьютера 3 режима 1 работы компьютерной программы на экране монитора будет наблюдаться изображение панорамного сюжета полностью (см. фиг. 4).

Это позволяет оператору оперативно оценить ситуацию и выбрать в режиме 2 работы компьютерной программы необходимый фрагмент (участок) панорамного изображения.

Предположим, что, как и в прототипе [1], горизонтальный угол поля зрения () предъявляемого оператору изображения должен составлять 60°. Тогда одна шестая часть каждой «кольцевой» строки из «кольцевого» кадра записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр.

Как и в прототипе, в сервере 2 при помощи элемента БПКП, реализующего возложенные на него функции программным путем, осуществляется операция считывания видеосигнала, а в результате - конвертирование «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть» сервера 2.

В результате цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в m «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности всем операторам персональных компьютеров 3 локальной вычислительной сети. В нашем примере эта последовательность содержит 6 различных изображений (см. фиг. 5), а оператор каждого персонального ноутбука 3 может осуществить селекцию предлагаемого сервером 2 изображения и его вывод на экран дисплея.

В настоящее время все элементы структурной схемы устройства компьютерной системы панорамного телевизионного наблюдения освоены или могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2665695. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения. / В.М. Смелков // Б.И. - 2018. - №25.

2. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // Б.И. - 2002. - №20.

3. Березин В.В., Умбиталиев А.А., Фахми Ш.С., Цыцулин А.К. и Шипилов Н.Н. Твердотельная революция в телевидении: Телевизионные системы на основе приборов с зарядовой связью, систем на кристалле и видеосистем на кристалле. Под ред. А.А. Умбиталиева и А.К. Цыцулина. - М.: «Радио и связь», 2006.