Результат интеллектуальной деятельности: УСТРОЙСТВО ПАНОРАМНОГО ТЕЛЕВИЗИОННО-КОМПЬЮТЕРНОГО МОНИТОРИНГА

Предлагаемое изобретение относится к панорамному телевизионному мониторингу, который выполняется компьютерной системой по методу панорамного телевизионного сканирования при помощи единственного «кольцевого» фотоприемника, в сферической области, занимающей два противоположно расположенных шаровых слоя. Мониторинг ситуации осуществляется параллельно в пространственном угле 360 градусов по азимуту и десятки градусов по углу места для каждого шарового слоя.

Наиболее близким по технической сущности к заявляемому изобретению следует считать устройство панорамного телевизионно-компьютерного мониторинга [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных панорамного объектива и датчика цифрового телевизионного сигнала, который содержит в своем составе последовательно расположенные и связанные твердотельный фотоприемник и блок фотоприемника, обеспечивающий развертку аналогового видеосигнала фотоприемника и формирование на выходе телевизионной камеры цифрового телевизионного сигнала, а в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая блок преобразования «кольцевого» кадра в «прямоугольные» кадры (БПКП), вход которого подключен к выходу блока оперативной памяти на кадр, а выход - к выходу «сеть», причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению:

где γ_г - горизонтальный угол поля зрения в градусах наблюдаемого оператором изображения, а само это преобразование выполняется программным путем;

фотоприемник телевизионной камеры имеет мишень виде кругового кольца, а блок фотоприемника телевизионной камеры формирует «кольцевой» растр изображения, причем фотоприемник, выполненный по технологии приборов с зарядовой связью (ПЗС), содержит на общем кремниевом кристалле фотоприемную область и выходной регистр сдвига, заканчивающийся блоком преобразования «заряд-напряжение» (БПЗН), при этом линейки светочувствительных и чередующиеся с ними линейки экранированных от света элементов фотоприемной области расположены вдоль радиальных направлений от воображаемого центра кругового кольца к его внешней периферии и расположенному там выходному регистру сдвига, который является «кольцевым», причем число элементов в каждой «кольцевой» строке фотоприемной области равно числу элементов в «кольцевом» регистре сдвига.

Недостаток прототипа - ограниченная область сферического пространства, наблюдаемая телевизионной камерой устройства мониторинга.

Задачей изобретения является увеличение площади пространственной сферической области, контролируемой телевизионной камерой, путем дополнительного и параллельного мониторинга шарового слоя, расположенного в противоположном направлении по отношению к основному шаровому слою.

Поставленная задача в заявляемом устройстве телевизионно-компьютерного мониторинга решается тем, что в устройство прототипа [1], содержащее последовательно соединенные телевизионную камеру и сервер, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров, при этом телевизионная камера состоит из последовательно расположенных и оптически связанных первого панорамного объектива и фотоприемника, управляющие входы которого подключены к соответствующим выходам блока «кольцевой» многострочной развертки фотоприемника и формирования цифрового телевизионного сигнала, выход которого является выходом телевизионной камеры; в разъем расширения на материнской плате сервера установлена плата видео, согласованная по каналам ввода/вывода, управлению и питанию с шиной сервера, содержащая первый БПКП, вход которого подключен к выходу первого блока оперативной памяти на кадр, а выход - к выходу «сеть» сервера, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), при этом фотоприемник телевизионной камеры, который выполнен по технологии ПЗС в виде кругового кольца и содержит на общем кремниевом кристалле связанные зарядовой связью «кольцевую» фотоприемную область, «кольцевой» выходной регистр сдвига и БПЗН, согласно предлагаемому изобретению фотоприемник реализует со стороны электродов кристалла первую «кольцевую» мишень сенсора, а со стороны подложки кристалла - вторую кольцевую мишень сенсора, причем каждая из них является единственной однострочной фотоприемной областью, число элементов которой равно числу элементов в «кольцевом» регистре сдвига, а блок «кольцевой» многострочной развертки фотоприемника является «блоком «кольцевой» однострочной развертки, введены первый оптический затвор, расположенный между первым панорамным объективом и первой «кольцевой» мишенью сенсора, второй панорамный объектив и второй оптический затвор, который расположен между ним и второй «кольцевой» мишенью фотоприемника, блок управления затворами, управляющий вход которого подключен к выходу строчных синхроимпульсов блока «кольцевой» однострочной развертки фотоприемника, первый выход блока управления затворами подключен к управляющему входу первого оптического затвора, а второй выход блока управления затворами - к управляющему входу второго оптического затвора, причем экспонирование первой и второй «кольцевых» мишеней фотоприемника осуществляется поочередно в течение интервала активной части строки для каждой мишени; в состав телевизионной камеры введен также блок механического сканирования сенсора, вход которого подключен к выходу управления блока «кольцевой» однострочной развертки, а сам он кинематически связан с фотоприемником и осуществляет его механическое сканирование по кадру, в пределах угла места для первого и второго панорамных объективов, в перпендикулярном направлении относительно их неподвижных выходных окон и с шагом, равным ширине фотоприемной строки, а в плату видео, расположенную на материнской плате сервера дополнительно к этому введены демультиплексор и второй БПКП, вход которого подключен к выходу второго блока оперативной памяти на кадр, а выход - к выходу «сеть» сервера, причем для второго БПКП число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), а направление построчного и поэлементного вывода видеосигнала из второго блока оперативной памяти на кадр является противоположным (реверсивным) по отношению к направлению вывода видеосигнала из первого блока оперативной памяти на кадр, при этом всю площадь первой «кольцевой» мишени фотоприемника занимают светочувствительные элементы.

Совокупность известных и новых признаков заявляемого устройства компьютерной системы не известна из уровня техники, поэтому предлагаемое техническое решение соответствует критерию новизны.

Телевизионная камера заявляемого устройства панорамного телевизионно-компьютерного мониторинга формирует на выходе мультиплексный цифровой телевизионный кадр «кольцевого» изображения. Он состоит из чередующихся телевизионных строк, полученных в результате поочередного экспонирования, как традиционной мишени фотоприемника со стороны электродов, так и дополнительной его мишени со стороны подложки кристалла. Последующее в сервере демультиплексирование входного телевизионного кадра позволяет принципиально вдвое увеличить площадь пространственной сферической области, контролируемой телевизионной камерой, путем дополнительного мониторинга сферической поверхности для шарового слоя, расположенного в противоположном направлении по отношению к основному шаровому слою. Поэтому предлагаемое техническое решение соответствует критерию о наличии изобретательского уровня.

Важно отметить, что, по отношению к прототипу, в заявляемом решении исключаются потери чувствительности. Докажем это аналитически.

Световая или энергетическая чувствительность фотоприемника определяется минимально допустимой, т.е. пороговой освещенностью на объекте, при которой обеспечивается заданное качество изображения.

Воспользуемся известным выражением для пороговой освещенности сцены в реальной ситуации обнаружение и опознавания фотоприемником малоконтрастных объектов [2, с. 94], которое в нашем случае выглядит так:

где N=2·10¹² - потенциально доступное ПЗС количество фотонов на площади в 1 см² за время в 1 с при равномерном спектре и освещенности в видимом диапазоне в 1 лк;

k_o - коэффициент отражения объекта;

k_ф - коэффициент отражения фона;

Δ² - площадь пиксела;

Т_н - время накопления;

η - квантовый выход;

Ψ_пор - пороговое отношение сигнал/шум;

D - диаметр входного зрачка объектива;

f - фокусное расстояние объектива;

τ₁ - коэффициент пропускания объектива;

τ₂ - коэффициент пропускания электронного затвора, который необходимо учитывать применительно к заявляемому устройству.

При использовании для фотоприемников прототипа и заявляемого устройства технологии ПЗС, а для их работы (в составе телевизионной камеры, наблюдающей один и тот же объект) одного и того же панорамного объектива будем иметь одинаковые показатели следующих параметров: N, k₀, k_ф, Ψ_пор, D, f, τ₁.

Учитывая, что фотоприемник нового решения работает в режиме механического сканирования изображения, длительность накопления Т_н для него составляет величину около 1 с, т.е. она явно больше, чем для сенсора прототипа.

С другой стороны, для первой мишени нового фотоприемника (со стороны электродов), по сравнению с прототипом, за счет исключения экранированных элементов может быть увеличен параметр площади светочувствительного пиксела (Δ²), т.к. экранированных пикселов на мишени больше нет. Выигрыш в этом параметре может вполне компенсировать потери чувствительности за счет коэффициента пропускания электронного затвора τ₂, который заведомо меньше единицы.

Для второй мишени нового фотоприемника (со стороны подложки) к выигрышу по параметру площади светочувствительного пиксела (Δ²) добавляется дополнительный выигрыш и в параметре квантового выхода (η) по причине удаления на пути фотонов металлических электродов. А это в совокупности заведомо компенсирует потери чувствительности за счет показателя τ₂.

Для использования заявляемого устройства панорамного телевизионно-компьютерного мониторинга в условиях нехватки освещенности на объекте целесообразно кристалл фотоприемник телевизионной камеры выполнить не основе кремния, а на основе полупроводника из арсенида галлия. Тогда физически возможно достигнуть без охлаждения красной границы спектральной характеристики 1,7 мкм и даже 2,2 мкм [2, с. 113].

На фиг. 1 приведена структурная схема заявляемого устройства панорамного телевизионно-компьютерного мониторинга; на фиг. 2 приведена схема организации предлагаемого фотоприемника; на фиг. 3 - подробности структурной схемы телевизионной камеры с использованием этого фотоприемника применительно к блоку «кольцевой» однострочной развертки и формирования цифрового телевизионного сигнала; на фиг. 4 - фрагмент мишени заявляемого фотоприемника, иллюстрирующий режим экспонирования со стороны электродов кристалла; на фиг.5 - фрагмент мишени заявляемого фотоприемника в режиме экспонирования со стороны подложки кристалла; на фиг. 6, по данным [3], представлена фотография изображения, полученного при помощи отечественного панорамного зеркально-линзового объектива; на фиг. 7-8 представлены соответственно конструкция электрохромной ячейки и ее светорегулирующая характеристика при использовании этой ячейки в качестве оптического затвора; на фиг. 9а и 9б изображены эпюры напряжений, обеспечивающих управление первым и вторым оптическими затворами, которые выполнены по технологии электрохромной ячейки; на фиг. 10 представлена возможная структурная схема для выполнения сетевого компьютерного решения с использованием этого заявляемого устройства.

Устройство панорамного телевизионно-компьютерного мониторинга, см. фиг. 1 и фиг. 2, содержит последовательно соединенные телевизионную камеру 1 и сервер 2, являющийся узлом локальной вычислительной сети, к которому подключены два или более персональных компьютеров в позиции 3, при этом в состав телевизионной камеры 1 входит первый панорамный объектив 1-1, фотоприемник 1-2, блок 1-3 «кольцевой» однострочной развертки фотоприемника и формирования цифрового телевизионного сигнала, первый оптический затвор 1-4, второй панорамный объектив 1-5, второй оптический затвор 1-6, блок 1-7 управления затворами и блок 1-8 механического сканирования сенсора, вход которого подключен к выходу управления блока 1-3, а сам он кинематически связан с фотоприемником 1-2 и осуществляет его механическое перемещение (сканирование) по кадру с шагом, равным ширине фотоприемной строки, в пределах угла места для первого 1-1 и второго 1-5 панорамных объективов, в перпендикулярном направлении относительно их неподвижных выходных окон; управляющий вход блока 1-7 подключен к выходу строчных синхроимпульсов блока 1-3, первый выход блока 1-7 - к управляющему входу первого оптического затвора 1-4, а второй выход блока 1-7 - к управляющему входу второго оптического затвора 1-6, при этом фотоприемник 1-2, выполненный по технологии ПЗС в виде кругового кольца, содержит на общем кремниевом кристалле однострочную фотоприемную область 1-2-1, являющуюся со стороны электродов первой «кольцевой» мишенью, а со стороны подложки кристалла - второй «кольцевой» мишенью, а также «кольцевой» выходной регистр сдвига 1-2-2, заканчивающийся БПЗН 1-2-3, причем управляющие входы фотоприемника 1-2 подключены к выходам импульсных напряжений блока 1-3, а выход мультиплексного цифрового телевизионного сигнала, формируемого в блоке 1-3, является выходом телевизионной камеры 1, при этом на материнской плате сервера 2 установлена плата видео, выполняющая демультиплексирование входного цифрового телевизионного сигнала на два канала с последующей записью каждого из «кольцевых» видеосигналов в соответствующую (одну из двух) оперативную память сервера и преобразование первого и второго «кольцевых» кадров в «прямоугольные» кадры, причем число «прямоугольных» кадров, соответствующих одному текущему «кольцевому» кадру, удовлетворяет соотношению (1), а направление построчного и поэлементного вывода видеосигнала из первого блока оперативной памяти на кадр является противоположным (реверсивным) по отношению к направлению вывода видеосигнала из первого блока оперативной памяти на кадр.

Первый панорамный объектив 1-1 и второй панорамный объектив 1-5 телевизионной камеры предназначены для формирования оптических изображений кругового обзора для противоположно расположенных (относительно оптической оси) шаровых слоев контролируемого пространства. В качестве технического решения для панорамных объективов 1-1 и 1-5, совпадающих с аналогичным решением для прототипа, может быть предложен панорамный зеркально-линзовый объектив, конструкция которого запатентована в России отечественными специалистами из Московского государственного университета геодезии и картографии [3].

Фотография кольцевого изображения, формируемого панорамным объективом, представлена на фиг. 6. Угловое поле в пространстве предметов для этого объектива составляет 360 градусов по азимуту и может достигать (75-80) градусов по углу места.

Наличие пассивной (неинформативной) области в центре оптического кадра панорамного объектива подтверждает целесообразность выбора формы фотоприемника в пользу кругового кольца.

Для «кольцевого» фотоприемника заявляемого устройства электроды переноса на первой «кольцевой» мишени и в его «кольцевом» регистре сдвига могут быть выполнены с геометрической формой не в виде прямоугольника, а в виде части кругового кольца. Несомненно, что это предоставит и определенные преимущества при изготовлении «кольцевого» фотоприемника по технологии ПЗС.

Блок 1-3 телевизионной камеры (см. фиг. 3), как и для телевизионной камеры прототипа, содержит временной контроллер 1-3-1, сигнальный процессор 1-3-2, первый преобразователь уровней (ПУ) 1-3-3, второй ПУ 1-3-4, а также аналого-цифровой преобразователь (АЦП) 1-3-6, выход которого является выходом телевизионной камеры.

Первый оптический затвор 1-4 и второй оптический затвор 1-6 предназначены для поочередного импульсного экспонирования первой и второй «кольцевых» мишеней фотоприемника 1-2 соответственно.

Оптические затворы 1-4 и 1-6 могут быть реализованы в виде светорегулирующих ячеек, которые обеспечивают управляемое скачкообразное изменение облученности мишеней фотоприемника 1-2 и могут быть выполнены по технологии электрохромной ячейки [4].

Такая ячейка (см. фиг. 7) представляет собой два плоскопараллельных стекла толщиной 2,5 мм, соединенные между собой в кювету так, что между внутренними поверхностями стекол образован зазор порядка 0,1-0,2 мм, заполненный электрохромным материалом ЭХМ-11. Внутренние поверхности стекол покрыты токопроводящим покрытием и образуют электроды, выводы которых расположены снаружи ячейки.

Световая характеристика ячейки (см. фиг. 8) определяется свойствами электрохромной жидкости. Изменение коэффициента пропускания от τ_max (70%) до τ_min (1÷1,5%) составляет для большинства разработанных в советское время ячеек величину τ_max/τ_min=70÷150 при подаче на выводы постоянного напряжения U, величина которого составляет около 1,2 В.

Необходимо улучшить параметры ячеек, а именно: уменьшить τ_min и, что важнее в первую очередь, увеличить τ_max.

Важно отметить, что физическое быстродействие изменения коэффициента пропускания такой ячейки позволяет обеспечить управление параметром с частотой 50 Гц, т.е. она вполне работоспособна при скорости механического сканирования фотоприемника.

Для заявляемого устройства панорамные объективы 1-1 и 1-5 должны иметь одинаковые технические параметры. Эта особенность распространяется и на оптические затворы 1-4 и 1-6. Поэтому целесообразно панорамный объектив и оптический затвор выполнить в составе одного оптического прибора.

Блок 1-7 управления затворами задает необходимую импульсную коммутацию ячеек с периодом кадров Т_к. Эпюры выходных сигналов представлены на фиг. 9а и 9б соответственно. Очевидно, блок 1-7 управления затворами целесообразно интегрировать во временной контроллер 1-3-1, входящий в состав блока 1-3.

Блок 1-8 механического сканирования сенсора предназначен для выполнения сканирования по кадру фотоприемника 1-2. Пошаговое перемещение фотоприемника должно соответствовать ширине одной «кольцевой» строки. По физике работы такое перемещение является электромеханическим.

При необходимости можно предусмотреть возможность изменения режима механического сканирования фотоприемника 1-2 по команде внешнего управления с компьютера 4 оператора, как показано на фиг. 10.

Важно отметить, что для исключения возникновения вертикального смаза формируемого изображения временной промежуток шагового перемещения фотоприемника должен быть достаточно малым относительно интервала накопления зарядов на фотомишени.

Устройство панорамного телевизионно-компьютерного мониторинга (фиг. 1-2) работает следующим образом.

Предполагается, что телевизионная камера 1 расположена на некоторой высоте относительно Земли и по отношению к ней соблюдается вертикальное положение оптической оси камеры.

Например, это условие будет соблюдено, когда телевизионная камера установлена на гексакоптере. Этим термином принято называть в технической литературе радиоуправляемую модель беспилотного летательного аппарата с шестью крыльями, предназначенную для выполнения аэровидеосъемки местности.

Для экспонирования первой «кольцевой» мишени фотоприемника 1-2 телевизионной камеры, которая, как и в прототипе, реализована со стороны электродов кристалла, используется импульсное изображение на выходе первого оптического затвора 1-4. На вход оно поступает от первого панорамного объектива 1-1, а его ось визирования направлена вертикально вверх.

Для экспонирования второй «кольцевой» мишени фотоприемника 1-2 телевизионной камеры, которая реализована со стороны подложки кристалла, используется импульсное изображение на выходе второго оптического затвора 1-6, получаемое на входе от второго панорамного объектива 1-5. Его ось визирования направлена вертикально вниз.

Оптические затворы 1-4 и 1-6 обеспечивают поочередное (в интервале активной строки) накопление информационных зарядов на первой и второй «кольцевых» однострочных мишенях фотоприемника. Т.е., когда пропорционально освещенности панорамного сюжета идет процесс сбора зарядовых пакетов на первой мишени, на второй мишени он отсутствует, и наоборот.

Синхронно с этим процессом блок 1-8 выполняет пошаговое механическое перемещение (сканирование) фотоприемника 1-2. А он реализует «кольцевую» однострочную развертку накопленного зарядового изображения с последующим считыванием зарядовых пакетов в «кольцевом» регистре 1-2-2 и формированием на выходе БПЗН 1-2-3 напряжения видеосигнала в аналоговой форме.

В этом режиме строчной поочередности фотоприемник 1-2 вырабатывает мультиплексный видеосигнал кадра в аналоговой форме.

Аналоговый мультиплексный видеосигнал фотоприемника (см. фиг. 3) преобразуется далее при помощи сигнального процессора 1-3-2 и АЦП 1-3-6 в мультиплексный цифровой телевизионный сигнал (мультиплексный ЦТС) «кольцевого» кадра и поступает на выход телевизионной камеры.

Затем этот ЦТС по интерфейсу (например, USB 2,0) передается на сервер 2, где (на плате видео) выполняется его демультиплексирование на два канала с последующей записью видеоинформации каждого канала соответственно в первый и второй блоки оперативной памяти на кадр.

Предположим, что, как и в прототипе, горизонтальный угол поля зрения (γ_г) предъявляемого оператору изображения составляет 60°. Тогда должно быть предусмотрено, что одна шестая часть каждой «кольцевой» строки, как первого, так и второго «кольцевого» кадра, записывается в сервере 2 соответственно в один из шести массивов оперативной памяти на кадр. Отметим, что оба предлагаемых для записи «кольцевых» кадра характеризуют темп видеосигнала в них как малокадровый.

Затем в сервере 2 при помощи первого и второго БПКП, реализующих возложенные на них функции программным путем, параллельно осуществляется операция поэлементного считывания видеоинформации, т.е. вывода из памяти сигналов изображения, а в результате - конвертирование каждого «кольцевого» кадра в обычные «прямоугольные» кадры и возможность предоставления этой информации на выходе «сеть».

Повторим еще раз, что для исключения поворота по вертикали и горизонтали изображения, формируемого второй «кольцевой» мишенью фотоприемника, должно быть программным путем обеспечено противоположное (реверсивное) направление построчного и поэлементного считывания видеосигнала из второго блока оперативной памяти по отношению к направлению вывода видеосигнала из первого блока оперативной памяти.

Отметим, что операция считывания «прямоугольных» кадров включает и коррекцию геометрических искажений соответствующего участка панорамного изображения точно так же, как это имеет место в прототипе.

В результате цифровой видеосигнал записи для каждого «кольцевого» кадра изображения преобразуется в n «прямоугольных» кадров, которые могут быть предложены в виде выбранной последовательности операторам локальной вычислительной сети. В нашем примере эта последовательность содержит 6 различных изображений, как для первого, так и для второго «кольцевых» кадров.

Это означает, что к шести изображениям контролируемой сферической области - применительно к шаровому слою, который расположен сверху, добавляются еще шесть изображений, имеющих отношение к невидимому прототипом шаровому слою снизу. При этом общая предлагаемая площадь мониторинга увеличивается вдвое.

Дополнительным результатом заявляемого решения устройства панорамного телевизионно-компьютерного мониторинга можно считать и возможность создания на ее основе сложных компьютерных систем за счет успешного вписывания, как в локальную вычислительную сеть, так и в глобальную сеть Интернет.

Пример структурной схемы по организации такой системы представлен на фиг. 10. Здесь компьютер 4 оператора управляет режимом сканирования в телевизионной камере 1 и дополнительно выполняет функции сервера. Благодаря использованию в данной системе роутера, которому присвоена позиции 5, информация, хранящаяся на этом сервере, становится доступной и любому другому пользователю компьютера в локальной сети, например компьютеру 7. Модем 6 позволяет предоставить видеоинформацию и по сети Интернет, т.е. она может поступить на компьютер удаленного пользователя, например на компьютер 8.

В настоящее время все элементы структурной схемы заявляемого устройства панорамного телевизионно-компьютерного мониторинга могут быть освоены отечественной промышленностью.

Поэтому следует считать предлагаемое изобретение соответствующим требованию о промышленной применимости.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Патент РФ №2545519. МПК H04N 7/00. Устройство компьютерной системы панорамного телевизионного наблюдения и организация фотоприемника для его реализации / В.М. Смелков // Б.И. - 2015. - №10.

2. Цыцулин А.К. Телевидение и космос: Учебное пособие / Издательство СПбГЭТУ «ЛЭТИ», 2003.

3. Патент РФ №2185645. МПК G02B 13/06, G02B 17/08. Панорамный зеркально-линзовый объектив. / А.В. Куртов, В.А. Соломатин // БИ. - 2002. - №20.

4. Разработка светорегулирующих ячеек и технологического процесса их изготовления. Технический отчет по теме «Балтика». Новгород (Великий Новгород), 1979.