Устройство автоматического получения и обработки изображений

Изобретение относится к области оптико-электронного приборостроения и может быть использовано в качестве аппаратно-программного комплекса (АПК) автоматического получения и обработки изображений с субматричным фотоприемным устройством (ФПУ) для повышения качества формирования изображения из RAW изображения¹ (¹ RAW (с англ. «сырой») - это файловый формат, который фиксирует все параметры изображения, записанные матрицей фотоаппарата. Формат RAW не сжимает информацию как это происходит в JPEG, информация об изображении сжимается и частично теряется, и после необходимой корректировки, можно получить высококачественный снимок. Такой формат позволяет устранить проблемы изображения, которые являются неустранимыми на снимках формата JPEG.) в цифровую форму, полностью адаптированную для дальнейшей обработки изображения в т.ч. в форматах статичных изображений с потерями, а также любых подвижных изображений.

Известно устройство формирования изображения с коррекцией сигналов [патент Франции №2720175, МПК. G06F 17/10, G06T 5/00, опубл. 20.04.1994 г.], содержащее оптическую схему, сканирующее устройство и субматричное ФПУ со схемами накопления и считывания сигнала, выходы которого подключены к соответствующим входам блока обработки сигналов, один из выходов которого подключен к регулируемым источникам опорного излучения, оптически сопряженным через сканирующее устройство с ФПУ, и схему синхронизации работы системы, электрически соединенную со сканирующим устройством и блоком обработки сигналов. Оптическая схема может включать входной и проекционный объективы. Блок обработки сигналов для осуществления коррекции сигналов содержит в своем составе последовательно электрически подключенные аналого-цифровой преобразователь (АЦП), фильтр, множительное устройство, сумматор, а также вычислительное устройство, средства селекции и оперативное запоминающее устройство (ОЗУ). Оптическая схема и сканирующая система формирует тепловизионное изображение на чувствительных элементах ФПУ. Аналоговый видеосигнал с ФПУ поступает на блок обработки сигналов, где преобразуется АЦП в цифровую форму. Далее цифровой сигнал последовательно проходит фильтр, множительное устройство и сумматор для коррекции погрешности сигналов от ФПУ, вызванной влиянием предыдущей аналоговой выборки порядка n-1 на последующую выборку порядка n и погрешности выходных сигналов, вызванной разбросом характеристик чувствительных элементов ФПУ. Множительное устройство и сумматор производит математическое линейное преобразование видеосигнала с ФПУ, при помощи предварительно рассчитанных вычислительным устройством одного или нескольких наборов коэффициентов коррекции для каждого чувствительного элемента ФПУ. Коэффициенты вычисляются на основе отклика каждого чувствительного элемента ФПУ на экспонирование двумя различными по величине потоками от источника опорного излучения, значения которых выбираются в динамическом диапазоне сигналов от наблюдаемой устройством сцены. Средства селекции, имеющиеся в блоке обработки сигналов, производят выбор определенного набора коэффициентов для каждого чувствительного элемента ФПУ в зависимости от значения сигнала на выходе АЦП.

Недостатком данного устройства является его зависимость от условий работы и состоит в необходимости усложнять схему в случае усложнения решаемой задачи, что ограничивает универсальность устройства, ограничивая достижимую точность вычислений достижимой точностью считывания исходных данных, и приводит к появлению недопустимо больших ошибок вычислений, неразвитость интерфейса человек-устройство, низкое качество автоматического получения и обработки изображений и быстродействия считывания пикселей RAW изображений.

Наиболее близким к предполагаемому изобретению (прототип) по технической сущности и достигаемому эффекту является устройство формирования изображения [Устройство формирования изображения №87854 МПК H04N 5/33, Бюл. №29 Опубл. 20.10.2009], содержащее последовательно установленные оптически сопряженные входной объектив, сканирующее устройство, проекционный объектив и фотоприемное устройство, а также блок обработки сигналов, первый выход которого является выходом устройства формирования изображения, второй выход блока обработки сигналов подключен, по крайней мере, к одному регулируемому источнику опорного излучения, оптически сопряженному через сканирующее устройство с фотоприемным устройством, и схему синхронизации, электрически соединенную со сканирующим устройством и синхронизирующим входом блока обработки сигналов, а также блок сопряжения, включенный между выходом фотоприемного устройства и входом блока обработки сигналов, и схема управления режимом работы фотоприемного устройства, вход которой подключен к третьему выходу блока обработки сигналов, а выход к управляющему входу фотоприемного устройства.

Недостатком данного устройства является его зависимость от условий работы и состоит в необходимости усложнять схему в случае усложнения решаемой задачи, что ограничивает универсальность устройства, ограничивая достижимую точность вычислений достижимой точностью считывания исходных данных, и приводит к появлению недопустимо больших ошибок вычислений, неразвитость интерфейса человек-устройство, низкое качество автоматического получения и обработки изображений и быстродействия считывания пикселей RAW изображений.

Задачей устройства автоматического получения и обработки изображений является расширение функциональных возможностей, за счет:

- использования АПК автоматического получения и обработки изображений, как в стационарных условиях, так и в процессе его эксплуатации по статистическим характеристикам измеряемых параметров, т.е. универсальность комплекса;

- развитого интерфейса человек-устройство, который позволяет передавать оператору комфортное для восприятия изображение при различной освещенности наблюдаемой сцены, а также в условиях помех и локальных засветок;

- обладания достаточной скоростью вычисления, чтобы обеспечить обработку получаемого изображения разрешением не менее 576×768 пикселей (типовой размер телевизионного кадра) и его вывод на дисплей или внешние устройства в реальном времени;

- повышения качества автоматического получения и обработки изображений и быстродействия считывания пикселей RAW изображений, получаемых видеоматрицей, которые повреждаются шумами и помехами различного происхождения (шумы видеоматрицы, шумы зернистости и ошибки в канале передачи). Для понижения визуального шума и для удаления высокочастотных компонент из изображения используются для анализа измеряемых параметров на выходе пикселей фильтры, формируемые на базе вычислительной математики.

Техническим результатом предложения является - организация связи человека с машиной для получения оперативным персоналом в АПК информации о трехуровневой обработке RAW изображения, получаемого видеоматрицей и поврежденного шумами и помехами различного происхождения, что позволяет повысить быстродействие и качество получаемого после обработки в цифровой форме изображения требуемого формата, полностью адаптированного для дальнейшей обработки изображения, в том числе в форматах статичных изображений с потерями, а также любых подвижных изображений.

Решение задачи достигается использованием устройства автоматического получения и обработки изображений, которое содержит последовательно соединенное фотоприемное устройство и модуль обработки сигналов, а фотоприемное устройство содержит оптически сопряженные входную линзу объектива, сканирующее устройство, а также в устройство дополнительно введены модуль вывода изображения, причем фотоприемное устройство содержит авторегулируемую диафрагму с приводом управления диафрагмой на входе управления, линза объектива выполнена как трансфокатор, вход управления которого подключено через устройство регулирования фокусного расстояния к первому входу управления фотоприемного устройства, а также последовательно согласованные светофильтр для RGB разложения светового потока от объекта в компоновке Байера, видеоматрицу и схему ее управления, вход управления и информационные входы которой через контроллер интерфейса соответственно подключены к информационным входам и ко второму входу управления фотоприемного устройства, а третий вход управления фотоприемного устройства подключен к входу управления привода управления диафрагмой, RGB выходы в компоновке Байера схемы управления видеоматрицы подключены через выходы фотоприемного устройства к входам модуля обработки сигналов, который содержит аналого-цифровой преобразователь, блок синхронизации, блок регистров данных, цифровой процессор сигналов с блоком запоминающих устройств на входе и регистром ввода/вывода, мультиплексор адреса и блок управления, причем к входам модуля обработки сигналов подключены входы аналого-цифрового преобразователя и входы блока синхронизации, информационные выходы аналого-цифрового преобразователя подключены к первым информационным входам блока регистров данных, вторые информационные входы которого подключены к первым информационным входам модуля обработки сигналов, а выходы блока регистров данных подключены через входы данных входных блоков запоминающих устройств к цифровому процессору сигналов, и через адресные входы блоков запоминающих устройств подключены выходы мультиплексора адреса, информационные входы которого подключены ко вторым информационным входам модуля обработки сигналов, выходы блока синхронизации подключены к входам блока управления, первый выход управления которого соединен с первым входом управления, второй управления со вторым входом, а третий с третьим входом управления фотоприемного устройства, информационные выходы блока управления подключены к информационным выходам модуля обработки сигналов, которые соединены с информационными входами фотоприемного устройства, четвертый выход блока управления подключен к входу стробирования аналого-цифрового преобразователя, пятые выходы управления блока управления соединены с входами управления блока регистров данных, шестые и седьмые с первым и вторым входами управления блока запоминающих устройств, восьмой выход управления блока управления соединен с входом управления выходного регистра ввода/вывода цифрового процессора сигналов, двунаправленный разъем которого соединен с выходом модуля обработки сигналов, который соединен с двунаправленным разъемом модуля вывода изображения и через блок параллельного обмена и внутреннюю шину с IBM PC/AT модуля вывода изображения, первый выход управления блока параллельного обмена модуля вывода изображения соединен с выходом модуля вывода изображения, который соединен с входом управления модуля обработки сигналов, подключенного к входу управления блока управления, выход "Готов" которого соединен с первым выходом модуля обработки сигналов, соединенного с первым входом управления модуля вывода изображения, который соединен с первым входом блока параллельного обмена, а выход управления мультиплексора адреса соединен со вторым выходом управления модуля обработки сигналов, подключенного ко второму входу управления блока вывода изображения, который соединен со вторым входом управления блока параллельного обмена блока вывода изображения, выходы сброса столбцов "Сброс СТБ" и строк "Сброс СTP" блока управления соединены с соответствующими входами мультиплексора адреса, к которому подключены также выходы задания частот переключения столбцов F_СТБ и строк F_СТР блока управления.

Отличие предлагаемой архитектуры от существующих аналогов заключается в использовании трехуровневой системы с блоком управления (БУ) в виде управляющей ЭВМ (УВМ) в совокупности с цифровым процессором сигналов (DSP) на базе, например, ПЛИС² (² Программируемая логическая интегральная схема (ПЛИС, англ. Programmable logic device, PLD) - электронный компонент (интегральная микросхема), используемый для создания конфигурируемых цифровых электронных схем. В отличие от обычных цифровых микросхем, логика работы ПЛИС не определяется при изготовлении, а задается посредством программирования (проектирования). Для программирования используются программатор и IDE (отладочная среда), позволяющие задать желаемую структуру цифрового устройства в виде принципиальной электрической схемы или программы на специальных языках описания аппаратуры: Verilog, VHDL, AHDL и др.) в двух ортогональных координатах изображения. Это позволяет строить гибкое решение программно и аппаратно одновременно.

На фиг. 1 представлена функциональная схема АПК автоматического получения и обработки изображений, на фиг. 2 приведен пример начальной настройки автодиафрагмы видеокамерой по тест-таблице, состоящей из полос разной яркости, а на фиг. 3 приведена пример реализации фазового автофокуса в соответствии с US pat 5589909 fig 2.png, нумерация в котором соответствует нумерации оригинала.

При этом следует отметить, что качество цифрового изображения определяется тремя факторами: действием объектива, количеством пикселов и мощностью ПЗС-матрицы, а также мощностью устройства обработки данных.

АПК автоматического получения и обработки изображения содержит вычислительно-измерительный блок, который выполнен по трехуровневой микропроцессорной архитектуре, и содержит нижний уровень 1 - фотоприемное устройство, средний уровень 2 - модуль обработки сигналов и верхний уровень 3 - модуль вывода изображения, причем фотоприемное устройство 1 включает в себя диафрагму 4, привод управления диафрагмой (ПУД) 5, объектив (трансфокатор) (О (ТФ)) 6, устройство регулирования фокусного расстояния (УРФР) 7, светофильтр (СФ) 8, видеоматрица преобразователя (Вм) 9, схема управления видеоматрица СУВм (10), контроллер интерфейса видеоматрицы (КИВм) 11, модуль обработки сигналов 2 включает в свой состав аналого-цифровой преобразователь (АЦП) 12, блок синхронизации (БС) 13, блок регистра данных (БРД) 14, цифровой процессор сигналов (DSP) (ЦПС) 15, который, в свою очередь, содержит буферное запоминающее устройство (БЗУ) 16 и регистр ввода/вывода Р ВВ/В 17, и далее модуль обработки сигналов (средний уровень) 2 также содержит мультиплексор адреса (МПА) (MUXA) 18 и блок управления (БУ) 19, а модуль вывода изображения 3 содержит блок параллельного обмена (БПО-интерфейс) 20 и выполнен в виде ЭВМ 21 общего назначения.

Фотоприемное устройство (нижнего уровня) 1 выполнено в виде устройства формирования RAW изображений, считываемое видеоматрицей с компоновкой Байера, имеет один цветовой компонент в каждом пикселе, извлечение значения для каждого цветового компонента должно привести к получению компоновок пикселей с последующим ее сканированием и преобразует приходящий в объектив прибора световой поток в электрические сигналы. Устройства обработки изображения камеры преобразует информацию из аналогового изображения, записанного на ПЗС-матрицу³, (³ ПЗС-матрица (Прибор с зарядовой связью) или CCD-матрица (CCD, «charge-coupled device») - специализированная аналоговая интегральная микросхема, состоящая из светочувствительных фотодиодов, использующая технологию ПЗС-приборов с зарядовой связью.) в цифровые данные и выполняет различные виды обработки данных для создания изображения. Функциональная схема нижнего уровня 1 включает:

- диафрагму (от греч. - перегородка) (Д) 4 [Гонта А. Системы охранного телевидения. Методическое пособие. - М.: НИЦ "Охрана". - 2008. - 222 с.; Гонта А. Практическое пособие по CCTV. - М.: Спецкнига. - 2006. - 80 с.; Козлов А.А., Козлов С.A. CCTV. Охранное видеонаблюдение: метод. указания к лаб. работам. - Владимир: Изд-во Владим. гос. ун-та. - 2008. - 36 с.], позволяющую в оптических приборах регулировать относительное отверстие объектива изменением диаметра проходящих через него пучков света. Диафрагма объектива представляет непрозрачную перегородку с круглым отверстием переменного диаметра, центр которого совпадает с оптической осью. Диафрагма поддерживает оптимальную яркость на элементе видеоматрицы и обеспечивает его резкость, четкость и правильность экспонирования для достижения хорошей контрастности и разрешения. Диафрагма применяется также для контроля глубины резкости. Регулировка диаметра отверстия выполняется тремя основными способами:

револьверная диафрагма представляет собой поворотный диск с набором отверстий разного диаметра.

вставная диафрагма представляет собой набор пластин с разными отверстиями, вставляющихся в прорезь оправы объектива между линзами.

ирисовая диафрагма позволяет бесступенчато регулировать относительное отверстие и имеет самую компактную конструкцию.

- привод управления диафрагмой (ПУД) 5 [Гонта А. Системы охранного телевидения. Методическое пособие. - М.: НИЦ "Охрана". - 2008. - 222 с.; Гонта А. Практическое пособие по CCTV. - М.: Спецкнига. - 2006. - 80 с.; Козлов А.А., Козлов С.A. CCTV. Охранное видеонаблюдение: метод. указания к лаб. работам. - Владимир: Изд-во Владим. гос. ун-та. - 2008. - 36 с.] может быть фиксированным или регулируемым. Авторегулируемая диафрагма⁴ (⁴ Диафрагма - непрозрачная преграда с отверстием, расположенная на пути светового потока.) (АРД) - это автоматическое регулирование величины диафрагмы для контроля количества света, попадающего на матрицу. Диафрагма регулирует количество света, попадающего на ПЗС - матрицу видеокамеры, и влияет на конечное изображение. Если диафрагма мала, то на матрицу попадает большое количество света, что особенно важно для получения качественного изображения при слабом освещении. Если же величина диафрагмы большая, то количество света, попадающее на матрицу, уменьшается, что предотвращает засвеченный кадр. Значение диафрагмы регулирует яркость изображения и меняется в зависимости от освещенности.

Регулировка диафрагм вручную не подходит для систем видеонаблюдения, поэтому в данных камерах устанавливается Auto-Iris (технология автодиафрагмы). Существует три варианта автоматической регулировки диафрагмы:

контроль по постоянному току (Direct Drive) (размещается в камере);

контроль по видеосигналу (Video Drive) (размещается в объективе с использованием видеолинз). Регулировка Video Drive позволяет точнее настроить диафрагму и срабатывает даже при попадании прямых солнечных лучей. Технология Direct Drive дороже и применяется не всегда;

автоматический контроль и управление диафрагмой (P-Iris) с высокой точностью, причем в комплект входят объектив P-Iris и специальное программное обеспечение для оптимизации качества изображения.

Объективы P-Iris оснащены шаговым электроприводом, который управляет диафрагмой в цифровом режиме. Это позволяет оптимизировать открытие диафрагмы при всех условиях освещения, и как результат, получаются более контрастные и четкие изображения с лучшим разрешением и глубиной резкости. В условиях яркого освещения диафрагма с технологией управления P-Iris ограничивает закрытие отверстия, чтобы избежать размытия (дифракции), вызываемого сильным сужением отверстия ирисовой диафрагмы.

Диафрагма состоит из лепестков, количество которых может быть от 3 до 20. Чем больше лепестков в диафрагме, тем больше создается равномерно освещенное световое пятно на ПЗС-матрице. Диафрагма влияет на:

аберрацию - чем меньше отверстие диафрагмы, тем ниже уровень аберраций и выше разрешение, но до определенного предела, далее разрешение падает из-за влияния дифракции. Это вызывает размытость изображения, получаемого от видеокамеры мегапиксельных систем с малым размером ячейки матрицы;

глубину резкости - чем меньше отверстие, тем больше глубина резкости.

Объективы с автоматической диафрагмой управляют световым потоком за счет сигналов, приходящих от видеокамеры. При Direct Drive схема принятия решения о положении диафрагмы находится в видеокамере, а в объективе имеется только мотор как исполнительное устройство.

При Video Drive анализ видеосигнала и управление мотором диафрагмы осуществляет специальное устройство, размещенное в объективе. Для управления диафрагмой по видеосигналу присутствуют два регулирующих элемента «Level» и «ALC». Регулировка «Level» используется для настройки режима работы электронной схемы объектива по реальной освещенности. При вращении регулятора «Level» изменяется значение диафрагмы. На мониторе изменение положения регулятора «Level» воспринимается как изменение яркости изображения. Регулятор «ALC» используется для устранения обратной засветки в высококонтрастных сюжетах и имеет две области регулирования: средних значений (обозначается «А») и область пиковых значений (обозначается «Р»).

- объектив (трансфокатор⁵ (⁵ Трансфокатор (вариообъектив или зум-объектив от англ. zoom) - объектив переменного фокусного расстояния, которое может изменяется ступенчато или плавно.)) (О (ТФ)) 6 [Гонта А. Системы охранного телевидения. Методическое пособие. - М.: НИЦ "Охрана". - 2008. - 222 с.; Гонта А. Практическое пособие по CCTV. - М.: Спецкнига. - 2006. - 80 с.; Козлов А.А., Козлов С.A. CCTV. Охранное видеонаблюдение: метод. указания к лаб. работам. - Владимир: Изд-во Владим. гос. ун-та. - 2008. - 36 с.], фокусирующий изображения объекта на матрице, к которому предъявляются требования повышенной разрешающей способности из-за малого размера элемента разложения прибора с зарядовой связью (ПЗС);

- устройство регулирования фокусного расстояния (УРФР) 7 [Гонта А. Системы охранного телевидения. Методическое пособие. - М.: НИЦ "Охрана". - 2008. - 222 с.; Гонта А. Практическое пособие по CCTV. - М.: Спецкнига. - 2006. - 80 с.; Козлов А.А., Козлов С.A. CCTV. Охранное видеонаблюдение: метод. указания к лаб. работам. - Владимир: Изд-во Владим. гос. ун-та. - 2008. - 36 с.] имеет многолинзовую конструкцию (вариообъектив, трансфокатор), и количество оптических элементов в них может превышать 20. Приводы автофокуса используют шаговые электродвигатели, расположенные в корпусе камеры.

Автофокус (AF) - адаптивная система автоматической фокусировки объектива камеры на один или несколько объектов съемки и состоит из датчика, управляющей системы и привода, перемещающего оправу объектива или его отдельные линзы. При автофокусе определяют точное расстояние от фокальной плоскости до объекта съемки, по способу определения этого параметра системы автофокуса делятся на активные и пассивные. В активных системах вычисляют расстояние, на которое фокусируется объектив, при помощи эхолокации или триангуляции. Активные системы не зависят от условий освещения и могут наводиться в полной темноте на объекты без контрастных деталей, однако в них невозможна точная фокусировка. Пассивный автофокус основан на анализе световых пучков, попадающих внутрь камеры, и ничего не излучает в окружающее пространство. Эти технологии называются фазовым автофокусом. При этом отдельные линзы перемещаются внутри оправы и относительно друг друга, меняя фокусное расстояние всей системы при неизменном положении фокальной плоскости. Устройство регулирования фокусного расстояния и привод управления диафрагмой может быть реализованы на контроллере IEEE 1394⁶ (⁶ IEEE 1394 (FireWire, i-Link) - последовательная высокоскоростная шина, предназначенная для обмена цифровой информацией между компьютером и другими электронными устройствами с последовательным интерфейсом. IEEE-1394 предоставляет пользователям высокоскоростной доступ к различным устройствам ввода, включая видеокамеры.) интерфейса для взаимосвязи камеры с внешними устройствами;

- светофильтр (СФ) 8 разделяет световой поток на спектральные составляющие - красную (R), зеленую (G) и синюю (В) - по числу преобразователей изображения на видеоматрице;

- видеоматрица преобразователя (Вм) 9 - это прибор, осуществляющий преобразование светового сигнала в электрический импульсы с дискретизацией изображения. По методам считывания и анализа, запасенных в сенсорах зарядов существуют линейные, с чересстрочным чтением, полнокадровые матрицы ПЗС.

В настоящее время в цифровых камерах в качестве светочувствительных элементов используют приборы с зарядовой связью ПЗС-матрицы [Носов Ю.Р. Приборы с зарядовой связью. - М.: Знание, Радиоэлектроника и связь. 1989 №12. - 64 с.] и активные пиксельные датчики [Ильин А.А., Овчинников А.М., Овчинников М.Ю. Принцип работы и устройство активно-пиксельных датчиков/Препринты ИПМ им. М.В. Келдыша. - 2003. - 25 с.] CMOS APS (CMOS-Complementary Metal Oxyde Semiconductor, APS-Active Pixel Sensor), основанные на сенсорах, созданных на комплементарных⁷ (⁷ Комплементарная структура - это чип, построенный по схеме, в которой р-канальные и n-канальные полевые транзисторы используются парами и взаимно дополняют друг друга.) структурах металл-окисел-полупроводник (КМОП).

Каждый пиксель активно-пиксельного сенсора изображения в отличие от ПЗС-матриц содержит не только фотодетекторный элемент (фотодиод или фотозатвор (photogate)), но также и активно-транзисторную схему («обвязку») для считывания сигнала с пикселя. Технология КМОП позволяет интегрировать всю систему формирования изображения, включая массив светочувствительных элементов и управляющие схемы, на одном кристалле кремния.

- Схема управления видеоматрица СУВм 10. Видеоматрица представляет собой микросхему средней интеграции, состоящую из четырех основных секций - накопления, памяти, нижнего однострочного регистра и выходного устройства.

Выходное устройство ПЗС предназначено для преобразования зарядовых пакетов в напряжение видеосигнала.

- Контроллер интерфейса видеоматрицы (КИВм) 11.

Модуль обработки сигналов (средний уровень) 2 АПК автоматического получения и обработки изображений реализует функцию ввода-вывода изображений и преобразует сигналы, полученные от изображения, пригодным для работы оператора. В его состав входит

1. Аналого-цифровой преобразователь (АЦП) 12 необходим для получения цифрового сигнала изображения для последующей обработки.

2. Блок синхронизации (БС) 13 - предназначается для выработки импульсных последовательностей согласующихся по времени работу узлов и устройств в подсистеме или системе в аппаратных средствах.

3. Блок регистра данных (БРД) 14 - служат для хранения промежуточных вычислений.

4. Цифровой процессор сигналов (DSP) (ЦПС) 15 реализуется на специализированной ЭВМ и имеет функциональные возможности и конструктивные особенности, позволяющие использовать их для эффективного решения задач цифровой обработки сигналов в составе комплекса обработки данных.

Также как и центральный процессор, цифровой процессор сигналов является "мозгом" АПК автоматического получения и обработки изображений. Цифровой процессор сигналов 15 содержит буферное запоминающее устройство (БЗУ) 16, который представляет собой динамическую память объемом 256 Кб. Главной задачей цифрового процессора сигналов является обработка сигналов трех цветов изображения, поступающих с АЦП 13, обеспечивающая высокую разрешающую способность, широкий динамический диапазон, верность цветопередачи и высокая надежность работы камеры, выводимого на экран монитора, т.е. решение обратной задачи, освобождая от этой обязанности центральный процессор верхнего уровня АПК автоматического получения и обработки изображений. Для ввода/вывода информации на выходе ЦПС 15 имеется регистр ввода/вывода Р ВВ/В 17.

Задачи ЦПС 15 (DSP): управление видеоматрицей 9, управление АПК автоматического получения и обработки изображений в целом, формирование служебного кадра, а обработка изображения может выполняться ПЛИС.

5. Мультиплексор адреса (МПА) (MUXA) 18 представляет собой комбинированное цифровое устройство, обеспечивающее поочередную передачу на один выход нескольких входных сигналов. Он позволяет передавать (коммутировать) сигнал с желаемого входа на выход, в этом случае выбор требующегося входа реализуется определенной комбинацией управляющих сигналов.

6. Блок управления (БУ) 19 служит для согласования всех блоков камеры и формирования управляющих импульсов. БУ 19 реализован на базе управляющей ЭВМ характеризуются набором возможностей работы в режиме реального времени как подсистемы ввода-вывода, так и свойств операционной системы. Это специально спроектированные ПК, совместимые со стандартными архитектурно и программно, но отличающиеся конструктивным исполнением. Так для управления СУВм 10 фотоприемного устройства нижнего уровня 1 АПК автоматического получения и обработки изображений используется КИВм 11, а управление серводвигателем ПУД 5 и УРФР 7 осуществляется также посредством соответствующего контроллера. В состав БУ входят (на фиг. 1 данные элементы не выделены из структуры БУ):

Оперативное запоминающее устройство.

Перепрограммируемое запоминающее устройство. В нем может храниться следующая информация:

- операционная система камеры, обеспечивающая функционирование устройства;

- системные настройки параметров изображения и сетевые настройки;

- программное обеспечение для анализа изображения.

Модуль вывода изображения (верхний уровень) 3

- содержит блок параллельного обмена (БПО-интерфейс) 20, который реализует стандарты ОСТ 11.305.903-80 и ГОСТ 26765.51-86, определяющие скорость обмена до 5,6 Мбайт/с при разрядности передаваемых данных 8 или 16 бит и разрядности адреса от 16 до 24 бит, а также процедуры обмена процессора и периферийных модулей внутри ЭВМ с применением мультиплексной шины адреса и данных, и ориентирован на использование в системах малой и средней производительности. Связь между двумя устройствами, подключенными к интерфейсу, осуществляется по принципу «управляющий» - «управляемый» (активный - пассивный). В каждый момент времени только одно устройство является активным. Активное (управляющее) устройство управляет циклами обращения, при необходимости обслуживает прерывания и осуществляет арбитраж. При параллельном интерфейсе - для каждого бита передаваемой группы используется своя сигнальная линия (с двоичным представлением) и все биты группы передаются за один квант времени, обеспечивая быструю передачу данных.

- выполнен в виде ЭВМ 21 общего назначения, которая позволяет решать большинство возникающих технических задач, включая задачи сопряжения с ЭВМ широкой номенклатуры внешних устройств и датчиков, т.е. передачу изображения в виде электрических сигналов внешним устройствам, например, на дисплей. Все видеоустройства имеют для двумерного (плоского) изображения плоский экран. ЭВМ общего назначения включает стандартный набор компонентов:

- Центральный процессор и арифметический сопроцессор, выполняющие преобразования информации для выработки управляющего воздействия, организующий взаимодействие всех элементов ЭВМ, и состоящий из арифметического, логического, управляющего и оперативного запоминающего устройств (ОЗУ).

- Быстродействующее запоминающее устройство для сбора и преобразования информации о текущем состоянии формируемого и обрабатываемого изображения и действующих возмущениях.

- Внешние накопительные устройства различной природы, запоминающие сведения об изображении и текущие задания, поступающие во внешнюю память с пульта управления.

- Мультимедийные (графическое и звуковое) устройства - это устройства ПК, которые служат для работы со звуковой, графической и видеоинформацией.

- Терминал пользователя (дисплей, клавиатура, мышь и т.п.), необходимые для организации связи человека с машиной, предназначенные для получения оперативным персоналом информации о ходе процесса формирования и обработки изображения, коррекции алгоритма управления и средства ввода-вывода информации, включающие различные регистрирующие, индицирующие и запоминающие устройства (записи на кассеты и гибкие диски), экранные пульты - дисплеи, принтеры, графопостроители.

- Средства сетевой поддержки дают ОС возможность предоставлять локальные ресурсы (дисковое пространство, принтеры и т.д.) и обращаться к ресурсам других компьютеров по сети.

- Возможность подключения дополнительных интерфейсных устройств для прямых связей с процессором формирования и обработки изображения, передающих управляющие воздействия в виде контроллеров, присоединяемых к шине ЭВМ.

- Возможность установки разнообразного программного обеспечения.

Последние два свойства определяют открытость архитектуры ЭВМ. Свойство открытости архитектуры является непременным условием универсальности при широком применении. Универсальность ЭВМ как средства решения самых разнообразных задач, огромные объемы информации, перерабатываемые и хранимые в ЭВМ, мощные алгоритмические возможности сделали ЭВМ эффективным средством решения современных задач управления.

Устройство автоматического получения и обработки изображений может содержать модули, выполняющие алгоритмы обработки изображения, адаптированные к низкой освещенности, и модули, использующие алгоритмы обработки изображения в условиях повышенной яркости, для которых можно использовать одни и те же вычислительные ресурсы.

В заключение анализа АПК автоматического получения и обработки изображений следует отметить, что RAW изображение, получаемое Вм 9, повреждается шумами и помехами различного происхождения (шумы видеодатчика, шумы зернистости фотоматериалов и ошибки в канале передачи). Их влияние можно минимизировать, пользуясь классическими методами статистической фильтрации. Шумы видеоматрицы или ошибки в канале передачи обычно проявляются на изображении как разрозненные изменения изолированных элементов, не обладающие пространственной корреляцией. Искаженные элементы заметно отличаются от соседних элементов, что послужило основой для многих алгоритмов, обеспечивающих подавление шума. Поскольку шум пространственно декоррелирован, в его спектре содержатся более высокие пространственные частоты, чем в спектре обычного изображения. Простая низкочастотная пространственная фильтрация служит эффективным средством сглаживания шумов.

Такие фильтры используются как для понижения визуального шума, так и для удаления высокочастотных компонент из изображения. Диапазон частоты низкочастотных фильтров определяется размером и коэффициентами маски фильтра. По мере того как маска низкочастотного фильтра проходит (сканирует) через область изображения, новое значение преобразуемых элементов вычисляется как сумма коэффициентов маски, умноженных на значения элементов изображения в области примыкания. Низкочастотная фильтрация используется для улучшения резкости изображения.

Устройства, анализ которых дан ранее, образуют 3-х уровневую структуру АПК автоматического получения и обработки изображений⁸, (⁸ Обработка изображений - любая форма обработки информации, для которой входные данные представлены изображением, например, фотографиями или видеокадрами. Обработка изображений может осуществляться как для получения изображения на выходе, так и для получения другой информации. Кроме статичных двухмерных изображений, обрабатывать требуется также изображения, изменяющиеся со временем.) приведенную на фиг. 1, и работает следующим образом.

Свет, излучаемый или отражаемый объектом, оптической системой модуля 1 АПК автоматического получения и обработки изображений проецируется на участок изображение объекта в плоскости Вм 9. Плоское изображение - это функции зависимости цвета от координат, принимающих дискретные значения. Известны два основных подхода к формированию и хранению изображений: растровая графика⁹, (⁹ Растровое изображение - изображение, представляющее собой сетку пикселей - цветных точек (обычно прямоугольных) на мониторе и других отображающих устройствах.) векторная графика¹⁰ (¹⁰ Векторная графика - способ представления объектов и изображений (формат описания) в компьютерной графике, основанный на математическом описании элементарных геометрических объектов, обычно называемых примитивами.) и их комбинации. Сегодня редактирование изображений проводится на компьютере растровыми редакторами в цифровом виде.

На начальном этапе работы АПК автоматического получения и обработки изображений по команде с 3-го уровня через блок управления 2-го уровня осуществляются «ALC» и «Level» настройки исходного состояния Д 4 для нормальной работы О (ТФ) 6 во всем диапазоне освещенностей и «обратного фокуса» объектива 1-го уровня АПК автоматического получения и обработки изображений, которая определяет степень деталировки и глубину резкости изображения.

I. Для начальной настройки автодиафрагмы устанавливают перед видеокамерой тест-таблицу, состоящую из полос разной яркости. К видеокамере подключается монитор и тест-таблица отображается на экране в виде шести градаций яркости. К дополнительному выходу монитора подключают осциллограф и настраивают его на отображение одной строки. На экране осциллографа выводится шесть равномерно расположенных ступенек (фиг. 2). Нижняя ступенька соответствует черной полосе на тест-таблице, а верхняя - белой полосе. Ступеньки между ними передают промежуточные градации яркости.

Увеличение яркости на входе видеокамеры присутствует и в ее выходном сигнале в виде увеличенной амплитуды белой полосы относительно «уровня белого» и ПУД 5 уменьшает отверстие Д 4, уменьшая и амплитуду белой полосы, возвращая ее к «уровню белого» видеосигнала.

Но с уменьшением амплитуды белой полосы пропорционально уменьшаются уровни и всех остальных градаций яркости. В результате вместо шести градаций с равномерным изменением яркости на экране получают три градации, причем большая часть экрана становится черной. Такой случай характерен при работе камеры в высококонтрастных сюжетах, когда объект наблюдения, находящийся на переднем плане, представляет темное пятно, а фон - это ярко освещенный задний план. Манипулируя регуляторами «Level» и «ALC» удается сохранить большую часть исходных градаций яркости. Полученная при тестировании освещенность запоминается.

При эксплуатации АПК автоматического получения и обработки изображений возможно изменение освещенности объекта. В этом случае манипулируя регуляторами «Level» и «ALC» осуществляют в реальном времени управление диафрагмой освещенность матрицы пикселей, обеспечивая запомненные по результатам тестирования градаций яркости.

Так при большой освещенности технология P-Iris не допускает сильного сужения отверстия Д 4 фотоприемного устройства 1 за счет совместной работой электродвигателя ПУД 5 для точной настройки отверстия Д 4 и специального программного обеспечения. Если Д 4 сузилась до возможного неискажающего предела, а количество света падающего на матрицу велико, то программно регулируют чувствительность матрицы. Через интерфейс задается предпочитаемые пределы автоматического регулирования диаметра Д 4. P-Iris повышает глубину резкости изображения, то есть расстояние между ближними и удаленными объектами в поле зрения фотоприемного устройства 1, когда они еще находятся в фокусе. P-Iris позволяет проводить качественное видеонаблюдение в широком диапазоне освещенностей и расстояний.

II. После автоматической настройки исходного состояния диафрагмы Д 4 в объективе осуществляется исходная настройка «обратного фокуса» объектива. Для О (ТФ) 6 настройка обратного фокуса обеспечивает резкого изображения во всем диапазоне изменения фокусного расстояния. Для этого определяют расстояние от фотоприемного устройства 1 до объекта фокусировки, по которому проверяют наличие резкости или ее отсутствие, и на определенном удалении от фотоприемного устройства 1 найти объект, по которому, используя, например, фазовый способ автофокуса производят наводку на резкость. Фазовый автофокус требует отдельного оптического тракта, в котором расположен детектор фокусировки. Он устанавливается в нижней части фотоприемного устройства 1, а свет к нему попадает при помощи вспомогательного зеркала, закрепленного на шарнире под полупрозрачным основным. При этом длина оптического пути света от О (ТФ) 6 до детектора в процессе визирования и фокусировки должна точно совпадать с длиной пути до матрицы во время экспозиции [Паршев А. Технология автофокуса. Объектив и автофокус: трагедия непонимания// Foto&video: журнал. - 2008. - №2. - С. 82-87]. Это условие достигается юстировкой О (ТФ) 6, от точности которой зависит точность работы автофокуса [Волков Ю., Капустина Н., Коротков В. Системы автоматической фокусировки/Советское фото. - 1986. - №11. - С. 42].

На фиг. 3 приведен пример реализации фазового автофокуса (нумерация соответствует нумерации оригинала в соответствии с US pat 5589909 fig 2.png), где 30 - выходной зрачок объектива; 72 - коллективная линза; 70 - окно ограничительной рамки; 75 - маска; 76, 77 - микрообъективы; 8 - сенсор; 80, 81 - ПЗС-линейки.

Детектор состоит из конденсора 72, расположенного в фокальной плоскости объектива, и сенсора 8 с ПЗС-линейками 80 и 81. В процессе фокусировки сравниваются противоположные области 31 и 32 выходного зрачка 30 объектива. Для этого в маске 75, на которой конденсор строит действительное изображение выходного зрачка объектива, устанавливаются два микрообъектива 76 и 77, формирующих на линейках 80 и 81 изображения объекта съемки, видимого через разные половины выходного зрачка. Размер изображений ограничивается окном 70 рамки 71 конденсора. Если объектив сфокусирован точно, изображения объекта находятся в центрах соседних ПЗС-линеек и сигналы, получаемые процессором с разных линеек, совпадают (находятся «в фазе»). При неточной фокусировке эти изображения из-за параллакса смещаются внутрь или наружу линеек в зависимости от направления ошибки, и сигналы перестают совпадать. На основе разности фаз сигналов формируется команда для привода, производящего фокусировку.

Фазовый автофокус обеспечивает максимальное быстродействие, поскольку в отличие от контрастного не требует сравнения резкости для разных положений объектива, а величина и направление его перемещения известны сразу. Точность фокусировки находится в прямой зависимости от расстояния (базиса) между сравниваемыми зонами 31 и 32 выходного зрачка.

Объектив О (ТФ) 6 с автоматической диафрагмой управляют световым потоком за счет обратной связи сигналов, приходящих от 2-го и 3-го уровней устройства формирования и обработки изображения.

Каждый из массива пикселей имеет выводы на сетку металлических проводников, что позволяет временным, считывающим и выходным сигналам проходить по всем ячейкам. Выводы данной сетки подсоединены к считывающим и декодирующим элементам, которые располагаются вне массива пикселей.

Это позволяет по синхронизующим сигналам с генератора импульсов считывать накопленные заряды со всего массива пикселей, с некоторых частей этого массива и с отдельных пикселей с использованием простой XY адресации, после чего поскольку полученный сигнал слишком мал для самостоятельного использования он усиливается усилителем. Формирование напряжения, прикладываемого к пикселям, является функцией столбцового драйвера, который является коммутатором опорных напряжений, входящий в состав ZCD-панели.

При запуске процесса автоматического получения и обработки изображений по команде с ЭВМ 21 на верхнем уровне в модуле 3 на нижнем уровне в модуле 1 каждый цикл начинается выстановкой кода координаты опрашиваемого пикселя и появлением тактового сигнала на входе КИВм 11 с блока управления модуля 2. Осуществляется последовательный опрос СУВм 10 пикселей ВМ 9. При этом стандартный сигнал с выхода СУВм 10 через разъем подается на входы БС 12 и АЦП 13 среднего уровня в модуле 2.

В модуле 2 на среднем уровне, полученный аналоговый сигнал с Вм 9, на АЦП 13 преобразуется в цифровую форму, т.е. в виде отсчетов по обеим координатам и по амплитуде. Временная дискретизация¹¹ (¹¹ Дискретизация - представление координат в виде конечного множества отсчетов.) и квантование¹² (¹² Квантование - представление амплитуды значениями из конечного множества.) по уровню производится в АЦП 13. Выходным сигналом АЦП 13 является последовательность чисел, поступающая в ЦПС 15, выполняющий требуемую обработку. Так АЦП 13, который преобразует входной сигнал в 8-разрядные комбинации двоичного кода с частотой квантования 10 Мгц, обеспечивает передачу в БРД 14 512 байтов информации в течение одной строки развертки. В БС 12 производится выделение строчных и кадровых синхроимпульсов из сигнала, которые, поступая в БУ 19, запускают цикл записи-чтения БЗУ 16, формируют импульсы запуска АЦП 13 и другие управляющие сигналы.

БРД 14 осуществляет прием 8-разрядных кодовых комбинаций от АЦП 13 и группирует их в 16-разрядные кодовые слова, пересылая их в БЗУ 16 ЦПС 15. Тот же регистр БРД 14 используется для запоминания данных, поступающих от ЭВМ, для их последующего размещения в буферной памяти БЗУ 16.

БЗУ 16 ЦПС 15 обеспечивает хранение одного кадра изображения в формате 512×512 8-разрядных элементов. МПА 18 осуществляет временное разделение адреса строки столбцов и передает на адресную шину БЗУ 16 комбинации А_стр и А_стб в соответствующие моменты цикла обращения к памяти.

Регенерация памяти происходит во время обратного хода строчной развертки изображения последовательным перебором адреса строк ЗУ. Заполнение БЗУ 16 осуществляется в течение двух полукадров изображения (1/25 сек).

При заполнении последней ячейки памяти запись в БЗУ 16 прекращается, и устройство переходит в режим "Чтение".

Количество памяти для хранения цифрового изображения зависит от разрешения и от глубины цвета, и может быть приблизительно определено умножением количества пикселей на количество бит соотносящих одному пикселю.

БУ 19 содержит кварцевый генератор (ƒ=20 Мгц), формирователи служебных сигналов, схему синхронизации. В блоке формируются импульсы CAS¹³ (¹³ CAS - сигнал выбора столбца матрицы памяти.), RAS¹⁴ (¹⁴ RAS - сигнал выбора микросхемы - выбор строки матрицы памяти.), WR/RD¹⁵ (¹⁵ WR/RD - сигнал управления записью/чтением информации.), обеспечивающие работу динамической памяти, производится синхронизация цикла обращения к памяти с сигналом, вырабатываются сигналы управления всеми блоками.

БПО 20 осуществляет обмен данными между 2-м уровнем устройства и ЭВМ IBM PC/AT 21. БПО 20 осуществляет запись/считывание 16-битных слов с формированием соответствующих управляющих сигналов с помощью регистра команд и состояния (RKS), регистра данных (RD) и регистра адреса (RA).

При этом на верхнем уровне модуль 3 в режиме реального времени осуществляет сопряжение с ЭВМ 21 внешних устройств и датчиков, т.е. передача изображения в виде электрических сигналов внешним устройствам на персональный компьютер и с помощью специального программного обеспечения происходит преобразование полученных данных в формат, с которым работает пользователь, и выводятся на экран монитора.

ЭВМ 21 осуществляется сбор и преобразование информации о текущем состоянии процесса получения и обработки изображений и действующих возмущений с последующим запоминанием сведений о получении и обработке изображений и текущие задания, поступающие во внешнюю память.

В модуле 3 автоматически выполняются заданные алгоритмы преобразования информации для выработки управляющего воздействия, организующий взаимодействие всех элементов ЭВМ 21, и состоящий из арифметического, логического, управляющего и ОЗУ; блок прямых связей с объектом управления, передающих управляющие воздействия.

По ситуации в режиме реального времени на ЭВМ 21 поступает информация о возможности подключения дополнительных интерфейсных устройств, в том числе, и в виде контроллеров, присоединяемых к шине ЭВМ и их отключение.

По запросу оператора на экран ЭВМ 21 возможна связь человека с машиной, предназначенные для получения оперативным персоналом информации о ходе технологии процесса получения и обработки изображений, коррекции алгоритма управления и принятия необходимых мер по вводе-выводе информации, включающие различные регистрирующие и запоминающие устройства, экранные пульты - дисплеи, принтера, графопостроители.

Использование ЭВМ 21 общего назначения упрощает и ускоряет процесс автоматического получения и обработки изображений. Универсальность цифровых вычислительных машин как средства решения самых разнообразных задач, огромные объемы информации, перерабатываемые и хранимые в ЭВМ 21, мощные алгоритмические возможности сделали ЭВМ 21 эффективным средством решения современных задач получения и обработки изображений.

При воспроизведении динамических изображений память делят на страницы, которые поочередно выводятся на экран при каждой регенерации (пока одна страница выводится на экран, вторая заполняется очередным кадром).

Данное устройство позволяет эффективно регистрировать, обрабатывать и визуализировать слабоконтрастные изображения для широкого круга задач. Т.е. речь идет о базовом устройстве создания сквозного формата получения и обработки цифровых изображений в любом диапазоне сигналов в зависимости от существующих средств сканирования. Полученные изображения структурно подготовлены для непосредственной эффективной реализации процедур по всем классам обработки: хранение и преобразование (сжатие с потерями, групповое сжатие, редактирование); анализ (распознавание, фильтрация); синтез (аппроксимация, векторизация); передача по каналам связи (с подтверждением или без, с защитой или без).