Результат интеллектуальной деятельности: СПОСОБ СОПРОВОЖДЕНИЯ ОБЪЕКТОВ

Изобретение относится к способам сопровождения объектов, преимущественно наземных целей, по оцифрованному сигналу телевизионного изображения.

Известен способ сопровождения объектов по телевизионному сигналу, при котором в качестве эталонного изображения объекта сопровождения выбирают центральный участок первого кадра телевизионного изображения, а на втором и всех последующих кадрах телевизионного изображения в каждой точке изображения вычисляют разностную корреляционную функцию [авторское свидетельство СССР №1562980, МПК H04N 7/18, Устройство определения координат объекта / Алпатов Б.А. и др., заявл. 01.02.1988, опубл. 07.05.1990].

В этом способе за координаты объекта сопровождения на обрабатываемом кадре изображения принимают точку минимума разностной корреляционной функции. После чего производят обновление изображения объекта сопровождения путем его сглаживания посредством межкадровой экспоненциальной фильтрации.

При этом при вычислении разностной корреляционной функции сумму модулей разностей сигналов анализируемого изображения и сигналов изображения объекта сопровождения умножают на весовую функцию, сформированную в процессе обработки предыдущего кадра.

В процессе обработки предыдущего кадра указанную весовую функцию формируют путем выделения на сглаженном изображении объекта сопровождения множества точек, в которых значения сигнала больше заранее заданного порогового значения. В этих точках точкам весовой функции придают значения «1», а в остальных точках - значения «0».

При сопровождении движущегося объекта и при изменении ракурса объекта на текущем кадре в окне с объектом сопровождения появятся точки, принадлежащие объекту сопровождения, которые на предыдущем кадре были фоном. Понятно, что в процессе обработки предыдущего кадра в этих точках значения сигнала были меньше порогового значения и в этих точках весовой функции были приданы нулевые значения. Поскольку при вычислении разностной корреляционной функции сумма модулей разностей сигналов анализируемого изображения и сигналов изображения объекта сопровождения умножается на весовую функцию, то при обработке текущего кадра в этих точках разностная корреляционная функция будет также иметь нулевые значения.

Таким образом, с помощью этого способа невозможно сопровождать движущиеся объекты и объекты с быстрым межкадровым изменением ракурса, поскольку на каждом новом кадре все точки объекта сопровождения, которые на предыдущем кадре были фоном, будут обнуляться.

Известен способ сопровождения объектов по телевизионному сигналу, при котором выполняют предварительную обработку оцифрованного видеосигнала телевизионного изображения, вычисляют разностную корреляционную функцию и находят минимум разностной корреляционной функции [патент РФ №2153235, МПК H04N 7/18, Способ слежения за объектом и устройство для его осуществления / Шахрай В.И. и др., заявл. 25.01.1991, опубл. 20.07.2000].

Недостатком известного способа является то, что предварительную обработку оцифрованного видеосигнала телевизионного изображения объекта выполняют дифференциальным оператором, получая градиентное изображение. Как известно, обработка цифрового сигнала дифференциальным оператором подчеркивает все высокочастотные составляющие изображения. Поэтому после обработки дифференциальным оператором изображения, зашумленного помехами, на изображении будет большое количество ложных целей или точек фона, которые могут быть ошибочно приняты за объект. При этом количество ложных целей может оказаться настолько большим, что это существенно затормозит или даже сделает невозможной обработку телевизионного изображения в режиме реального времени.

Кроме того, в известном способе вычисление разностной корреляционной функции производят путем сравнения градиентов яркости эталонного и текущего изображений в точках изображения, определяемых эталонной маской. А эталонную маску формируют из адресов локальных экстремумов, в которых градиент яркости превышает заданный порог. Вследствие этого эталонная маска имеет форму, повторяющую контур объекта сопровождения. Это может привести к потере объекта сопровождения, поскольку при его перемещении по фону с неоднородной яркостью контур градиентного изображения объекта может сильно изменяться.

В известном способе в качестве новых координат объекта сопровождения принимают координаты точки минимума разностной корреляционной функции. При этом при выборе этой точки минимума не учитывается удаленность этой точки от центра эталона. Это также увеличивает вероятность «перескока» на ложную цель., если сумма градиентов яркости этой ложной цели будет близка к сумме градиентов яркости эталонной маски.

Вследствие всех вышеперечисленных недостатков известный способ сопровождения объектов будет хорошо работать только по высококонтрастному изображению, на котором отсутствуют помехи, и при отношении сигнал/шум (ОСШ) более 6 дБ. В реальных условиях наблюдения такой способ сопровождения будет неработоспособным.

Известен способ сопровождения объектов по оцифрованному сигналу телевизионного изображения, при котором оператор на экране телевизионного изображения наводит окно на объект сопровождения, и вычисляют корреляционную функцию F(α,β) яркостей h(i, j) точек изображения в окне с объектом сопровождения и яркостей точек анализируемого изображения в окнах, размеры которых совпадают с размерами окна с объектом сопровождения, где i и j - координаты точек телевизионного изображения, находящихся внутри окна с объектом сопровождения, а α и β - величины смещения координат центра окна анализируемого изображения относительно координат центра окна с объектом сопровождения по осям, соответственно, i и j [Телевизионные методы сопровождения объектов в сложных условиях наблюдения. В.И. Можейко и др. / Изв. ВУЗов. Приборостроение. 2009. Т. 52, №8, с. 20-29.] - прототип.

В этом способе сопровождения объектов перед вычислением корреляционной функции F(α, β) яркостное изображение, полученное в окне, наведенном оператором на объект сопровождения, обрабатывают дифференциальным оператором, формируя контур объекта сопровождения, сравнивают полученное градиентное изображение с пороговым значением, создавая бинарное изображение, заполняют контур объекта посредством дилатации и запоминают координаты точек полученного бинарного изображения в качестве эталонной маски.

Недостатком этого способа сопровождения является то, что корреляционную функцию F(α,β) вычисляют в окнах, размеры и форма которых совпадает с размерами и формой эталонной маски. При значительных размерах объекта сопровождения дилатация не позволит заполнить точки изображения внутри контура объекта сопровождения. В результате корреляционную функцию F(α,β) будут вычислять по точкам изображения, координаты которых в окне анализируемого изображения совпадают с координатами точек контура объекта сопровождения. Это может привести к потере объекта сопровождения, поскольку при перемещении объекта сопровождения по фону с неоднородной яркостью контур градиентного изображения объекта может сильно изменяться.

Кроме того, в этом случае будет сложно выделить контур объекта сопровождения на телевизионных изображениях, зашумленных помехами, в условиях плохой видимости, например во время дождя или снегопада, а также при работе по низкоконтрастному изображению с отношением сигнал/шум (ОСШ) менее 3 дБ. Известный способ позволит устойчиво выделять контур объекта только на высококонтрастных изображениях при отношении сигнал/шум более 6 дБ. Это делает известный способ сопровождения неработоспособным в реальных условиях наблюдения.

Кроме того, в известном способе не учитывается удаленность ложной цели от центра изображения, что также может привести к потере объекта сопровождения, если в кадре окажется другой объект, сумма градиентов яркости которого будет близка к сумме градиентов яркости эталонной маски.

Задача, на решение которой направлено предлагаемое изобретение, - обеспечение возможности сопровождения объектов на низкоконтрастных телевизионных изображениях с отношением сигнал/шум (ОСШ) менее 3 дБ, сопровождения объектов, перемещающихся по фону с неоднородной яркостью, а также сопровождения объектов на телевизионных изображениях, зашумленных помехами и в условиях плохой видимости.

Для решения этой задачи в способе сопровождения объектов по оцифрованному сигналу телевизионного изображения, при котором оператор на экране телевизионного изображения наводит окно на объект сопровождения, и вычисляют корреляционную функцию F(a,P) яркостей h(i, у) точек изображения в окне с объектом сопровождения и яркостей точек анализируемого изображения в окнах, размеры которых совпадают с размерами окна с объектом сопровождения, где i и j - координаты точек телевизионного изображения, находящихся внутри окна с объектом сопровождения, а α и β - величины смещения координат центра окна анализируемого изображения относительно координат центра окна с объектом сопровождения по осям, соответственно, i и j, согласно изобретения, после наведения оператором окна на объект сопровождения задают зону анализа телевизионного изображения в виде прямоугольной рамки, размеры которой меньше или равны размерам экрана телевизионного изображения, но больше размеров окна с объектом сопровождения, при этом окно с объектом сопровождения расположено в зоне анализа, за координаты центра зоны анализа при обработке первого кадра телевизионного изображения принимают координаты центра окна с объектом сопровождения, а корреляционную функцию F(α,β) при обработке как первого, так и всех последующих кадров вычисляют в каждой точке зоны анализа. После чего обрабатывают корреляционную функцию F(α, β) дифференциальным оператором, получая градиентное изображение, вычисляют сумму градиентов яркости G_э точек градиентного изображения, находящихся в окне с объектом сопровождения. Умножая эту сумму градиентов яркости G_э на коэффициент к, меньший 1, получают значение порога Р. После чего во всех точках градиентного изображения, находящихся в зоне анализа, вычисляют суммы градиентов яркости G_i,j в окнах, размеры которых совпадают с размерами окна с объектом сопровождения, сравнивают суммы градиентов яркости G_i,j с порогом Р, и запоминают координаты (i_n, j_n) центров окон, в которых суммы градиентов яркости С_i,j больше порога Р. После чего в окне с объектом сопровождения и в каждом окне, координаты центра которого совпадают с запомненными координатами (i_n, j_n), вычисляют критерии А_n, В_n, С_n и критерий К_n=А_n ⋅ В_n ⋅ С_n, где А_n - критерий отличия суммы яркостей точек изображения в окне анализируемого изображения от суммы яркостей h(i, у) точек изображения в окне с объектом сопровождения, В_n - критерий отличия суммы градиентов яркости G_i,j точек градиентного изображения в окне анализируемого изображения от суммы градиентов яркости G_э точек градиентного изображения в окне с объектом сопровождения, С_n - критерий удаленности центра окна анализируемого изображения от центра зоны анализа. Принимают за координаты центра нового окна с объектом сопровождения координаты центра окна, в котором значение критерия К_n имеет наибольшее значение, совмещают центр зоны анализа с центром нового окна с объектом сопровождения, после чего переходят к обработке следующего кадра телевизионного изображения, начиная с операции вычисления корреляционной функции F(α,β).

В качестве одного из возможных вариантов за координаты нулевых отсчетов по осям i и j зоны анализа принимают координаты одного из углов зоны анализа, а оси i и j совмещают с граничными линиями зоны анализа. В этом случае критерий В_n вычисляют по формуле:

где I_M, J_M - размеры окна с объектом сопровождения по осям i и j; I_Z, J_Z - размеры зоны анализа по осям i и j.

Критерий С_n можно вычислять по разным формулам. Например, критерий С_n можно вычислять по формуле:

Корреляционную функцию F(α, β) можно вычислять как разностную корреляционную функцию по следующей формуле:

В этом случае критерий А_n вычисляют по формуле:

где F_n - значение функции F(α,β) в точке с координатами (i_n, j_n); F_max и F_min - соответственно, максимальное и минимальное значения функции F(α,β) в зоне анализа.

Корреляционную функцию F(α,β) можно также вычислять как классическую корреляционную функцию по следующей формуле:

В этом случае критерий А_n вычисляют по формуле:

При обработке телевизионного изображения, зашумленного большим количеством помех, перед операцией вычисления корреляционной функции F(α,β) выполняют предварительную обработку каждого кадра оцифрованного телевизионного изображения посредством низкочастотной фильтрации.

После операции совмещения центра зоны анализа с центром нового окна с объектом сопровождения производят обновление изображения в окне с объектом сопровождения посредством экспоненциальной фильтрации.

Технический результат, обеспечиваемый предлагаемым изобретением, - повышение надежности сопровождения объекта, снижение вероятности его потери.

Изобретение поясняется чертежами. На фиг. 1 изображен один из кадров телевизионного изображения; на фиг. 2 - контур сечения поверхности разностной корреляционной функции F(α, β) плоскостью, перпендикулярной оси i; на фиг. 3 - контур сечения поверхности классической корреляционной функции F(α,β) плоскостью, перпендикулярной оси i.

Сопровождение объектов по оцифрованному сигналу телевизионного изображения предлагаемым способом осуществляют следующим образом.

Оператор на экране S телевизионного изображения наводит окно М на объект сопровождения. Задают зону анализа Z телевизионного изображения в виде прямоугольной рамки, размеры которой меньше или равны размерам экрана S, но больше размеров окна М с объектом сопровождения. При этом окно М с объектом сопровождения расположено в зоне анализа Z. Оси i и j совпадают с граничными линиями зоны анализа, а за координаты нулевых отсчетов по осям i и j принимают координаты одного из углов зоны анализа Z. Удобнее всего за координаты нулевых отсчетов по осям i и j принять координаты левого верхнего угла зоны анализа Z.

При необходимости, а именно при обработке телевизионного изображения, зашумленного большим количеством помех, выполняют предварительную обработку оцифрованного телевизионного изображения в зоне анализа посредством низкочастотной фильтрации. Низкочастотная фильтрация позволяет сгладить на изображении точечные помехи небольшого размера. Низкочастотную фильтрацию выполняют, например, посредством масок или других подобных масок.

При обработке первого кадра телевизионного изображения за координаты центра зоны анализа Z принимают координаты центра окна М с объектом сопровождения. После этого при обработке как первого, так и всех последующих кадров в каждой точке зоны анализа Z вычисляют корреляционную функцию F(α,β) яркостей h(i, j) точек изображения в окне М с объектом сопровождения и яркостей точек анализируемого изображения в окнах N, размеры которых совпадают с размерами окна М с объектом сопровождения, где i и j - координаты точек телевизионного изображения, находящихся внутри окна М с объектом сопровождения, а α и β - величины смещения координат центра окна N анализируемого изображения относительно координат центра окна М с объектом сопровождения по осям, соответственно, i и j.

Корреляционную функцию F(α,β) можно вычислять разными способами. Например, корреляционную функцию F(α,β) можно вычислять как разностную корреляционную функцию по следующей формуле:

где I_М, I_M - размеры окна М с объектом сопровождения по осям i и j; I_Z, J_Z - размеры зоны анализа Z по осям i и j.

А можно корреляционную функцию F(α,β) вычислять как классическую корреляционную функцию по следующей формуле:

После этого полученную корреляционную функцию F(α, β) обрабатывают дифференциальным оператором, получая градиентное изображение. В качестве дифференциального оператора можно применять, например, операторы Превитта, Собела и другие подобные операторы.

После этого вычисляют сумму градиентов яркости G_э точек градиентного изображения, находящихся в окне М с объектом сопровождения. Умножая эту сумму градиентов яркости G_э на коэффициент к, меньший 1, получают значение порога Р. Как правило к=0,5…0,9.

Во всех точках градиентного изображения, находящихся в зоне анализа Z, вычисляют суммы градиентов яркости G_i,j в окнах N анализируемых изображений, размеры которых совпадают с размерами окна М с объектом сопровождения. Сравнивают суммы градиентов яркости G_i,j с порогом Р. Запоминают координаты (i_n, j_n) центров окон N, в которых суммы градиентов яркости G_i,j больше порога Р.

После этого в окне М с объектом сопровождения и в каждом окне N анализируемого изображения, координаты центра которого совпадают с запомненными координатами (i_n, j_n), вычисляют критерии А_n, В_n, С_n и критерий К_n=А_n⋅В_n⋅С_n, где А_n - критерий отличия суммы яркостей точек изображения в окне N анализируемого изображения от суммы яркостей h(i, j) точек изображения в окне М с объектом сопровождения; В_n - критерий отличия суммы градиентов яркости G_i,j точек градиентного изображения в окне N анализируемого изображения от суммы градиентов яркостей G₃ точек градиентного изображения в окне М с объектом сопровождения, С_n - критерий удаленности центра окна N анализируемого изображения от центра зоны анализа Z.

В том случае, когда корреляционную функцию F(α,β) вычисляют как разностную корреляционную функцию, критерий А_n вычисляют по формуле:

где F_n - значение функции F(α,β) в точке с координатами (i_n, j_n); F_max и F_min - максимальное и минимальное значения функции F(α,β) в зоне анализа Z телевизионного изображения (см. фиг. 2). В этом случае, чем меньше значение F_n будет отличаться от значения F_min, тем значение критерия А_n будет больше.

А в том случае, когда корреляционную функцию F(α,β) вычисляют как классическую корреляционную функцию, критерий А_n вычисляют по формуле:

В этом случае, чем меньше значение F_n будет отличаться от значения F_max, тем значение критерия А_n будет больше (см. фиг. 3).

Критерий В_n вычисляют по формуле:

где I_M, I_M - размеры окна с объектом сопровождения по осям i и j; I_Z, J_Z - размеры зоны анализа по осям i и j. Чем больше будет значение суммы градиентов яркости G_i,j точек градиентного изображения в окне анализируемого изображения, тем значение критерия В_n будет больше.

Критерий С_n можно вычислять по разным формулам. Один из возможных вариантов - вычисление критерия С_n по следующей формуле:

Чем меньше будет расстояние от центра окна анализируемого изображения до центра зоны анализа, тем значение критерия С_n будет больше.

За координаты центра нового окна с объектом сопровождения принимают координаты центра окна, в котором значение критерия К_n, равного произведению А_n ⋅ В_n ⋅ С_n, имеет наибольшее значение. После этого совмещают центр зоны анализа Z с центром нового окна с объектом сопровождения.

После этого производят обновление изображения в окне с объектом сопровождения посредством экспоненциальной фильтрации. Экспоненциальную фильтрацию осуществляют, например, по следующей формуле:

где h_n(i,j) - яркости точек отфильтрованного изображения в новом окне с объектом сопровождения; h_n-1(i,j) - яркости точек отфильтрованного изображения в окне с объектом сопровождения на предыдущем кадре; - яркости точек неотфильтрованного изображения в новом окне с объектом сопровождения; k_h - эмпирически подбираемый коэффициент (0<k_h<1).

После этого переходят к обработке следующего кадра оцифрованного телевизионного изображения, начиная либо с вычисления корреляционной функции F(α,β), либо - при обработке телевизионного изображения, зашумленного большим количеством помех, - с низкочастотной фильтрации следующего кадра.