УСТРОЙСТВО ОБНАРУЖЕНИЯ И УСТРАНЕНИЯ АНОМАЛЬНЫХ ИЗМЕРЕНИЙ

Изобретение относится к области вычислительной техники и может быть использовано в системах управления и обработки сигналов.

Наблюдаемый временной ряд является последовательностью y₁, y₂, …, y_n результатов измерений, полученной в равностоящие моменты времени t₁, t₂, …, t_n, где y(t_k)=y_k,

Математическая модель результатов измерений может быть представлена в общем виде:

где S_k - полезная составляющая; u_k - аддитивная шумовая составляющая; η_k - аномальная составляющая.

Значения аддитивной шумовой составляющей u_k являются некоррелированными, имеют нулевое математическое ожидание и являются реализацией эргодического случайного процесса.

Цель данного изобретения - обнаружение и устранение аномальных измерений в исходной дискретной реализации результатов измерений при фиксированном значении вероятности ложной тревоги.

Аномальными измерениями будем считать значения последовательности результатов измерений, которые резко отличаются по амплитуде и статистическим свойствам на фоне основной группы значений реализации. Задача обнаружения аномальных измерений может возникнуть: 1) в работе приемо-передающих устройствах дальней или космической связи; 2) в радиотехнике при оценке помехоустойчивости схем (алгоритмов) обработки сигналов в моделирующих системах; 3) в метрологии при измерении характеристик состояния атмосферы и т.д.

Для решения задачи обнаружения аномальных измерений в настоящее время используется теория статистических решений с применением параметрических методов, использование которых требует априорных сведений как о характере распределения измеряемого процесса, так и о его параметрах (математическом ожидании, дисперсии, корреляционной функции и ряда других). Для эффективного решения задач обнаружения и устранения аномальных измерений необходимо знать статистические характеристики нормальных и аномальных составляющих шума.

Использование непараметрических статистик в методах и алгоритмах проверки достоверности результатов измерений предполагает, что функциональный вид распределений шумовых составляющих априорно неизвестен. При использовании непараметрических статистик априорная информация сводится к заданию только различий между конкурирующими гипотезами, сами же распределения, охватываемые той или иной гипотезой, не конкретизируются.

Известен способ обнаружения аномальных измерений, использующий U-статистику [Марчук В.И. Первичная обработка результатов измерений при ограниченном объеме априорной информации. Под ред. Румянцева К.Е. Таганрог. ТРГТУ. 2003, с. 12-14]. Применяется в том случае, если выборка представляет N независимых измерений случайного процесса y_k, распределенного по нормальному закону.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, вычисление среднеквадратического отклонения, обнаружение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- данный способ используется только для стационарных процессов;

- требуется априорная информация о математическом ожидании, среднеквадратическом отклонении и о законе распределения случайного процесса y_k.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- в большинстве случаях априорная информация о функциональном виде распределения, а также математическом ожидании и среднеквадратическом отклонении ограничена.

Структурная схема устройства, реализующего рассмотренный способ-аналог, содержит генератор тактовых импульсов, коммутатор, первый и второй регистры, сумматор, блок вычисления среднеквадратического отклонения, сравнивающее устройство, блок установки уровня значимости.

Известен способ обнаружения аномальных измерений методом разбиения на интервалы [Переверткин С.М. и др. Бортовая телеметрическая аппаратура космических летательных аппаратов. - М.: Машиностроение, 1977. стр. 122-124, 208 с.], где устранение одиночных аномальных измерений из результатов измерений осуществляется с помощью аппроксимации неизвестного распределения шума только в области больших положительных значений аргумента (правого "хвоста" плотности распределения), при этом предполагается, что распределение шума относится к экспоненциальному типу. Для аппроксимации правых "хвостов" неизвестных функций распределения F(y) экспоненциального типа используется выражение:

где α₁, u₁, τ - соответственно экстремальная функция интенсивности, характеристическое наибольшее значение и дополнительный параметр, определяемые из опытных данных; n₁ - объем выборки.

Для оценки указанных величин, соответствующих неизвестному распределению шума, согласно методу моментов с помощью опорного шумового канала m₁ раз производится выборка из n₁ независимых членов (общий объем N=m₁n₁). В каждые из m₁ частных выборок выделяются максимальные по величине члены y_k, где k=1, …, m₁ и вычисляются среднее максимальных членов и их дисперсия D₁, на основании которых определяются оценки

где С=0,5772 - постоянная Эйлера.

Полная выборка из N членов вновь разбивается на m₂ выборок по n₂ членов (N=m₂n₂, m₂>m₁). В каждой из m₂ выборок выделяются максимальные по величине члены y_k, где k=1, …, m₂, и определяются , D₂, , , соответствующие новому разбиению полной исходной выборки. Согласно процедуре обнаружения определяется параметр

По априорному значению вероятности ложной тревоги а определяется значение величины решающего порога

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, выделение временных отрезков, разбиение исходной реализации на интервалы, обнаружение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных измерений;

- присутствие аномальных измерений делает выборку неоднородной, что приводит к ошибкам при определении параметров закона распределения;

- известный способ применим только в случае обработки одиночных аномальных измерений, если их амплитуда не превышает в два раза среднее значение y_k.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- неоднородность выборки приводит к ошибкам при определении параметров закона распределения, что является следствием наличия в выборке аномальных измерений;

- известный способ не позволяет обнаруживать групповые аномальные измерения;

- алгоритм определения порога П и параметров , основан на отборе и обработке только максимальных членов частных выборок, что повышает влияние аномальных измерений на оценку параметров.

Структурная схема устройства, реализующего рассмотренный способ-аналог, содержит генератор тактовых импульсов, коммутатор, первый и второй регистры, сумматор, сравнивающее устройство, блок вычисления порога, блок разбиения.

Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений (Пат. №2010325, 30.03.1994 г.). Блок обнаружения и устранения аномальных измерений обеспечивает получение абсолютной величины разности между текущим k-м отсчетом входного сигнала y_k и значением сглаженного выходного сигнала , схема сравнения обеспечивает сравнение сигнала абсолютной величины разности с кодом допустимого значения строба Δ и формирует на выходе признак превышения.

В сглаживающем устройстве реализуется следующий алгоритм сглаживания:

где величины m_k и m_k-1 определены как приведенное значение входного сигнала относительно своего среднего значения соответственно для k-го и (k-1)-го моментов текущего времени равны:

Величина Δ есть допустимое значение строба приведенного отклонения входного сигнала, N_c - значение коэффициента деления.

При проверке условия (6), являющегося условием отсутствия ошибки, происходит переход на ту или иную ветвь вычислений. Если условие отсутствия ошибки не выполняется, то вычисленное значение считается неверным и вместо него для формирования текущего m_k сглаженного значения используется предыдущее верное значение m_k-1. Такая замена вследствие монотонности исходного сглаженного сигнала не ведет к его искажению. Если после этого на следующем шаге сглаживания условие отсутствия выполняется, то ошибка классифицируется как исправленное аномальное измерение. Невыполнение условия отсутствия ошибки является признаком отказа.

Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: дискретизация сигнала по времени, запоминание цифрового сигнала, выделение сглаженного сигнала, обнаружение и устранение аномальных измерений.

Недостатками известного способа и устройства, его реализующего, являются:

- процедура обнаружения не эффективна в случае обработки групповых аномальных измерений;

- требуется априорное знание допустимого значения строба Δ.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- так как данный способ позволяет обнаруживать только одиночные аномальные измерения, то эффективность обнаружения групповых аномальных измерений будет низкой;

- величина Δ задается в зависимости от класса входных сигналов и от области применения сглаживающего устройства.

Структурная схема устройства, реализующего рассмотренный алгоритм, содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схему сравнения, третий элемент И, генератор тактовых импульсов.

Наиболее близким к изобретению является «Устройство для обнаружения и устранения аномальных измерений при фиксированном значении вероятности ложной тревоги» (Пат. №2361268, 10.07.2009 г.).

Рассматриваемое устройство-прототип предполагает: 1) запоминание входной реализации y₁, y₂, …, y_n; 2) разбиение входной реализации на интервалы случайными числами, имеющими равномерный закон распределения; 3) проверка условия, что интервалы включают не менее l значений исходной реализации, если условие не выполняется, то заново генерируются случайные числа разбиения; 4) нахождение на каждом интервале , входной реализации оценок коэффициентов аппроксимирующего полинома a+bt+ct² с помощью метода наименьших квадратов; 5) нахождение разности Δ_k между значениями оценки аппроксимирующей функции S_k и исходной реализацией результатов измерений y_k; 6) на каждом интервале производится оценка среднеквадратического отклонения и устанавливается порог , где 0<А≤3; 7) на каждом интервале для разностного процесса проверяется условие S_k+ε_j<y_k<S_k-ε_j; 8) при выполнении условия, указанного в пункте 7, y_k получает одно штрафное значение, равное 1; 9) повторение процедур, описанных в пунктах 1-8 K раз, при этом происходит накопление штрафных значений; 10) для всех оштрафованных значений исходной реализации определяется среднее значение штрафов; 11) отсчеты, у которых суммарное число штрафов превышает среднее значение, определяются как аномальные; 12) единичные и групповые аномальные измерения устраняются с помощью линейной интерполяции, проводимой по двум точкам, соответствующим значениям полученных измерений до аномального измерения (группы аномальных измерений) и после аномального измерения (группы аномальных измерений).

Устройство для обнаружения и устранения аномальных измерений при фиксированном значении вероятности ложной тревоги содержит блок хранения результатов измерений, коммутаторы, блок разбиения на покрытия, генератор случайных чисел, блок устранения связанных значений, блок ранжирования, регистр хранения выборки случайных чисел, блоки аппроксимации, блоки вычитания, блоки хранения остатков, блоки получения ранжированного ряда на интервалах, блоки получения усеченной выборки, блоки вычисления оценки среднеквадратического отклонения, блоки умножения, регистр хранения коэффициента, блок определения коэффициента, блок установки вероятности ложной тревоги, компараторы, блоки хранения штрафов, арифметическое суммирующее устройство, блок вычисления порога, компаратор, регистр хранения штрафов, блок устранения аномальных измерений, регистр хранения, блок задержки, генератор тактовых импульсов.

Недостатками известного устройства-прототипа являются:

- погрешность в оценке среднеквадратического отклонения для определения порогового значения о назначении штрафов на каждом интервале;

- большая погрешность при устранении аномальных измерений методом линейной интерполяции;

- априорная информация о значении коэффициента А.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

- оценка среднеквадратического отклонения по значениям всего интервала разбиения;

- метод линейной интерполяции приводит к изменению статистических свойств шумовой составляющей стационарного случайного процесса;

- зависимость коэффициента А от значения вероятности ложной тревоги.

Целью изобретения является обнаружение и устранение аномальных измерений в исходной дискретной реализации результатов измерений при фиксированном значении вероятности ложной тревоги.

Предлагаемое устройство для обнаружения и устранения аномальных измерений исходит из наличия единственной дискретной реализации y₁, y₂, …, y_n результатов измерений, полученной в равностоящие моменты времени t₁, t₂, …, t_n, где y(t_k)=y_k, . Упрощенная математическая модель результатов измерений описывается выражением (1).

Суть предлагаемого устройства заключается в разбиении исходной дискретной реализации результатов измерений y_k на интервалы , случайной длины и аппроксимации на каждом из них полиномом второй степени, где р - число интервалов.

Многократное разбиение на интервалы и аппроксимация на них значений измерений позволяют размножать оценки единственной реализации результатов измерений. На каждом интервале проводится аппроксимация значений результатов измерений полиномом второй степени по методу наименьших квадратов и вычисляется разность Δ_k между значениями оценки аппроксимирующей функции S_k и исходной реализацией результатов измерений y_k.

Для оценки среднеквадратического отклонения на каждом интервале Δ_j получается ряд ранжированных значений и отбрасывается два крайних значения этого ряда, с целью уменьшения погрешности оценки среднеквадратического отклонения .

Далее на каждом интервале устанавливается порог , причем значение коэффициента А определяется из уравнения: А(α)=7,1α²-7α+2,6 [Токарева С.В. Исследование эффективности адаптивного метода обнаружения аномальных значений при мультипликативной шумовой составляющей (статья). - Труды Российского научно-технического общества радиотехники, электроники и связи им. А.С. Попова. «Цифровая обработка сигналов и ее применение». Вып. IX-2, Москва, 2007, с. 386-389], где α - априорно задаваемое значение вероятности ложной тревоги.

Превышение установленного порога разностным процессом штрафуется на каждом из интервалов разбиения, т.е. если:

то y_k получает одно штрафное значение, равное 1. Изложенная выше процедура определения штрафов повторяется для каждой из размноженных оценок исходной реализации. При этом происходит накопление значений штрафов для элементов исходной реализации при выполнении условия (8), т.е: , где - ряд штрафных значений.

При окончании обработки для всех оштрафованных значений исходной реализации определяется среднее значение штрафов. Отсчеты, у которых суммарное число штрафов превышает среднее значение, будут определяться как аномальные.

Единичные и групповые аномальные измерения устраняются с помощью анализа гистограммы дискретной реализации [Марчук В.И., Токарева С.В., Воронин В.В. Возможность корректировки аномальных значений при анализе стационарных случайных процессов (статья). Материалы международной научной конференции «Методы и алгоритмы принятия эффективных решений» - часть 2 - Таганрог: Изд-во ТТИ ЮФУ, 2009. - С. 41-44].

Строится оценка гистограммы входного процесса Y_k, т.е. вероятность попадания случайных величин в заданные интервалы l_i, где . L - количество интервалов разбиения, которое определяется по формуле Стерджеса: L=1+3.322lgN, где N - объем входного процесса. На основе метода наименьших квадратов производится оценка огибающей гистограммы полиномом третей степени на интервале без учета аномальных значений (фиг. 1, а). Определяется интервал гистограммы l_i, на котором разность между гистограммой и оценкой огибающей функции максимальна, т.е. Δ_jk. После этого первое обнаруженное аномальное значение заменяется случайным числом из этого интервала (фиг. 1, б). Процедура пересчета гистограммы, вычисление разности и корректировка обнаруженных аномальных значений повторяется n раз.

Устройство для обнаружения и устранения аномальных измерений (фиг. 2) содержит блок хранения результатов измерений 1, вход которого является информационным входом устройства, к выходу которого подключены входы коммутаторов 2.n, к управляющим входам которых подключен выход блока разбиения на интервалы 3, который содержит генератор случайных чисел 29, распределенных по равномерному закону, выход которого подключен к входу блока устранения связанных значений 30, выход которого подключен к входу блока ранжирования 31, к выходу которого подключен вход регистра хранения выборки случайных чисел 32, чей выход является информационным выходом блока разбиения на интервалы 3, к выходам коммутаторов 2.n подключены входы блоков аппроксимации 3.n, выходы которых подключены к первым входам блоков вычитания 4.n, ко вторым входам которых подключен выход блока хранения результатов измерений 1, выходы блоков вычитания 4.n подключены к входам блоков хранения остатков 5.n, выходы которых подключены к входам блоков ранжирования значений на интервалах 6.n, выходы которых подключены к входам блоков получения усеченных выборок 1.n, выходы которых подключены к входам блоков вычисления оценки среднеквадратического отклонения 8.n, выходы которых подключены к входам блоков умножения 9.n, ко вторым входам которых подключен выход регистра хранения коэффициента 14, к входу которого подключен выход блока определения коэффициента 13, к входу которого подключен выход блока установки вероятности ложной тревоги 12, выходы блоков умножения 9.n подключены к первым входам компараторов 10.n, ко вторым входам которых подключены выходы блоков хранения остатков 5.n, выходы компараторов 10.n подключены к входам блоков хранения штрафов 11.n, выходы которых подключены к входам арифметического суммирующего устройства 15, первый выход которого подключен к первому входу компаратора 17, а второй выход подключен к входу блока вычисления порога 16, выход которого подключен ко второму входу компаратора 17, выход которого подключен к входу регистра хранения штрафов 18, третий выход которого подключен к первому входу блока построения гистограммы 19, ко второму входу которого подключен выход блока задержки 34, вход которого соединен с выходом блока хранения результатов измерений 1; выход блока задержки 34 подключен ко второму входу блока управления 27; первый выход блока построения гистограммы 19 подключен к входу блока аппроксимации гистограммы 20, второй выход которого подключен к первому входу блока вычисления разности 21, выход которого подключен к входу блока хранения разности 23, выход которого подключен к входу блока вычисления максимального значения разности 24, выход которого подключен к первому входу блока замены 25, выход которого подключен к входу блока хранения 26, выход которого подключен к первому входу блока управления 27, первый выход которого подключен к входу регистра хранения 20, чей выход является информационным выходом устройства; первый выход регистра хранения штрафов 18 подключен к третьему входу блока управления 27; второй выход регистра хранения штрафов 18 подключен к третьему входу блока замены 25; второй выход блока построения гистограммы 19 подключен к второму входу блока вычисления разности 21; первый выход регистра хранения 20 подключен к входу второго генератора случайных чисел 22, выход которого подключен ко второму входу блока замены 25; второй выход блока управления 27 подключен к четвертому входу блока замены 25; третий выход блока управления 27 подключен к третьему входу блока построения гистограммы 19; синхронность работы устройства обеспечивается генератором тактовых импульсов 33.

Устройство для обнаружения и устранения аномальных измерений работает следующим образом. Исходная дискретная реализация результатов измерений физической величины в каждом из n каналов разбивается на m интервалов случайными числами. На каждом из m интервалов производится аппроксимация исходной дискретной реализации полиномом второй степени, коэффициенты которого определяются с помощью метода наименьших квадратов. Таким образом, определяются n оценок исходной дискретной реализации на каждом из m интервалов. В каждом из n каналов определяются остатки путем вычитания оценок аппроксимирующих полиномов из исходной дискретной реализации на каждом из m интервалов. Далее на каждом интервале разбиения получается ряд ранжированных значений и определяется m оценок среднеквадратического отклонения по усеченным выборкам в каждом из n каналов. Затем определяется порог обнаружения аномальных измерений путем умножения значений оценок среднеквадратического отклонения на коэффициент, значение которого определяется согласно априорно задаваемой вероятностью ложной тревоги для каждого интервала из m. Значения остатков, полученные на каждом из m интервалов, сравниваются с полученным порогом обнаружения аномальных измерений. При превышении значений остатков определенного порога отсчет выборки получает одно штрафное значение. Для значений полученных штрафов из n каналов находится среднее арифметическое отдельно для каждого отсчета. Таким образом, определяются результирующие значения штрафов для каждого из отсчетов исходной дискретной реализации. По результирующим значениям полученных штрафов определяется средняя величина штрафных значений. В исходной дискретной реализации аномальными считаются те отсчеты, у которых объем полученных штрафов превышает их среднюю величину. Единичные и групповые аномальные измерения устраняются с помощью анализа гистограммы дискретной реализации. Таким образом, аномальные измерения исключаются из исходной дискретной реализации, и обработанные данные поступают на выход устройства.

Такой способ обнаружения и устранения аномальных измерений реализуется следующим образом. В блок хранения результатов измерений 1 записывается исходная дискретная реализация результатов измерений физической величины. Блок разбиения на интервалы 3 формирует ранжированные последовательности случайных чисел, распределенных по равномерному закону с устраненными "связками", которые поступают последовательно на коммутаторы 2.n. На полученных интервалах в блоках аппроксимации 3.n производится аппроксимация исходной дискретной реализации полиномами 2-й степени по методу наименьших квадратов. В блоках вычитания 4.n находятся остатки путем вычитания оценок аппроксимирующего полинома из исходной дискретной реализации, записанной в блоке хранения результатов измерений 1. Значения остатков записываются в блоки хранения остатков 5.n. В блоках 6.n на каждом интервале получается ряд ранжированных значений, которые поступают в блоки получения усеченных выборок 7.n, где отбрасываются первое и последние значения каждого ранжированного ряда. Далее в блоках 8.n по усеченным выборкам вычисляются оценки среднеквадратического отклонения остатков. На каждом интервале разбиения m значения среднеквадратического отклонения, полученные по усеченным выборкам, умножаются на коэффициент в блоках умножения 9.n. Значение коэффициента хранится в регистре 14, которое определяется в блоке определения коэффициента 13, а задается в блоке установки вероятности ложной тревоги 12. Полученные значения порогов поступают на входы компараторов 10.n, на вторые входы которых поступают данные об остатках из блоков хранения остатков 5.n. Полученные пороги обнаружения аномальных измерений сравниваются со значениями остатков. Если значение остатка превышает значение порога, то данный отсчет получает штрафное значение, которое записывается в блоках хранения штрафов 11.n. Данные из блоков хранения штрафов 11.n в каждом из n каналов поступают на входы арифметического суммирующего устройства 15, где находится среднее арифметическое штрафов отдельно для каждого из отсчетов, и формирование результирующих данных о полученных штрафах. В блоке вычисления порога 16 определяется средняя величина штрафа среди результирующих значений штрафов. В компараторе 17 сравнивается значение штрафов с их средним значением. Номера отсчетов, у которых значение штрафов превышает полученный порог, считаются аномальными и записываются в регистр хранения штрафов 18. Далее номера с аномальными значениями регистра хранения штрафов 18 и значения исходной дискретной реализации с блока 1 через блок задержки 34 поступают на входы блока построения гистограммы 19, в котором строится оценка гистограммы входного процесса. Далее в блоке 20 на основе метода наименьших квадратов производится оценка огибающей гистограммы полиномом третей степени на интервале без учета аномальных значений. Гистограмма с выхода блока 19 и ее оценка полиномом третьей степени поступают на вход блока 21, в котором вычисляется разность между двумя реализациями. Полученные значения хранятся в блоке 23. Далее в блоке 24 определяется интервал гистограммы, на котором разность между гистограммой и оценкой огибающей функции максимальна. После чего для первого обнаруженного аномального значения генерируется случайное число генератором случайных чисел 22 из этого интервала в блоке замены 25. В блоке хранения 26 хранится полученное значение для замены аномального значения, которое поступает на вход блока управления 27. В блоке 27 происходит корректировка аномальных значений в исходной реализации, которая поступает через блок задержки 34. Блок управления также регулирует процедуру пересчета гистограммы, вычисления разности и корректировки обнаруженных аномальных значений n раз, где n - количество обнаруженных аномальных значений в блоке 18. Таким образом, аномальные измерения исключаются из исходной дискретной реализации, и обработанные данные поступают на регистр хранения 28, с выхода которого данные поступают на выход устройства.