Результат интеллектуальной деятельности: СПОСОБ (ВАРИАНТЫ) ОПРЕДЕЛЕНИЯ ПСИХОФИЗИОЛОГИЧЕСКОГО СОСТОЯНИЯ

Изобретение относится к средствам психофизиологического обследования человека по различным каналам взаимодействия с техническими средствами и может быть использовано для определения психоэмоционального состояния (ПФС) при реализации перцептивных услуг в полимодальных инфокоммуникационных системах, а также при проведении профессионального психофизиологического отбора.

Для людей, работающих в условиях напряженного умственного и/или физического труда, характерно возникновение состояния нервно-эмоционального напряжения, утомления, психического пресыщения и монотонии [Румянцева А.Г. Исследование индивидуальных особенностей психофизиологической адаптации операторов к выполнению монотонной деятельности // Психофизиологические исследования функционального состояния человека-оператора. Сб. науч. тр. - М.: Наука, 1993. - 109 с.]. Выявление неблагоприятного влияния изменения этих состояний на принимаемые человеком позволит повысить эффективность процесса его деятельности.

При взаимодействии с техническими средствами автоматизации таких процессов на основе человеко-машинных систем (АРМ - автоматизированных рабочих мест, ПЭВМ - персональных электронных вычислительных машин, пультов управления, средств голосового управления и других интерфейсов взаимодействия) человек использует ряд выходных модальностей (или каналов):

1) традиционный ввод с помощью клавиатуры и манипулятора типа «мышь» (далее - «мышь»). Клавиатура может состоять всего из нескольких кнопок (пульт управления станка) или содержать до сотен кнопок (компьютерные клавиатуры). Мышка используется для отслеживания некоторой траектории движения;

2) речевой сигнал, наиболее предпочтительный, чем традиционные входные модальности в задачах, где заняты руки и глаза (например, при ручном управлении);

3) жесты, играющие важную роль в человеческом общении и доступные для анализа при использовании средств видеосвязи.

В полимодальных системах [Басов О.О., Сайтов И.А. Основные каналы межличностной коммуникации и их проекция на инфокоммуникационные системы // Труды СПИИРАН. 2013. Вып.7 (30). С. 122-140] информация текстового, акустического и визуального каналов взаимодействия (фиг. 1) непрерывно отслеживается и обрабатывается, позволяя удовлетворить желания человека и оперативно адаптироваться к текущей задаче и другим прикладным аспектам. Характерной особенностью интерфейсов таких систем является единый подход к формализации и исследованию сигналов каналов взаимодействия, позволяющий на основе одинакового математического обеспечения производить оценку ПФС человека.

Автоматизация его определения может быть основана на поведенческих характеристиках человека, таких как подпись, стиль управления манипулятором, например, типа «мышь», клавиатурный почерк, голос или характерная жестикуляция. В качестве уникальной информации, отражающей ПФС, можно отметить степень аритмичности (апериодичности). Единство ее формального представления в виде джиттера сигналов различных каналов взаимодействия человека с техническими средствами позволяет использовать для анализа последнего единый методологический аппарат.

Известны способы разделения джиттера сигнала (данных) (см., например, патент US 7254168 B2 от 07.08.2007, патент US 6832172 B2 от 14.12.2004, патент US 6898535 B2 от 24.05.2005). Известные аналоги восстанавливают неизвестные значения в последовательности ошибок временных интервалов путем использования интерполяции по ближайшим известным значениям. Их общим недостатком является низкая точность оценки составляющих (периодического и случайного) общего джиттера, а также невозможность использования для определения ПФС человека.

Известен способ разделения джиттера сигнала данных (патент РФ №2380826 от 27.01.2010), использующий спектральные методы восстановления пропущенных значений ошибок временных интервалов и разделения общего джиттера на случайную и периодические компоненты. Его недостатком является невозможность использования для анализа джиттера акустического и визуального каналов взаимодействия и определения ПФС человека.

Наиболее близким по технической сущности к заявляемому способу и выбранным в качестве прототипа является способ разделения джиттера периода основного тона речевого сигнала (патент РФ №2419166 от 20.05.2011), заключающийся в том, что получают и сохраняют входной речевой сигнал, разделяют входной речевой сигнал на кадры равной длительности, определяют на каждом кадре речевого сигнала значение периода основного тона, вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют модифицированный спектр периодического джиттера на частотах F_P с амплитудами усредненного спектра ошибок временных интервалов и фазами спектра ошибок временных интервалов, вычисляют временную последовательность периодического джиттера путем обратного преобразования Фурье от модифицированного спектра периодического джиттера, вычисляют гистограмму временной последовательности периодического джиттера, определяют размах значений периодического джиттера по гистограмме, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиггера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, вычисляют среднеквадратическое отклонение значений случайного джиггера, принимают решение о дальнейшем усреднении результатов.

Недостатком способа-прототипа является невозможность его использования для определения ПФС человека, обусловленная следующими причинами. Результатом выполнения способа-прототипа являются значения случайного джиттера периода основного тона речевого сигнала и их среднеквадратическое отклонение, не позволяющие сделать вывод о состоянии человека. Кроме того, оказывается невозможным определение ПФС человека при неиспользовании им акустического канала взаимодействия с техническими средствами.

Задачей изобретения является создание способа (вариантов) определения психофизиологического состояния, позволяющего расширить класс решаемых задач и повысить точность определения психофизиологического состояния человека по информации от текстового, акустического и визуального каналов взаимодействия с техническими средствами.

Задача изобретения в первом варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что получают и сохраняют входной речевой сигнал, разделяют входной речевой сигнал на кадры равной длительности, определяют на каждом кадре речевого сигнала значение периода основного тона, вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: вычисляют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации.

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера периода основного тона речевого сигнала, превышающих пороговое значение, к их общему числу, в первом варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от акустического (речевого) канала взаимодействия с техническими средствами.

Задача изобретения во втором варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что получают и сохраняют входной речевой сигнал, разделяют входной речевой сигнал на кадры равной длительности, вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: после того как разделяют входной речевой сигнал на кадры равной длительности, классифицируют кадры на активную речь и паузы, определяют длительность пауз, а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации.

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера длительности пауз в речевом сигнале, превышающих пороговое значение, к их общему числу, во втором варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от акустического канала взаимодействия с техническими средствами.

Задача изобретения в третьем варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_p, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: получают и сохраняют входной сигнал клавиатуры, определяют моменты нажатия и отпускания клавиш, вычисляют длительности нажатия клавиш, а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера длительности нажатия клавиш на клавиатуре, превышающих пороговое значение, к их общему числу, в третьем варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от текстового канала взаимодействия с техническими средствами.

Задача изобретения в четвертом варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_p, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: получают и сохраняют входной сигнал клавиатуры, определяют моменты нажатия и отпускания клавиш, вычисляют интервалы между нажатиями (отпусканиями) клавиш, а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера интервалов между нажатиями (отпусканиями) клавиш на клавиатуре, превышающих пороговое значение, к их общему числу, в четвертом варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от текстового канала взаимодействия с техническими средствами.

Задача изобретения в пятом варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: получают и сохраняют входной сигнал манипулятора типа «мышь», определяют моменты нажатия и отпускания левой кнопки «мыши», вычисляют длительности нажатия левой кнопки «мыши», а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации.

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера длительности нажатия левой кнопки «мыши», превышающих пороговое значение, к их общему числу, в шестом варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от текстового канала взаимодействия с техническими средствами.

Задача изобретения в шестом варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: получают и сохраняют входной сигнал манипулятора типа «мышь», определяют моменты нажатия и отпускания левой кнопки «мыши», вычисляют интервалы между нажатиями (отпусканиями) левой кнопки «мыши», а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации.

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера интервалов между нажатиями левой кнопки «мыши», превышающих пороговое значение, к их общему числу, в шестом варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от текстового канала взаимодействия с техническими средствами.

Задача изобретения в седьмом варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: получают и сохраняют входной сигнал манипулятора типа «мышь», формируют сигнал перемещения «мыши», а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации.

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера сигнала перемещения «мыши», превышающих пороговое значение, к их общему числу, в седьмом варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от текстового канала взаимодействия с техническими средствами.

Задача изобретения в восьмом варианте решается тем, что способ (варианты) определения психофизиологического состояния, заключающийся в том, что вычисляют первую функцию ошибок временных интервалов, вычисляют функцию усредненной ошибки временных интервалов как скользящее среднее первых функций ошибок временных интервалов, вычисляют вторую функцию ошибок временных интервалов путем вычитания функции усредненной ошибки временных интервалов из первой функции ошибок временных интервалов, вычисляют третью функцию ошибок временных интервалов путем подстановки нулевых значений во вторую функцию ошибок временных интервалов в интервалах, не имеющих переходов состояний входного сигнала, выполняют прямое дискретное преобразование Фурье от третьей функции ошибок временных интервалов, вычисляют усредненный спектр третьей функции ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров третьих функций ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P2, соответствующий частотам амплитудных пиков в усредненном спектре третьей функции ошибок временных интервалов, формируют модифицированный спектр третьей функции ошибок временных интервалов путем обнуления амплитуд на частотах, не вошедших в массив F_P2, выполняют обратное дискретное преобразование Фурье от модифицированного спектра третьей функции ошибок временных интервалов, подсчитывают количество изменений состояния входного сигнала в сигнальном векторе, вычисляют коэффициент усиления модифицированной третьей функции ошибок временных интервалов путем деления длины сигнального вектора на количество изменений состояния входного сигнала в сигнальном векторе, усиливают модифицированную третью функцию ошибок временных интервалов, формируют функцию ошибок временных интервалов путем подстановки в интервалы второй функции ошибок временных интервалов, не имеющих переходов состояний входного сигнала, значений из соответствующих интервалов модифицированной третьей функции ошибок временных интервалов, выполняют прямое дискретное преобразование Фурье для перевода функции ошибок временных интервалов в частотную область, вычисляют усредненный спектр ошибок временных интервалов путем усреднения амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, формируют массив частот F_P, соответствующий частотам пиковых значений амплитуд в усредненном спектре ошибок временных интервалов, вычисляют усредненную спектральную плотность мощности функции ошибок временных интервалов путем усреднения квадратов амплитуд спектральных составляющих спектров функции ошибок временных интервалов соседних сигнальных векторов, вычисляют модифицированный спектр случайного джиттера путем подстановки на частотах F_P амплитуды, равной корню квадратному из разности усредненной спектральной плотности мощности и квадрата модуля усредненного спектра ошибок временных интервалов, и случайной, равномерно распределенной фазы, выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, согласно изобретению дополнен: получают и сохраняют входной сигнал видеоизображения, для каждого кадра видеоизображения формируют частотное виброизображение, строят гистограмму распределения частот и определяют его математическое ожидание, определяют на каждом кадре видеоизображения значение периода вибраций, а затем вычисляют первую функцию ошибок временных интервалов, после того, как выполняют обратное преобразование Фурье от модифицированного спектра случайного джиттера, определяют абсолютные значения полученного случайного джиттера, определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу, анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего, формируют вывод об изменении психофизиологического состояния человека и отображают данный вывод с использованием средств отображения информации.

Благодаря анализу характера изменения во времени отношения числа абсолютных значений случайного джиттера периода вибраций изображения, превышающих пороговое значение, к их общему числу, в восьмом варианте заявленного способа обеспечивается возможность повышения точности определения психофизиологического состояния человека по информации от визуального канала взаимодействия с техническими средствами.

Перечисленная новая совокупность существенных признаков позволяет достичь указанного технического результата за счет формирования вывода о психофизиологическом состоянии человека по изменению во времени характеристики Over_RJ для случайного джиттера периода основного тона речевого сигнала, длительности пауз в речевом сигнале, длительности нажатия и интервалов между нажатиями клавиш на клавиатуре, длительности нажатия и интервалов между нажатиями левой кнопки «мыши», сигнала перемещения «мыши» и периода вибраций изображения.

Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа (вариантов) определения психофизиологического состояния, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности «новизна».

Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».

Заявленное изобретение поясняется следующими фигурами:

фиг. 1 - общая структура взаимодействия человека и технических средств;

фиг. 2 - блок-схема последовательности действий, реализующих первый вариант предлагаемого способа;

фиг. 3 - зависимость Over_RJ, оцененной методом скользящего среднего, от времени для человека, находящегося в состояниях оперативного покоя (а) и нервно-эмоционального напряжения (б);

фиг. 4 - блок-схема последовательности действий, реализующих второй вариант предлагаемого способа;

фиг. 5 - блок-схема последовательности действий, реализующих третий вариант предлагаемого способа;

фиг. 6 - временная диаграмма выходного сигнала клавиатуры;

фиг. 7 - блок-схема последовательности действий, реализующих четвертый вариант предлагаемого способа;

фиг. 8 - блок-схема последовательности действий, реализующих пятый вариант предлагаемого способа;

фиг. 9 - блок-схема последовательности действий, реализующих шестой вариант предлагаемого способа;

фиг. 10 - блок-схема последовательности действий, реализующих седьмой вариант предлагаемого способа;

фиг. 11 - принцип формирования джиттера сигнала перемещения «мыши»;

фиг. 12 - блок-схема последовательности действий, реализующих восьмой вариант предлагаемого способа;

фиг. 13 - гистограмма распределения частоты вибраций для человека, находящегося в состояниях оперативного покоя (а) и нервно-эмоционального напряжения (б);

фиг. 14 - зависимость среднего значения Over_RJ от длительности временного окна анализа для случайного джиттера периода основного тона речевого сигнала (а), случайного джиттера длительности пауз в речевом сигнале (б), случайного джиттера длительности нажатия (в) и интервалов между нажатиями (г) клавиш на клавиатуре, случайного джиттера длительности нажатия (д) и интервалов между нажатиями (е) левой кнопки «мыши».

Для определения психофизиологического состояния человека согласно первого варианта предлагаемого способа выполняют следующие операции (фиг. 2).

В блоках 101 и 102 получают входной речевой сигнал и сохраняют (буферизируют) в промежуточной памяти в виде кадров определенной длины. Для каждого кадра речевого сигнала в блоке 103 вычисляют значение периода основного тона [Анализатор основного тона и сигнала тон-шум: патент РФ №78977 от 10.12.2008]. Полученный в результате вектор значений основного тона сохраняют в виде сигнального вектора х определенной длины N.

Далее сигнальный вектор x поступает в блок 104 вычисления ошибок временных интервалов, в котором определяют изменение значения периода основного тона (джиттер периода основного тона) путем вычитания из каждого значения последовательности значений периода его ближайшего (предшествующего) значения. Получившуюся последовательность отклонений основного тона обозначают как первую функцию у ошибок временных интервалов для текущего вектора х. Так как во входном речевом сигнале период основного тона может отсутствовать (для невокализованных кадров), то первая функция у ошибок временных интервалов на этих кадрах будет иметь неопределенные значения.

В блоке 105 вычисляют функцию y′ усредненной ошибки временных интервалов путем вычисления скользящего среднего между функциями y ошибок временных интервалов соседних векторов x. Для вычисления функции y′ может быть использовано скользящее среднее с экспоненциальными, линейными или другими весами. В блоке 106 устраняют компоненты джиттера, зависящего от данных, из первой функции у ошибок временных интервалов. Данная операция происходит путем вычитания функции y′ усредненной ошибки временных интервалов из первой функции y ошибок временных интервалов. В результате получают вторую функцию z ошибок временных интервалов. Функция y′ усредненной ошибки временных интервалов дает оценку зависимой от данных функции ошибок временных интервалов, таким образом, после ее вычитания из функции y останется только независимая от данных составляющая функции ошибок временных интервалов.

В блоке 107 происходит заполнение неизвестных значений функции z [Дамм В.А., Шалагинов В.А., Елиферевский В.В., Кутузов А.В. Восстановление пропущенных значений ошибок временных интервалов при разделении компонентов общего фазового дрожания цифрового сигнала // Вестник РГРТУ. №4 (выпуск 26). Рязань, 2008. - С. 10-18]. Сформированная в блоке 107 функция w ошибок временных интервалов поступает на вход блока 108, где выполняют прямое ДПФ, в результате которого формируют спектр W функции ошибок временных интервалов. Перед выполнением процедуры прямого ДПФ для устранения эффекта «растекания спектра» функция w ошибок временных интервалов может быть умножена на оконную функцию, например, на окно Блэкмана.

На следующем шаге в блоке 109 формируют усредненный спектр W′ функции ошибок временных интервалов путем усреднения амплитуд |w| спектральных составляющих спектров W функций ошибок временных интервалов соседних спектральных векторов. Усреднение амплитуд может быть вычислено как взвешенное среднее установленного числа измерений или как скользящее среднее с экспоненциальными, линейными или другими весами. В блоке 110 определяют пиковые значения усредненного спектра W′ функции ошибок временных интервалов, которые по амплитуде превышают уровень шумов. Частоты усредненного спектра W′, соответствующие пиковым значениям, заносят в массив F_P.

В блоке 111 вычисляют усредненную спектральную плотность мощности R′ функции ошибок временных интервалов путем усреднения квадратов амплитуд спектра W функций ошибок временных интервалов. Усреднение квадратов амплитуд |W|² может быть вычислено как взвешенное среднее установленного числа измерений или как скользящее среднее с экспоненциальными, линейными или другими весами. Далее в блоке 112 формируют модифицированный спектр Q случайного джиттера, который состоит из амплитуд и фаз спектра W на частотах, не вошедших в массив F_P, и амплитуд, равных корню квадратному из разности усредненной спектральной плотности мощности R′ и квадрата модуля усредненного спектра W′, и случайных, равномерно распределенных фаз на частотах F_P. После этого в блоке 113 выполняют обратное ДПФ от модифицированного спектра Q случайного джиттера. В результате данной операции формируют функцию q ошибок временных интервалов случайного джиттера. Если в блоке 108 перед выполнением прямого ДПФ функция w ошибок временных интервалов была умножена на оконную функцию, то после обратного ДПФ необходимо устранить влияние окна на полученную функцию q ошибок временных интервалов случайного джиттера путем умножения ее на обратную оконную функцию.

Далее в блоке 114 определяют абсолютные значения полученного случайного джиттера RJ=|q| путем взятия модуля значений функции q ошибок временных интервалов случайного джиттера.

В блоке 115 определяют отношение Over_RJ числа абсолютных значений случайного джиттера, превышающих пороговое значение Thr_RJ, к их общему числу:

Over_RJ=100({RJ:|RJ|>Thr_RJ})/R [%].

В блоке 116 анализируют характер изменения отношения Over_RJ во времени методом скользящего среднего и при превышении им некоторого порогового значения (фиг. 3) в блоке 117 формируют вывод об изменении психофизиологического состояния человека.

После этого в блоке 118 отображают данный вывод с использованием средств отображения информации, например, с использованием столбчатых диаграмм на экране монитора (фиг. 3) или сигнала тональной частоты на звуковых колонках.

Для определения психофизиологического состояния человека согласно второго варианта предлагаемого способа выполняют следующие операции (фиг. 4).

В блоках 101 и 102 получают входной речевой сигнал и сохраняют (буферизируют) в промежуточной памяти в виде кадров определенной длительности Т. Каждый кадр речевого сигнала в блоке 103 классифицируют на активную речь или паузу [Обнаружитель активности речи: патент РФ №77717 от 27.10.2008]. В блоке 104 формируется сигнальный вектор x определенной длины N, элементы которого соответствуют длительности пауз в речевом сигнале:

х_i=Т·n_i,

где i - порядковый номер паузы; n_i - число подряд следующих кадров речевого сигнала длительности T, классифицированных как пауза.

Далее сигнальный вектор x поступает в блок 105 вычисления ошибок временных интервалов, в котором определяют изменение значения длительности паузы (джиттер длительности пауз) путем вычитания из каждого значения последовательности значений длительности пауз его ближайшего (предшествующего) значения. Получившуюся последовательность отклонений длительности пауз обозначают как первую функцию y ошибок временных интервалов для текущего вектора x.

Далее в блоках 106-119 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Для определения психофизиологического состояния человека согласно третьего варианта предлагаемого способа выполняют следующие операции (фиг. 5).

В блоках 101 и 102 получают входной сигнал клавиатуры, сохраняют его в промежуточной памяти и определяют моменты нажатия и отпускания клавиш, например, с использованием программы определения параметров текстовых модальностей [Свидетельство о государственной регистрации программы для ЭВМ №2014613478 от 27.03.2014]. В блоке 103 формируется сигнальный вектор x определенной длины N, элементы которого соответствуют длительности t_НАЖ нажатия клавиш на клавиатуре (фиг. 6).

Далее сигнальный вектор x поступает в блок 104 вычисления ошибок временных интервалов, в котором определяют изменение значения длительности нажатия клавиш на клавиатуре (джиттер длительности нажатия клавиш) путем вычитания из каждого значения последовательности значений длительности нажатия клавиш его ближайшего (предшествующего) значения. Получившуюся последовательность отклонений длительности нажатия клавиш обозначают как первую функцию у ошибок временных интервалов для текущего вектора x.

Далее в блоках 105-118 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Для определения психофизиологического состояния человека согласно четвертого варианта предлагаемого способа выполняют следующие операции (фиг. 7).

В блоках 101 и 102 получают входной сигнал клавиатуры, сохраняют его в промежуточной памяти и определяют моменты нажатия и отпускания клавиш, например, с использованием программы определения параметров текстовых модальностей [Свидетельство о государственной регистрации программы для ЭВМ №2014613478 от 27.03.2014]. В блоке 103 формируется сигнальный вектор x определенной длины N, элементы которого соответствуют интервалу T_НАЖ между нажатиями (отпусканием) клавиш на клавиатуре (фиг. 6).

Далее сигнальный вектор x поступает в блок 104 вычисления ошибок временных интервалов, в котором определяют изменение значения интервала между нажатиями (отпусканием) клавиш на клавиатуре (джиттер интервалов между нажатиями (отпусканием) клавиш) путем вычитания из каждого значения последовательности значений интервалов между нажатиями (отпусканием) клавиш его ближайшего (предшествующего) значения. Получившуюся последовательность отклонений длительности интервалов между нажатиями (отпусканием) клавиш обозначают как первую функцию y ошибок временных интервалов для текущего вектора x.

Далее в блоках 105-118 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Для определения психофизиологического состояния человека согласно пятого варианта предлагаемого способа выполняют следующие операции (фиг. 8).

В блоках 101 и 102 получают входной сигнал манипулятора типа «мышь», сохраняют его в промежуточной памяти и определяют моменты нажатия и отпускания левой кнопки «мыши», например, с использованием программы определения параметров текстовых модальностей [Свидетельство о государственной регистрации программы для ЭВМ №2014613478 от 27.03.2014]. В блоке 103 формируется сигнальный вектор x определенной длины N, элементы которого соответствуют длительности нажатия левой кнопки «мыши».

Далее сигнальный вектор x поступает в блок 104 вычисления ошибок временных интервалов, в котором определяют изменение значения длительности нажатия левой кнопки «мыши» (джиттер длительности нажатия левой кнопки «мыши») путем вычитания из каждого значения последовательности значений длительности нажатия левой кнопки «мыши» его ближайшего (предшествующего) значения. Получившуюся последовательность отклонений длительности нажатия левой кнопки «мыши» обозначают как первую функцию y ошибок временных интервалов для текущего вектора x.

Далее в блоках 105-118 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Для определения психофизиологического состояния человека согласно шестого варианта предлагаемого способа выполняют следующие операции (фиг. 9).

В блоках 101 и 102 получают входной сигнал манипулятора типа «мышь», сохраняют его в промежуточной памяти и определяют моменты нажатия и отпускания левой кнопки «мыши», например, с использованием программы определения параметров текстовых модальностей [Свидетельство о государственной регистрации программы для ЭВМ №2014613478 от 27.03.2014]. В блоке 103 формируется сигнальный вектор x определенной длины N, элементы которого соответствуют интервалу между нажатиями (отпусканием) левой кнопки «мыши» (фиг. 6).

Далее сигнальный вектор x поступает в блок 104 вычисления ошибок временных интервалов, в котором определяют изменение значения интервала между нажатиями (отпусканием) левой кнопки «мыши» (джиттер интервалов между нажатиями (отпусканием) левой кнопки «мыши») путем вычитания из каждого значения последовательности значений интервалов между нажатиями (отпусканием) левой кнопки «мыши» его ближайшего (предшествующего) значения. Получившуюся последовательность отклонений длительности интервалов между нажатиями (отпусканием) левой кнопки «мыши» обозначают как первую функцию y ошибок временных интервалов для текущего вектора x.

Далее в блоках 105-118 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Для определения психофизиологического состояния человека согласно седьмого варианта предлагаемого способа выполняют следующие операции (фиг. 10).

В блоке 101 получают входной сигнал манипулятора типа «мышь» и сохраняют его в промежуточной памяти. В блоке 102 формируется сигнальный вектор x длины N соответствующий сигналу перемещения «мыши». Принцип формирования последнего (фиг. 11) основан на измерении длительности нарастания и спада входного сигнала «мыши» посредством сравнения ее напряжения с двумя пороговыми уровнями U₁ и U₂. Длительность t_k=(U₁-U₂)/V_k выходных импульсов обратно пропорциональна скорости изменения V_k фронта и среза выходного сигнала «мыши», характеризует «периодичность» движения манипулятора и является элементом сигнального вектора x.

Далее сигнальный вектор x поступает в блок 103 вычисления ошибок временных интервалов, в котором определяют изменение значений t_k (джиттер сигнала перемещения «мыши») путем вычитания из каждого значения последовательности значений t_k его ближайшего (предшествующего) значения t_k-1. Получившуюся последовательность джиттера сигнала перемещения «мыши» обозначают как первую функцию y ошибок временных интервалов для текущего вектора x.

Далее в блоках 104-117 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Для определения психофизиологического состояния человека согласно восьмого варианта предлагаемого способа выполняют следующие операции (фиг. 12).

В блоке 101 получают входной сигнал видеоизображения и сохраняют его в промежуточной памяти. В блоке 102 для каждого кадра видеоизображения формируется частотное виброизображение [Минкин В. А. Виброизображение. - СПб.: Реноме, 2007. - 108 с.: ил.]. При этом относительная частотная составляющая каждой точки (x, y) виброизображения определяется как:

где Δ_i - межкадровая разность для i-й точки кадра видеоизображения; N - число кадров, по которым идет накопление амплитудной составляющей виброизображения.

В блоках 103 и 104 строят гистограмму распределения частоты вибрации и определяют его математическое ожидание M{F_x,y) (фиг. 13).

В блоке 105 определяют на каждом кадре видеоизображения значение периода вибраций , из которых формируется сигнальный вектор x длины N.

Далее сигнальный вектор x поступает в блок 106 вычисления ошибок временных интервалов, в котором определяют изменение значений (джиттер периода вибраций изображения) путем вычитания из каждого значения последовательности значений его ближайшего (предшествующего) значения. Получившуюся последовательность джиттера периода вибраций изображения обозначают как первую функцию у ошибок временных интервалов для текущего вектора x.

Далее в блоках 107-120 выполняются операции, аналогичные операциям блоков 105-118 первого варианта предлагаемого способа.

Во всех вариантах предлагаемого способа операции сохранения (буферизации) входного сигнала, заполнения неизвестных значений, а также хранения промежуточных значений вычислений могут быть реализованы на устройствах оперативной памяти. Схемы ОЗУ известны и описаны, например, в книге В.Н. Вениаминова, О.Н. Лебедева, А.И. Мирошниченко. Микросхемы и их применение. М.: Радио и связь, 1989. - с. 146, рис.5.2. В частности, ОЗУ может быть реализовано на микросхемах К565 серии.

Вычислительные операции, выполняемые в остальных блоках (фиг. 2, 4, 5, 7-10, 12), а также формирование вывода об изменении психофизиологического состояния могут быть реализованы в арифметическо-логическом устройстве (АЛУ). Схемы АЛУ известны и описаны, например, в книге Шило В.Л. Популярные цифровые микросхемы. - М.: Радио и связь, 1987. - С. 273-275, рис.2.70. В частности, такая схема может быть реализована на микросхемах К564ИП3.

Возможность решения сформулированной задачи изобретения была проверена с помощью машинного моделирования описанных действий всех вариантов заявленного способа при следующих исходных данных.

1. В качестве входного речевого сигнала взяты записи речи 17 человек общей длительностью 54 минут. Буферизация данных записей осуществлена кадрами длительностью 22,5 мс.

2. Для каждого кадра речевого сигнала вычислены значения периода основного тона согласно способу, реализованному в анализаторе основного тона и сигнала тон-шум [патент РФ №78977 от 10.12.2008].

3. Речевой сигнал классифицирован на активную речь/паузы согласно способу, реализованному в обнаружителе активности речи [патент РФ №77717 от 27.10.2008].

4. В качестве входного сигнала клавиатуры и «мыши» зарегистрированы действия 26 человек общей длительностью 54 минут. Их буферизация осуществлена через каждые 100 мс.

5. Моменты нажатия и отпускания клавиш клавиатуры, левой кнопки «мыши» и координаты С.Х, C.Y курсора «мыши» определялись с использованием программы определения параметров текстовых модальностей [Свидетельство о государственной регистрации программы для ЭВМ №2014613478 от 27.03.2014].

6. Входной сигнал видеоизображения зарегистрирован с использованием Web-камеры (разрешающая способность 640×480) и сохранен в формате MPEG-2. Общая длительность видеозаписи разговора 7 человек составила 28 минут.

7. Для получения виброизображений, гистограмм распределения частоты вибрации и его математического ожидания использовалось программное обеспечение VibraImage 6.1 от компании Элсис [www.elsys.ru].

8. Расчет отношения Over_RJ числа абсолютных значений случайного джиттера периода основного тона речевого сигнала, длительности пауз в речевом сигнале, длительности нажатия и интервалов между нажатиями клавиш на клавиатуре, длительности нажатия и интервалов между нажатиями левой кнопки «мыши», сигнала перемещения «мыши» и периода вибраций изображения, превышающих пороговое значение Thr_RJ, к их общему числу осуществлялся в среде технических расчетов MATLAB.

Результаты такого расчета (фиг. 14) свидетельствует о монотонном возрастании числа кадров, для которых случайный джиттер превышает пороговое значение, для всех рассматриваемых сигналов джиттера. При этом наименьшей крутизной обладает кривая, характеризующая состояние оперативного покоя (кривая 1), рост крутизны наблюдается с переходом из него в состояние нервно-эмоционального напряжения (кривая 2). Степень изменения крутизны Over_RJ различна для разных случайных джиттеров.

Результаты оценки Over_RJ случайного джиттера периода основного тона речевого сигнала методом скользящего среднего для человека, находящегося в состояниях оперативного покоя (фиг. 3, а) и нервно-эмоционального напряжения (фиг. 3, б), свидетельствуют о возможности использования для формирования вывода об изменении психофизиологического состояния следующего решающего правила:

при =55% для случайного джиттера периода основного тона речевого сигнала. Аналогичный вывод справедлив для всех рассматриваемых сигналов текстового, акустического и визуального каналов взаимодействия человека и технических средств при индивидуальных пороговых значениях Thr_RJ и для каждого из них.

Таким образом, результаты моделирования подтверждают возможность решения задачи изобретения.