Результат интеллектуальной деятельности: СПОСОБ ВИДЕО-КОМПЬЮТЕРНОЙ ДИАГНОСТИКИ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ОБУЧАЕМЫХ И ВЫРАБОТКИ РЕШЕНИЙ НА РАЦИОНАЛЬНОЕ ДЕЛЕНИЕ УЧЕБНЫХ ГРУПП

Изобретение относится к области психологии, а именно к педагогической психологии, и может быть использовано для получения объективных данных о ходе процесса обучения, усвоения материала, познавательной способности обучаемых во время проведения занятий, с возможностью разделения учебных групп на подгруппы в соответствии с уровнем эмоционального состояния.

Заявленное техническое решение расширяет арсенал средств данного назначения.

Известен способ осуществления диагностики интеллектуальной способности человека, реализованный в «Способе диагностики интеллектуальной потенции индивида» по патенту РФ №2209032, МПК А61В 5/01, А61В 5/16, опубл. 27.07.2003 г.

Способ заключается в том, что субъективная оценка интеллектуальной деятельности человека устраняется, благодаря установленной зависимости изменения неконтролируемого сознательно и постоянно изменяющегося в процессе мышления физиологического параметра (теплового излучения), это позволяет определить интеллектуальную потенцию испытуемого, степень его подготовленности и характер мышления.

Недостатком данного способа является сложность аппаратуры измерения и методики исследования, что исключает широкое использование этого способа. К тому же в способе не установлена зависимость изменения неконтролируемых сознательно психофизиологических параметров от последовательного увеличения сложности обучающего воздействия и не предусмотрена возможность определения предельного уровня сложности усваиваемого материала.

Известен так же способ и устройство для идентификации избирателя, описанный в патенте РФ №2249248, опубл. 27.03.2005 г.

Способ заключается в том, что информацию об имени избирателей и портретной фотографии записывают на входной билет и затем считывают, сравнивают с данными базы данных избирателей, т.е. идентифицируют избирателей автоматически.

Недостатком данного способа является визуальный ненадежный личностный контроль, зависимый от субъективного и психофизиологического состояний идентифицируемого объекта (избирателя). Способ имеет ограниченную область применения и не связан с оценкой эмоционального состояния обучаемых.

Известен так же способ комплексной идентификации личности человека, паспортного контроля и диагностики текущего психофизиологического состояния личности и компьютерная система для его осуществления, описанный в патенте РФ №2256223 МПК G06K 9/00 G07C 9/00, опубл. 10.07.2005 г.

Способ заключается в том, что информацию снимают одновременно с устройств графического ввода, съемников кардиосигнала, видеокамер, анализаторов запаха, подключенных к локальной компьютерной системе через терминалы, на всех стадиях взаимодействия с контролируемым пользователем, выделяют динамические индивидуальные признаки моторных двигательных реакций и текущего психофизиологического состояния пользователя, формируют динамические эталоны двигательных реакций пользователя на всех этапах контакта с компьютерной системой, вновь возникающую индивидуальную информацию на последующих этапах взаимодействия пользователя с локальной компьютерной системой сравнивают с полученной информацией, по полученным результатам идентифицируют личность и оценивают текущее психофизиологическое и функциональное состояние человека.

Недостатком данного способа является то, что для повышения достоверности идентификации личности человека с последующим определением его психофизиологического состояния необходимо использование избыточного арсенала измерительных средств. К тому же, при этом не определяется эмоциональное состояние объекта, а только его склонность к деструктивным поступкам.

Наиболее близким по своей сущности к заявленному является способ диагностики интеллектуальной потенции обучаемого (группы обучаемых) и последующей коррекции обучающего воздействия, описанный в патенте РФ №2523132 МПК А61В 5/00, опубл. 20.07.2014 г.

Способ-прототип заключается в том, что каждой группе обучаемых предоставляют обучающую информацию с максимальным и минимальным уровнем сложности, измеряют неконтролируемые сознательно физиологические параметры для обоих уровней сложности и определяют по полученным значениям верхнюю и нижнюю границы эталонного коридора для каждого из m переменных условий обучения. В процессе обучения для каждого из m переменных условий сравнивают групповые текущие физиологические параметры с верхней и нижней границами эталонного коридора, а также со средним значением эталонного коридора. В случае их отклонения от среднего значения эталонного коридора проводится корректировка обучающего воздействия выбором одного из (n±j), j∈N предварительно определенных уровней сложности ограниченного объема обучающей информации, таким образом, чтобы групповые текущие физиологические параметры стремились к среднему значению эталонного коридора.

Известный способ-прототип устраняет недостатки аналогов за счет возможности повысить качество обучения путем оптимального сочетания сложности изучаемого материала и измеряемых неконтролируемых сознательно физиологических параметров и расширяет возможности педагога по контролю эффективности осуществляемого им обучающего воздействия.

Недостатком указанного способа-прототипа является относительно низкая достоверность измеряемых неконтролируемых сознательно физиологических параметров, так как представленный способ-прототип не предусматривает диагностику эмоционального состояния обучаемых на основе использования объективно измеренных данных психофизиологического состояния лицевой экспрессии обучаемых. К тому же, способ-прототип не предусматривает выработку решений на рациональное деление учебных групп и определение предельного уровня сложности усваиваемого материала по уровню эмоционального состояния обучаемых.

Кроме этого способ-прототип имеет узкую область применения, так как измерение неконтролируемого сознательно и постоянно изменяющегося в процессе мышления физиологического параметра (теплового излучения) требует наличия технически сложно реализуемой специализированной аудитории с комплектом измерительных приборов на каждого индивида, что экономически не выгодно и логически не целесообразно.

Техническим результатом заявленного способа является снижение технической сложности используемой измерительной аппаратуры, определение предельного уровня сложности усваиваемого материала и деление учебных групп на подгруппы в соответствии с уровнем эмоционального состояния на основе использования объективно измеренных данных неконтролируемых сознательно психофизиологических параметров лицевой экспрессии обучаемых.

Достижение технического результата обеспечивается тем, что в известном способе диагностики интеллектуальной потенции обучаемого (группы обучаемых) и последующей коррекции обучающего воздействия, заключающемся в том, что предварительно каждой группе обучаемых предоставляют обучающую информацию любым методом с минимальным и максимальным уровнем сложности, начиная с ее отсутствия в начальный момент времени. В предварительно заданные исходные данные дополнительно задают максимальное допустимое значение усредненного рангового показателя эмоционального состояния обучаемых, задают данные двухмерной круговой модели эмоций Дж. Рассела и данные атласа фотоэталонов лицевой экспрессии для каждой эмоции в статистической форме. После чего, посредством видеокамеры, осуществляют последовательный ввод изображений обучаемых, фокусируя объектив камеры в автоматическом режиме на лице каждого индивидуума. Выделяют и распознают индивидуальные информативные признаки неконтролируемых сознательно психофизиологических параметров лицевой экспрессии каждого обучаемого, сравнивают с идентификаторами, хранящимися в базе данных в виде фотоэталонов, классифицируют распознанные изображения в соответствии с двухмерной круговой моделью эмоций Дж. Рассела, запоминают полученные результаты эмоционального состояния в массиве памяти. Далее последовательно и дискретно увеличивают сложность изучаемого материала n+j, j∈Ν, измеряя и запоминая в массиве памяти психофизиологические параметры обучаемых на каждом уровне сложности обучающей информации. Далее, используя выборку из полученных результатов диагностики эмоционального состояния каждого обучаемого на всех уровнях сложности разделяют исходное множество обучаемых по подгруппам в соответствии с уровнем эмоционального состояния, после чего определяют предельный уровень сложности усваиваемого материала для каждой подгруппы обучаемых.

Благодаря новой совокупности существенных признаков в заявленном способе достигается измерение неконтролируемых сознательно индивидуальных признаков психофизиологического состояния лицевой экспрессии обучаемых по поступающей в компьютер, посредством видеокамеры, информации о состоянии паттерн двигательных реакций лиц обучаемых, на основе полученных данных выработка решений на рациональное деление учебных групп на подгруппы в соответствии с уровнем эмоционального состояния обучаемых и определение предельного уровня сложности усваиваемого материала для каждой подгруппы, что обеспечивает достижение сформулированного результата - снижение технической сложности используемой измерительной аппаратуры, определение предельного уровня сложности усваиваемого материала и деление учебных групп на подгруппы в соответствии с уровнем эмоционального состояния на основе использования объективно измеренных данных неконтролируемых сознательно психофизиологических параметров лицевой экспрессии обучаемых.

Заявленные объекты изобретения поясняются чертежами, на которых показаны:

фиг. 1 - структурно-функциональная схема способа,

фиг. 2 - блок-схема алгоритма, реализующего способ,

фиг. 3 - блок-схема алгоритма распознавания эмоций по психофизиологическим параметрам лицевой экспрессии,

фиг. 4 - двухмерная круговая модель эмоций Дж. Рассела,

фиг. 5 - вариант результатов распределения обучаемых по подгруппам в соответствии с уровнем эмоционального состояния,

фиг. 6 - вариант результатов определения предельного уровня сложности усваиваемого материала для каждой подгруппы обучаемых.

Реализация заявленного способа объясняется следующим образом. Известно, что человек обладает сложной мускулатурой лица, которая в своей значительной части выполняет только функцию мимических движений в соответствии с характером испытываемых человеком эмоциональных состояний. С помощью мимики, т.е. координированных движений глаз, бровей, губ, носа и т.д., человек выражает самые сложные и разнообразные эмоциональные состояния: слегка открытый рот с опусканием его углов выражает печаль; вытянутые в стороны губы с поднятием углов рта кверху - удовольствие; поднятые брови - удивление; сильное и внезапное поднятие бровей - изумление; оскал зубов - раздражение и гнев; подъем верхней губы с характерным расширением ноздрей носа - отвращение; полузакрытые глаза - безразличие; плотно сжатые губы - решимость и т.д. Мимика лица способна выразить очень тонкие оттенки смущения, гнева, оскорбления, пренебрежения, разочарования, подавленности, удивления, радости, уважения, внимания, и т.д. Наиболее детальное описание лицевой экспрессии как средства невербального общения см., например, в (Изард К. Эмоции человека. М.: Изд-во Моск. ун-та, 1980 или Данилова Н.Н. Психофизиология. М.: Аспект Пресс, 2012 г.).

Для распознавания и измерения лицевой экспрессии используют два основных метода: идентификацию одной из основных эмоций по выражению лица человека и регистрацию электрической активности мышц лица, по паттерну которых судят о той или другой эмоции, см. Данилова Н.Н. Психофизиология. М: Аспект Пресс, 2012 г.

Непроизвольные сокращения мимических мышц под влиянием эмоциональных стимулов являются моторной реакцией особого типа, характерной для лицевого отдела организма человека. Для достоверной диагностики эмоционального состояния обучаемых, разделения их на подгруппы и определения предельного уровня сложности усваиваемого материала, необходимо осуществлять измерения индивидуальных психофизиологических параметров лицевой экспрессии, не контролируемых сознательно в процессе восприятия обучающей информации.

Для этого в заявленном способе предварительно в аудитории, где будут проводиться занятия с обучаемыми, устанавливают видеокамеру, например, IP-камеру D-link DCS-932L (с основными параметрами: разрешение видео - 640*480 до 20 кадров/с; линза - фокусное 5,01 мм, минимальное освещение 1 lux; углы обзора - по горизонтали 60,3, по вертикали 34,5, по диагонали 54,9) подключают ее к персональному компьютеру или серверу на базе платформы IBM PC (с минимальными требованиями: операционная система - Microsoft Windows 2008 Server 32-bit, 64 bit; процессор - Intel Pentium G860; оперативная память - 4 Гб; жесткий диск - 500 Гб), с установленным на нем специальным программным обеспечением и имеющим выход в интернет и локальную вычислительную сеть. Задают (предварительно вводят в компьютер в качестве исходных данных) максимальное допустимое значение усредненного рангового показателя эмоционального состояния обучаемых, данные двухмерной круговой модели эмоций Дж. Рассела и атлас фотоэталонов лицевой экспрессии для каждой эмоции в статистической форме. Фотоэталон для каждой эмоции представлен тремя фотографиями для трех уровней лица: бровей - лба, глаз - век и нижней части лица. Кроме того имеются варианты с учетом разной ориентации головы и направления взгляда.

Измерение неконтролируемых сознательно параметров психофизиологического состояния лицевой экспрессии обучаемых, для условия обучения m производят в интервале времени Т, временной интервал Τ разбивают на метки t_j, а каждый t_j интервал разбивают на метки a _i, по числу обучаемых находящихся в аудитории.

Преподаватель при подготовке к занятию m разрабатывает варианты учебного материала с определенными уровнями сложности n обучающей информации. В качестве начального уровня сложности, выбирают минимальный уровень сложности n с возможностью (n+j), j∈N. Начальный уровень сложности выбирается преподавателем в зависимости от его педагогической подготовки.

Предлагаемая структурно-функциональная схема способа иллюстрируется на фиг. 1. Работа способа, представленного на фиг. 1, осуществляется в соответствии с алгоритмом, изображенным на фиг. 2. Способ работает следующим образом.

Посредством видеокамеры осуществляют захват и последовательный ввод изображения каждого обучаемого с интервалом a_i, фокусируя объектив камеры в автоматическом режиме на лице каждого обучаемого. Блок-схема алгоритма распознавания эмоций по психофизиологическим параметрам лицевой экспрессии представлена на фиг. 3. Выполняют предварительную обработку изображения (бл. 3 фиг. 3), заключающуюся в устранении шума, выравнивании яркости, контраста, выделении и удалении бликов, теней. Осуществляют геометрическую нормализацию изображения лица - поворот лица в плоскости изображения, при котором линия между глазами становится горизонтальной, масштабируют и обрезают изображение. Выделяют антропометрические точки на лице субъекта.

Далее осуществляют детектирование ключевых точек лицевой экспрессии (активности основной мимической мускулатуры) индивида (бл. 4 фиг. 3), для этого используют FAST-детектор (Features from Accelerated Test), который строит деревья решений для классификации пикселей. Для каждого пикселя ρ изображения рассматривается окружность с центром в этой точке, которая вписана в квадрат со стороной 7 пикселей. Окружность проходит через 16 пикселей окрестности. Каждый окрестный пиксель x∈{1, 2, …, 16} относительно центрального (p→x) может находиться в одном из трех состояний:

Выбирают х и вычисляют S_p→x для каждого р∈Р - множества всех пикселей тренировочного набора изображений - разделяют множество Р на три подмножества P_d, P_s, P_b - множества точек, которые темнее, схожи и светлее х соответственно. Далее выполняется построение дерева решений, на каждом уровне дерева решений множество, соответствующее узлу дерева, разбивается на подмножества посредством выбора наиболее информативной точки (пикселя с наибольшей энтропией). Построенное дерево решений в результате используется для определения углов на тестовых изображениях.

Далее вычисляют дескриптор (построение описания) локальных окрестностей ключевых точек лицевой экспрессии (бл. 5 фиг. 3). Для этого используют BRIEF-дескриптор (Binary Robust Independent Elementary Features). Алгоритм распознавания сводится к построению случайного леса (randomize classification trees) или наивного Байесовского классификатора на некотором тренировочном множестве изображений и последующей классификации участков тестовых изображений. В упрощенном варианте может использоваться метод ближайшего соседа для поиска наиболее похожего патча в тренировочной выборке. Небольшое количество операций обеспечивается за счет представления вектора признаков в виде бинарной строки, а как следствие, использования в качестве меры сходства расстоянии Хэмминга.

Схема построения векторов признаков достаточно простая. Изображение разбивается на патчи (отдельные перекрывающиеся участки). Допустим, патч Р имеет размеры S×S пикселей. Из патча выбирается некоторым образом множество пар пикселей для которых строится набор бинарных тестов:

где I(Х) - интенсивность пикселях Для каждого патча выбирается множество, содержащее n_d пар точек, которые однозначно определяют набор бинарных тестов. Далее на основании этих тестов строится бинарная строка:

Далее, сравнивая каждый набор дескрипторов из заданного изображения, с каждым таким набором из эталонных изображений, находят наилучшее соответствие между особыми точками (бл. 6 фиг. 3). В случае если соответствия не найдены, то возвращаются к бл. 2 фиг. 3 и повторяют процедуру распознавания заново.

Затем (бл. 7 фиг. 3) классифицируют распознанные изображения в соответствии с двухмерной круговой моделью эмоций Дж. Рассела (фиг. 4). В этой пространственной модели эмоции располагаются по кругу в следующей последовательности: удовольствие (0°); возбуждение (45°); активация (90°); дистресс (135°); неудовольствие (180°); депрессия (225°); сонливость (270°); релаксация (315°) См. Данилова Н.Н. Психофизиология. М.: Аспект Пресс, 2012 г. стр. 214-216.

Далее (бл. 8 фиг. 3) приписывают изображению строго определенный балл ω_i. из расчета: удовольствие ω=1; возбуждение ω=2; активация ω=3; дистресс ω=4; неудовольствие ω=5; депрессия ω=6; сонливость ω=7; релаксация ω=0.

Запоминают присвоенный балл ω_i для каждого изображения индивида в массиве памяти (бл. 9 фиг. 3).

Затем на интервальной отметке t_j увеличивают сложность изучаемого материала n+j, j∈N, и продолжают обучение, с заданным уровнем сложности измеряя и запоминая в массиве памяти психофизиологические параметры обучаемых до следующей интервальной отметки t_j+1, где все процедуры по увеличению сложности материала и проводимых измерений повторяются. Измерения производят на метках t_j+n до T=0, так как на этом время занятия заканчивается.

Затем осуществляют распределение обучаемых по подгруппам в соответствии с уровнем эмоционального состояния следующим образом. Вычисляют ранговые оценки, усредненные по количеству уровней сложности обучающей информации, каждого обучаемого с помощью формулы для каждого i∈[1, n]. Проводят нивелировку функции ранга, доведя число уровней до значения 3-6 уровней, см. Михеев В.И. Моделирование и методы измерений в педагогике. М: КРАСАНД, 2010. - 224 с. стр 52-65. Для этого находят размах по формуле и шаг h по формулам h_min≤h≤h_max, h_min=H/6, h_max=2h_min=Н/3. Определяют h и разбивают множество значений на подгруппы в соответствии с уровнями эмоционального состояния.

Определение предельного уровня сложности усваиваемого материала для каждой подгруппы обучаемых осуществляют, вычисляя усредненное по количеству обучаемых в подгруппе значение функции ранга с помощью обычной процедуры: . Тем самым проранжировав множество А для каждой подгруппы на каждом уровне сложности обучающей информации.

Предельное значение уровня сложности усваиваемого материала задают в соответствии с двухмерной круговой моделью Дж Рассела и с учетом выработанного правила предписания, согласно которому каждому эмоциональному состоянию приписывают строго определенный балл. Экспериментальные исследования и педагогический опыт показывают, что максимальное допустимое значение усредненного рангового показателя эмоционального состояния обучаемых не должно превышать (фиг. 4).

В экспериментах с привлечением 10-ти и более испытуемых было достоверно установлено, что эмоциональное состояние зависит от m переменных условий обучения по каждому из n предварительно определенных уровней сложности обучающей информации.

Пусть, для примера, проводим обучение десяти испытуемых, в учебной аудитории оборудованной видеокамерой и компьютером со специальным программным обеспечением. На фиг. 5а, показаны результаты измерений эмоционального состояния испытуемых при проведении m занятия с n+j уровнем сложности, которые сведены в таблицу.

Последовательное и дискретное увеличение уровня сложности обучающей информации n+j и диагностику эмоционального состояния обучаемых производят только на интервале времени T, так как при T=0 время занятия заканчивается.

По окончанию занятия преподавателю на дисплей выводится информация, позволяющая разделить учебную группу на подгруппы в соответствии с уровнем эмоционального состояния обучаемых.

Анализ результатов эксперимента, представленный на фиг. 5б, в, показывает, что группа обучаемых может быть перераспределена в соответствии с четырьмя уровнями эмоционального состояния из пяти возможных.

На конкретных материалах диагностики эмоционального состояния 10-ти обучаемых (фиг. 5а) из выборки первичных измерений с помощью метода парных сравнений ранжируют полученные результаты измерений эмоционального состояния и переходят к производным измерениям, результаты которых сведены в таблицу (фиг. 5б) и размещаются в первых ее десяти строках и десяти столбцах. В свою очередь, результаты обработки этих данных составляют содержание остальных строк и столбцов данной таблицы. Так в 11-й строке таблицы (фиг. 5б) находятся ранговые оценки, усредненные по количеству временных интервальных меток уровней сложности, с помощью формулы для каждого i∈[1, 10]. В двенадцатой строке таблицы указана принадлежность обучаемого a _i определенной подгруппе эмоционального состояния. Для определения принадлежности обучаемого определенной подгруппе эмоционального состояния предварительно находят размах по формуле и шаг h по формулам h_min≤h≤h_max, h_min=H/6=1,2, h_max=2h_min=Н/3=2,4. Предполагают, что h=2. Тогда множество значений разбивается на следующие пять подгрупп эмоционального состояния: подгруппа №1 - [0; 2), подгруппа №2 - [2; 4), подгруппа №3 - [4; 6), подгруппа №4 - [6; 8), подгруппа №5 - [8; 10). На фиг. 5в представлена гистограмма частот распределения обучаемых a _i по подгруппам эмоционального состояния с помощью функции . На которой видно, что в первую подгруппу не вошло ни одного обучаемого, во вторую подгруппу - четыре, в третью подгруппу - один, в четвертую подгруппу - три, в пятую подгруппу - два обучаемых.

Для определения уровня сложности усваиваемого материала, для каждой из четырех подгрупп на каждом уровне сложности обучающей информации, используют результаты диагностики эмоционального состояния обучаемых, сведенные в таблицу (фиг. 6а). На фиг. 6б представлены результаты измерений уровня сложности усваиваемого материала для всех имеющихся подгрупп. Для примера вычисляют усредненные значения функции ранга для пятой подгруппы первого уровня сложности по формуле: и получают значение , для второго уровня сложности , для третьего уровня сложности , для четвертого уровня сложности , для пятого уровня сложности , для шестого уровня сложности , для седьмого уровня сложности , далее вычисления не производят, так как седьмой уровень сложности обучающей информации является предельным уровнем сложности усваиваемого материала для пятой подгруппы. На диаграмме (фиг. 6в) видно, что для второй и третьей подгрупп предельным уровнем сложности усвоения обучающей информации является десятый уровень, для четвертой подгруппы восьмой уровень, а для пятой подгруппы седьмой уровень. Соответственно правильно определенный уровень сложности усваиваемого материала позволяет проводить занятие m с положительным уровнем эмоционального состояния обучаемых.

Таким образом, за счет снижения технической сложности используемой, для целенаправленной диагностики эмоционального состояния обучаемых, измерительной аппаратуры, определения, в процессе проведения занятия преподавателем, предельного уровня сложности усваиваемого материала и деления учебных групп на подгруппы по уровню эмоционального состояния обучаемых, на основе использования объективно измеренных данных неконтролируемых сознательно психофизиологических параметров лицевой экспрессии обучаемых, обеспечивается достижение сформулированного технического результата.

Кроме того, заявленный способ может применяться в системе дистанционного обучения, основанной на использовании сети Интернет, для оценки уровня сложности усваиваемого материала удаленного обучаемого. Заявляемое изобретение расширяет возможности педагога, по контролю эффективности восприятия обучающей информации и облегчает процедуру принятия решений на рациональное деление учебных групп по уровню эмоционального состояния обучаемых.